Beiträge von Olaf Krause

    Hab mich heute morgen trotz HA Cluster selbst abgeschossen. => also Desaster Recovery über den harten Weg.
    Einen der Server verstrubbelt :( und dann runtergefahren - dann gelernt, wenn man runterfährt werden alle VMs nur eingefroren aber nicht verschoben. Damit hatte ich nicht gerechnet.
    Leider ware eine der VMs meine "Internetzugangs-Firewall" - konnte also ich nicht geschwindt nachschlagen was zu tun ist.

    Wenn Ihr einen neuen Rechner aufsetzt und in den Cluster rejoined macht man das z.B. mit:

    Code
    pvecm add 192.168.0.51 --force --link0 192.168.0.52 --link1 192.168.5.52

    51 ist ein noch laufender Clustermember die Links sind die Cluster links (in meinem Fall zwei) des wiederhergestellten Hosts. Das Force ist nötig, wenn es z.B. den Hostname im Cluster noch gibt und man mit dem gleichen Namen rejoined.

    Danach sollten die VMs und LXS welche auf dem CEPH File cluster laufen (und KEINE Daten local haben) wieder hochfahren. In meinem Fall zu Glück die besagte Firewall. somit wieder I-Netz.

    Dann sollte der Knoten wieder laufen. Andere nicht PVE software ist hier nicht betrachtet. Idealerweise habt Ihr dann ein komplettes Image der Disk (e.g. mit Clonezilla erstellt).

    So heute den vierten Rechner auf Proxmox VE umgestellt.

    Den ersten Proxmox Backupserver auch gerade in Betrieb genommen. Nur cohosted auf einem PVE. Der zweite PBS wird dann eher ein Archivserver und steht nicht im Büro (Brandschutz).

    Ein paar VMs kommen noch dazu - Backup auf Dateiebene aber zuerst. Danach dann optimieren - einige Windows VMs laufen gerade mit über 200GB Virtuellen Platten - das Frist extrem Platz.

    Samba Fileshare mit Anbindung an Windows AD zur Auth:

    Active Directory Authenticated CIFS (Samba) File Sharing with Ubuntu Linux 22.04
    iuvo Technologies is available to assist with any Windows and Linux integration needs you may have, whether with on premises IT infrastructure, or in the cloud.
    blogs.iuvotech.com

    Damit kann ich dann endlich auch den letzten meinen Windows FileServer ersetzen - ohne große Änderungen bzgl. Desktops (die sind und bleiben Windows {vorerst}).

    Hatte ich vor 3 Wochen an meinem Voron auch. Merkt man erst gar nicht irgendwann hatte ich dann merkwürdige Aussetzer und bei der Wartung gesehen das es wie bei Dir oben rausgequollen ist. Ob durch das Gewinde oder ob das Heatbreak gebrochen ist weiß ich nicht. Ich vermute aber das Heatbreak ist gebrochen und dann durch die Bruchstelle Filament ausgetreten.

    Gute Frage - nie ausprobiert. Du hast eh das Problem, dass die Filament Zuführung oben am Deckel langschrappt wenn Du so hoch fährst oder nicht?

    Ich hab noch einen Gummizug in der Mitte des Deckels befestigt, der die Nabelschnurr hoch hält, für den evtl. 3cm extra abziehen. Aber wie gesagt eher Bauchgefühl als getestet.

    Rsync examples

    Synced daten von a nach b und löscht nicht mehr in der Quelle vorhandene Dateien im Ziel (löschen kann man --delete-before oder -after auch zeiltich bestimmen)

    rsync -rauv --delete --progress --partial --stats <a> /*<b>

    Synced Dateeien von a nach b und löscht diese auf der Quelle a wenn erfolgreich kopiert.

    rsync -avzh --progress --partial --stats --remove-source-files <user>@<server>:<a>/* <b>

    also so etwas wie

    mv -v -i quelle ziel

    kopiert und löscht direkt nach dem kopieren bevor die nächste Datei kopiert wird (mv ist halt nur lokal).


    Das Löschen auf der source Seite erfolgt irgendwann. D.h. wenn rsync abbricht (Platz alle) kann es sein, das obwohl Dateien schon transferiert wurden diese nicht gelöscht wurden.

    Für die Problematik einfach kopieren solange Platz auf der Zielseite aber trotzdem die einzelnen Dateien immer gleich löschen wenn erfolgreich transferiert habe ich leider keinen geeigneten Mechanismus gefunden.

    OptionWirkung
    -uüberspringt Dateien, die im Ziel neuer sind als in der Quelle
    -vzeigt während des Synchronisierens alle ausgeführten Schritte an
    -xberücksichtigt nur Objekte, die sich im selben Dateisystem befinden
    -Paktiviert folgende Optionen:

    --progress Fortschrittsanzeige beim Transfer anzeigen

    --partial Fortsetzung des Transfers bei Abbruch
    -nsimuliert nur was passieren würde ("dry run")
    --bwlimitz.B. --bwlimit=30 limitiert die Bandbreite, die genutzt werden soll (Hilfreich, da rsync sonst die gesamte verfügbare Bandbreite in Anspruch nimmt und sonstige Anwendungen damit blockiert)
    --ignore-existingÜberspringt die vorhandenen Daten und schreibt nur die neuen
    -zaktiviert die Komprimierung für die Datenübertragung (diese Option ist sinnvoll, wenn zwischen Quelle und Ziel eine langsame Verbindung besteht)
    -ewählt die remote shell aus, die meisten werden SSH nutzen. Also -e ssh
    -Ebehält die Ausführbarkeit von Dateien bei
    --exclude=Musterschließt ein bestimmtes Muster von der Sicherung aus
    --exclude=ORDNER1 --exclude=ORDNER2schließt ORDNER1 und ORDNER2 von der Sicherung aus
    --deletevergleicht Quellverzeichnisse und Zielverzeichnisse und sorgt dafür, dass Dateien, die im Quellverzeichnis nicht (mehr) vorhanden sind, im Zielverzeichnis gelöscht werden. Dies kann dazu führen, dass man ungewollt Dateien löscht, die man aber noch in der Sicherung behalten möchte.
    -bsorgt dafür, dass durch die Option --delete gelöschte sowie alle veränderten Objekte gesichert werden (siehe dazu folgende Option --backup-dir=)
    --backup-dir=Verzeichnisgibt ein Verzeichnis für die gelöschten und geänderten Objekte an, siehe Option -b
    -caktiviert einen Dateivergleich, basierend auf Prüfsumme und nicht auf Größe und Zeitstempel. Die eigentliche Prüfsummenbildung dauert deutlich länger als der Vergleich Größe und Änderungs-Zeitstempel; andererseits werden überflüssige Kopiervorgänge (z.B. bei nur geänderter Änderungszeit) vermieden.
    --iconvsorgt für eine Konvertierung der Dateinamen zwischen Systemen mit verschiedenen Codepages. Dieser Parameter kann erforderlich werden, wenn Dateien mit z.B. Umlauten im Namen übertragen werden.
    -h, --human-readableverwandelt Zahlen in den log Dateien und auf stdout in ein besser für Menschen lesbares Format. Große Zahlen werden zu K (kilobytes), M (megabytes), oder G (gigabytes). Wenn diese Option angegeben wird ist K (1000), M (1000*1000), und G (1000*1000*1000). Wenn diese Option doppelt angegeben ist (-hh), wird mit 1024 anstelle von 1000 gerechnet.
    -HHardlinks werden berücksichtigt
    --statszeigt einen ausführlicheren Bericht am Ende einer Übertragung an.
    --size-onlysorgt dafür, dass Dateien mit gleicher Dateigröße übersprungen werden, unabhängig davon, ob sie sich in anderen Eigenschaften unterscheiden. Hilfreich bei Sicherungen auf Datenträger mit den Dateisystemen FAT oder NTFS, welche die unter Linux für die Verwaltung der Besitz- und Zugriffsrechte verwendete UNIX-FACL nicht unterstützen (weitere Einschränkungen).
    --progresszeigt den Fortschritt des Kopiervorganges an.

    Kurzes Update - meine Lieferung Heater stecken leider immer noch auf Weg fest. Sonst hätte ich schon wieder was eingestellt.

    Sollen aber wohl diese Woche beim Zoll ankommen.

    Dann geht es mit dem Ikarus weiter. Der Plan ab nächster Woche wieder 1-2 pro Woche bis zur Weihnachtspause zu bauen.

    Sodele die drei Server laufen ja jetzt im HA Verbund zumindest für die wichtigen VMs.

    Jetzt fehlt natürlich eine größere halbwegs sichere Ablage für Dateien, Backups und weiss der deubel.

    Hier werden ich die Proxmox ZFS Einstellungen um eine Raid10 zu erstellen (4 Platten a 10TB also 20TB nutzbar). HDDs sind für Dateiablage und backup gut genug und mehr Raid oder Platz brauche ich nicht, da die Daten im nächsten Schritt dann auch mit einem Backupserver gesichert werden.

    Gute Anleitung zumindes funktioniert es findet sich z:b. unter

    Externer Inhalt www.youtube.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
    Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.

    Mich gerade beim Einrichten des Ceph Clusters gewundert warum das Verschieben einer virtuellen HD trotz 10G Netzwerk und nvme drive stunden dauern soll...

    Womit also unter linux netzwerkperformance messen: iperf

    Code
    sudo apt-get install iperf

    Auf der Server-Seite starten Sie dann Iperf mit

    Code
    iperf -s

    im Terminal, und das Tool lauscht nun auf dem TCP-Port 5001, während auf dem Client anschließend der eigentliche Test mit

    Code
    iperf -c [Server-IP] -d

    gestartet wird.

    schlecht:

    Zitat

    [ 4] local 192.168.0.52 port 5001 connected with 192.168.0.51 port 49582

    [ ID] Interval Transfer Bandwidth

    [ 4] 0.0000-10.3176 sec 112 MBytes 91.1 Mbits/sec

    repariert (Stecker war nicht richtig kontaktiert):

    Zitat

    [ 5] local 192.168.0.52 port 5001 connected with 192.168.0.51 port 56540

    [ ID] Interval Transfer Bandwidth

    [ 5] 0.0000-10.0030 sec 10.9 GBytes 9.38 Gbits/sec


    Zum monitoren als top iftop nehmen.