Archiv:2012/IT/Emergency Change Stor

Grund

• Ausfall Stor01
  • Verlust der Daten-Redundanz
  • vermutlich Fehler im DRBD

Beschreibung

System Stor01 ist am Sonntag, den 12.08.2012 ausgefallen. Die Ursache ist unbekannt. Ein Wiederaufbau des DRBD Clusters scheiterte. Hier wird ein Problem im DRBD Stack vermutet. Auf Grund des fehlendes Supports für die DELL Monitoring Tools unter Debian soll ein Wechsel auf CentOS erfolgen. Da für den Change die Replikation komplett neu aufgebaut werden muss, ist es geplant den Wechsel auf GlusterFS in diesem Zuge mit umzusetzen, um spätere Wartungen zu vermeiden.

Aufgetretene Probleme

• Das OCFS2 auf Stor02 ist defekt
  • Ein Datentransfer ist nur bei geringen Raten möglich
• Sehr hohe Anzahl von Mails ( Missbrauch des Mailaccounts als ML Archiv)

Aktueller Stand

• Stor01 ist mit CentOS installiert
• RAID Konfiguration auf Stor01 wurde angepasst
• Gluster Konfiguration auf Stor01 ist abgeschlossen
• Datenbestand wird konitnuierlich von Stor02 auf Stor01 gesichert
• Migration der Datenbank von Stor02 auf Stor01
• Schwenk der Datenbank Floating IP
• Stoppen der Maildienste
• Delta Sync von Stor02 auf Stor01 Webspace
• Installation Gluster Client auf allen aktuellen NFS Clients
• Schwenk des Mountpunktes von Stor01 zu Stor01 auf allen Clients Webspace
• Sync von Mailstorage
• Starten Maildienste
• Start der ML Archiv Regeneration
• Neuninstallation Stor02
• Konfiguration Stor02 als Gluster Server
• Start Share Migration Stor01/Thecus Stor01/Stor02
• Stor01 und Stor02 als Replication Bricks

Ausstehende Arbeiten

• Reboot Stor02
• Kontrolle Lastverhalten
• iSCSI Share von Thecus als Backup Brick

Risiko Betrachtung

Das Risiko ist als gering einzuschätzen.

Ausfall Stor01 wärend Migrationsphase

Die Datenbestände werde syncron auf die Thecus gesichert. Bei einem Ausfall von Stor01 wärend der Migrationsarbeiten können Datenbstände via NFS von der Thecus ausgeliefert werden, bis die Neuinstallation Stor02 abgeschlossen ist.

Probleme mit GlusterFS

Sollte wider erwarten Probleme mit GlusterFS auftreten, kann GlusterFS gestoppt , und die Auslieferung des Contents wieder auf NFS umgestellt werden.