Hi@all

Mein Provider der Foren Software hat mir folgdendes heute Morgen geschickt:

---

Sehr geehrte Damen und Herren,

Heute waren gegen 21:45 bis ca. 0:00 Uhr alle Foren aufgrund eines Total-Ausfalls des Rechenzentrums nicht erreichbar.

Nach aktuellen Informationen kam es gegen 21:45 zu einem Stromausfall in großen Teilen von Berlin, u.A. in Tempelhof, wo die Foren in einem modernen und mehrfach redundand abgesicherten Rechenzentrum untergebracht sind. Selbstverständlich sind die Server so über USV und Dieselgeneratoren redundant auch gegen einen längeren Stromausfall abgesichert - soweit die Theorie. Über die genauen Umstände, weswegen auch das gesamte Rechenzentrum inkl. mehrere Tausend Server ausgefallen ist, können wir derzeit nur spekulieren und werden entsprechende Informationen nach reichen, sobald wir diese von unserem Rechenzentrums-Betreiber erhalten haben.

Aktuell sind bereits etwa 70% der Foren wieder Online (0:10 Uhr). Wir arbeiten gerade daran auch die übrigen Foren wieder Online zu bringen.

Update 1: Gegen 0:25 Uhr waren alle Foren erreichbar.

---

Bitte um Entschuldigung für diese Störung ! Aber wie ihr seht lag dieser Fehler nicht bei uns und somit hatten wir keinen Einfluss darauf. Im Normalfall also sind wir auch vor Stromausfällen und hohen Zugriffen gewappnet. In diesem Sinne auf eine störungsfreie Zukunft.

naja da gabs ja größere Probleme, eine weitere Fehlersuche führte nun zur vorläufigen Einschätzung:

---
Hier nun weitere Details zum Stromausfall im Rechenzentrum:

In Antwort auf:Die Logs sind nicht ganz eindeutig, wir werden das in den nächsten Tagen mit unseren Technikern und den Technikern von APC genau klären.

So, wie es aussieht kam es um 21.45 Uhr zu einem flächendeckenden Stromausfall bei Vattenfall. Beim Zusammenbrechen des Netzes kam es zu etlichen Spannungspitzen und folgenden Zusammenbrüchen der Spannung.

Die Zeit war jeweils zu kurz für den Dieselgenerator, aber die USVen haben die Last problemlos übernommen. Der vorletzte Zusammenbruch, dauerte aber lange genug, um den Diesel einzuschalten und dies geschah offensichtlich zeitgleich mit einer letzten hohen Spitze bevor die Spannung des Stromnetzes endgültig zusammenbrach.

[...] es sieht so aus, als ob der kommende Diesel und Vattenfall für einen Bruchteil einer Sekunde gleichzeitig viel Last auf die USVen gegeben haben. Daraufhin hat sich eine verabschiedet und nur noch aus den Batterien die Server gespeist.

Die Batterien waren dann irgendwann leer, obwohl der Diesel im Hintergrund lief und die Stromversorgung auch für diese Netzsegmente hätte bedienen können. Eine USV hat den Strom des Diesel einfach geblockt und nicht mehr durchgelassen und so ein großes Netzsegment komplett blockiert.

Die USV ließ sich auch nicht mehr manuell in den Bypass schalten. Abschalten ging nicht. Garnichts ging. Immer nur die monotone Meldung, dass die Batterien runter sind.

Hat nur geholfen die USV komplett vom Netz zu trennen und dann die Server schön wieder von Hand hochzufahren. Und da in der USV oder den Batterien irgendwas durch ist, gab es natürlich auch noch einen Feueralarm durch die OTC Sniffer. Man hat also gerochen, dass da was nicht in Ordnung ist.

Genaue Fehleranalyse folgt, sobald wir wissen, was da abgerauscht ist.

[...]
PS.: Auf der Herfahrt wirkte die ganze Gegend sehr irreal, weil es streckenweise zappenduster war. Dunkler noch, als nachts um 3 Uhr. Da beschlich mich schon ein ziemlich unangenehmes Gefühl. Hinter einigen Fenster sah man dunklen, flackernden Kerzenschein ... wie in den guten alten Zeiten.

---

Interessant, naja...