Größerer Forumsausfall am 22.03.2011

Hier kannst Du Fragen, Probleme oder Kritik zum Forum von Skywarn Deutschland stellen.
Benutzeravatar
Sven Lüke
Ehrenmitglied
Beiträge: 4339
Registriert: Mittwoch 27. August 2003, 18:38
Wohnort: Osnabrück / Lotte-Wersen

Größerer Forumsausfall am 22.03.2011

Beitrag von Sven Lüke » Dienstag 22. März 2011, 22:43

Hallo,

Was war passiert? Am 22. März kam es zu einem größeren Ausfall des Forums von Skywarn Deutschland. Die Datenbank vom Forum wurde in einigen Bereichen stark beschädigt und konnte auch mit diversen Reparaturmaßnahmen nicht reanimiert werden. Am Ende haben wir daher ein aktuelles Backup der Datenbank, dass automatisch jede Nacht angelegt wird, eingespielt.

Ein erster Test sieht soweit gut aus. Postings können wieder geöffnet werden, Testantworten auf Beiträge funktionierten auch. Die Beiträge, die am 22. März zwischen 3.00 Uhr (Zeitpunkt der Sicherung) und etwa 12.00 Uhr geschrieben wurden, sind aber nicht mehr wiederherstellbar. Es dürfte sich dabei aber nur um eine kleine Anzahl an Beiträgen gehandelt haben. Wer seinen Beitrag vermisst, muss ihn daher leider wieder einspielen.

Wie konnte es zum Crash der Datenbank kommen? Die Ursache lag darin, dass ein Backup-Skript Teile des Servers gesichert hat, wo unter anderem die Radardaten von IRAS drin liegen. Dadurch wurden enorme Datenmengen gesichert, die normalerweise nicht so auf diesem Wege gesichert wurden. Da die Backup-Datei auf dem Server selbst abgelegt wurde, wurde der Speicherplatz mit zunehmender gesicherter Datenmenge immer kleiner, bis er auf Null Byte zusammengeschmolzen war. Teile der Datenbank vom Forum, die sich u.a. noch im Speicher und Cachebereich des Serves befanden, konnten so nicht mehr auf die Festplatte geschrieben werden.

Die große Frage bleibt, warum dieses Backup-Skript angefangen hat, den Server zu sichern. Das Skript benutzen wir eigentlich gar nicht, es stammt von der Software, mit dem wir die Homepage verwalten und ist normalerweise inaktiv. Das muss noch genauer untersucht werden. :scratch:

Solltest Du noch irgendwo Fehler finden, Beiträge sich nicht öffnen lassen oder sonst was komisch aussehen hier im Forum, dann bitte eine kurze Info am den EDV-Stab...

Grüße, Sven

Benutzeravatar
Patrick
Schriftführer
Beiträge: 1790
Registriert: Mittwoch 21. Juli 2004, 00:02
Wohnort: Lahnstein (RLP)
Kontaktdaten:

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Patrick » Dienstag 22. März 2011, 22:57

Sven Lüke hat geschrieben: Die große Frage bleibt, warum dieses Backup-Skript angefangen hat, den Server zu sichern. Das Skript benutzen wir eigentlich gar nicht, es stammt von der Software, mit dem wir die Homepage verwalten und ist normalerweise inaktiv.
Wohl ein erster Versuch der künstlichen Intelligenz die Weltherrschaft zu erlangen ...
Aber schön, dass du es so schnell wieder hinbekommen hast :up:
Bild

Benutzeravatar
Cumulus Humilis
1. Vorsitzender
Beiträge: 5701
Registriert: Mittwoch 18. August 2004, 19:39
Wohnort: Im Herzen von Rheinland-Pfalz

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Cumulus Humilis » Dienstag 22. März 2011, 23:25

Hallo Sven,
Sven Lüke hat geschrieben:Die große Frage bleibt, warum dieses Backup-Skript angefangen hat, den Server zu sichern. Das Skript benutzen wir eigentlich gar nicht, es stammt von der Software, mit dem wir die Homepage verwalten und ist normalerweise inaktiv. Das muss noch genauer untersucht werden. :scratch:
vielleicht wurde es bei Wartung oder Update angestoßen? Ist es ein cronjob und versehentlich in die crontab geraten?

Es ist grundsätzlich zu empfehlen, den freien Speicherplatz der Serverplatten kontinuierlich zu überwachen und bei Unterschreiten eines Limits eine Warnung per Email, etc. an den Admin zu schicken. Man kann das ganz einfach mit dem "df"-Kommando in einem Script als cronjob machen. Mehr Möglichkeiten bieten "Quotas", sind aber auch etwas aufwendiger zu verwalten.

Gruß,
Andreas
--
Potz Blitz!

Benutzeravatar
bärenfänger
Beiträge: 1470
Registriert: Montag 31. Mai 2010, 23:54
Wohnort: Sollstedt/Wipper [ ] Leipzig [x]

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von bärenfänger » Dienstag 22. März 2011, 23:28

Patrick hat geschrieben: Wohl ein erster Versuch der künstlichen Intelligenz die Weltherrschaft zu erlangen ...
Aber schön, dass du es so schnell wieder hinbekommen hast :up:
Genau das habe ich mir auch so gedacht. :?

Ist denn sowas nicht vorhersehbar? Ich weiß, blöde Frage, sonst wäre es ja nicht passiert. Aber, dass muss man doch irgendwie bemerken können.

Gruß und Gut Pfad,
Olli.
Regionaler Ansprechpartner Leipzig-Südharz-Nordthüringen

Mitglied Thüringer Storm Chaser e.V.

Arnulf B.
Beiträge: 1062
Registriert: Dienstag 29. Juni 2010, 23:24
Wohnort: Frankfurt/Dortmund
Kontaktdaten:

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Arnulf B. » Donnerstag 24. März 2011, 16:22

Hallo Leute,

mir ist aufgefallen, dass das Forum in den letzen Tagen auch sehr langsam war. Wenn man von der HP auf Forum klickte, dauerte es bei mitunter schon 30 Sekunden bis zur Darstellung des Forums.

Auch gestern und heute ist dies immer wieder vorgekommen. Hat diese "Langsamkeit" auch etwas mit dem Problem zu tun?


VG

Arnulf
I give a fuck.

Benutzeravatar
Swini
Beiträge: 751
Registriert: Mittwoch 30. August 2006, 19:36
Wohnort: Im wilden Süden von Hessen

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Swini » Donnerstag 24. März 2011, 16:59

Das ist mir auch schon aufgefallen, bisher habe ich aber Serverseitig auf anhieb nichts feststellen können. Da das Forum ja nach diesen 30sekunden rennt wie doof werden wirs weiter beobachten und intensiv nachforschen.
Regionaler Ansprechpartner für Hessen

Norbert Rupsch
Beiträge: 465
Registriert: Mittwoch 19. April 2006, 22:34
Wohnort: Ulm
Kontaktdaten:

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Norbert Rupsch » Donnerstag 24. März 2011, 17:15

Tach,

ich vermute mal, dass ein Plattenfehler vorliegen könnte. Ein fast identisches Problem hatten wir vor wenigen Jahren auch beim Wetterturnier. Da uns das eigentliche Problem lange Zeit verborgen blieb, lief das System noch einige Monate mal gut, mal schlecht, bis die Platte letztendlich einen Totalcrash hinlegte und ersetzt werden musste.

Also, viel Spaß beim Finden des Fehlers! :wink:

Schöne Grüße
Norbert

Benutzeravatar
Cumulus Humilis
1. Vorsitzender
Beiträge: 5701
Registriert: Mittwoch 18. August 2004, 19:39
Wohnort: Im Herzen von Rheinland-Pfalz

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Cumulus Humilis » Donnerstag 24. März 2011, 19:53

Hallo,

diese "neue Langsamkeit" ist mir auch schon aufgefallen. Allerdings bemerke ich sie immer nur beim Verbindungsaufbau zum Forum. Daher vermute ich eher ein Netzwerkproblem bzw. ein Problem des Webservers auf Protokollebene. Aber Norbert hat Recht, Festplattenfehler können "seltsame" Effekte verursachen, bevor die Platte sich vollends verabschiedet. Das Blöde ist, daß gerade die sonst so vorteilhaften Journaled-Filesysteme hier mithelfen, Probleme lange zu "vertuschen". Schaut mal die Systemlogs in /var/log/ genau an, eventuell findet man dort Hinweise.

Gruß,
Andreas
--
Potz Blitz!

Arnulf B.
Beiträge: 1062
Registriert: Dienstag 29. Juni 2010, 23:24
Wohnort: Frankfurt/Dortmund
Kontaktdaten:

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Arnulf B. » Freitag 25. März 2011, 08:57

Heute Morgen war das Forum nicht zu erreichen.
I give a fuck.

Benutzeravatar
Swini
Beiträge: 751
Registriert: Mittwoch 30. August 2006, 19:36
Wohnort: Im wilden Süden von Hessen

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Swini » Freitag 25. März 2011, 09:10

Arnulf B. hat geschrieben:Heute Morgen war das Forum nicht zu erreichen.
Jep, das war aber diesmal ausnahmsweise volle Absicht da wir kurz eine Theorie testen wollten :wink:
Regionaler Ansprechpartner für Hessen

Benutzeravatar
Sven Lüke
Ehrenmitglied
Beiträge: 4339
Registriert: Mittwoch 27. August 2003, 18:38
Wohnort: Osnabrück / Lotte-Wersen

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Sven Lüke » Freitag 25. März 2011, 09:12

Ja, wir (Sven & Sven) hatten das Problem auch beobachtet und zeitgleich mal diverse Logs angeschaut, TOP ausgewertet und Dienste ausgeschaltet, um das Verhalten zu analysieren. Was auf jeden Fall festzustellen war ist, dass zeitgleich zwei Crawler im Forum unterwegs waren und das Forum abgegrast haben. Dabei wurde eine ganz schön hohe Auslastung erzeugt. Wir haben die Crawler erstmal ausgesperrt und bitten Euch, das Verhalten des Forums weiter zu beobachten.

Grüße, das Team der IT-Crowd

Nazgul
Beiträge: 87
Registriert: Sonntag 13. Juni 2004, 14:31
Wohnort: Alb-Donau-Kreis (UL)
Kontaktdaten:

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Nazgul » Freitag 25. März 2011, 10:24

Auf jeden Fall ist es jetzt deutlich schneller. Zumindest bei mir sind die "Gedächtnis-Sekunden" nicht mehr festzustellen.
LG
Willy

http://www.facebook.com/StormchasingOberschwaben" onclick="window.open(this.href);return false;
http://www.stormchasing.weinmann.biz" onclick="window.open(this.href);return false;

Benutzeravatar
Swini
Beiträge: 751
Registriert: Mittwoch 30. August 2006, 19:36
Wohnort: Im wilden Süden von Hessen

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Swini » Freitag 25. März 2011, 10:59

Eben bäumte der Crawler noch einmal kurz auf, hab jetzt via iptables den gesamten Block des Franzmanns gesperrt.
Jetzt sollte erst mal ruhe sein...
Regionaler Ansprechpartner für Hessen

Oliver
Beirat
Beiträge: 1090
Registriert: Dienstag 28. September 2004, 21:14
Wohnort: Göttingen
Kontaktdaten:

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Oliver » Freitag 25. März 2011, 13:58

Gibt es für die Bots und Crawler nicht auch die Möglichkeit einzustellen, dass immer nur einer gleichzeitig lesen darf? Das würde nach wie vor zu einer schnellen Anzeige von Suchergebnissen führen, aber gleichzeitig haben wir dann nur geringen Geschwindigkeitsverlust.

Benutzeravatar
Swini
Beiträge: 751
Registriert: Mittwoch 30. August 2006, 19:36
Wohnort: Im wilden Süden von Hessen

Re: Größerer Forumsausfall am 22.03.2011

Beitrag von Swini » Freitag 25. März 2011, 15:16

Hätte in dem Fall nichts gebracht - es war ja nur ein einziger Crawler, der hab aber massenweise Anfragen gesendet... :(
Regionaler Ansprechpartner für Hessen

Antworten

Zurück zu „Forum allgemein“