akcyza - powrot uslug [crosspost]

[Adam Gołębiowski]

On Wed, Jan 23, 2008 at 11:22:22AM +0100, Adam Golebiowski wrote:
> Wieczorem - juz na spokojnie z domu a nie szumiacej serwerowni opisze co
> sie stalo, co zrobilismy a co jeszcze zrobimy, by na przyszlosc
> ewentualne - odpukac - awarie nie powodowaly tak dlugiego przestoju.

Na chwilę obecną akcyza udostępnia już większość ze swych usług, tj:
- lists
- b.mx
- dns (ns1.pld-linux.org)
- ftp4 (ftp.atm)

Do przywrócenia został jeszcze nasz serwis - www.pld-linux.org. Ale to
już - na spokojnie - w weekend przerzucę.

Teraz parę słów wyjaśnienia co się wydarzyło - 13 stycznia, w niedzielę
rano w akcyzie padł dysk systemowy. Po restarcie system się podniósł,
postanowiłem poczekać jeden dzień na zorganizowanie i wymianę dysku.
Prócz systemowego dysku znajduje się tam także softwarowy raid5 złożony
z trzech dysków - ten w niedzielę był nietknięty.

Do poniedziałku dysk padł już niemal całkowicie, po restarcie nie dało się
podnieść systemu. Po zabraniu maszyny do domu i wymianie dysku zabrałem
się za instalację systemu na nowo (to co się odzyskało było mocno
przeszatkowane). 

Na koniec pozostało złożenie raid5 i tu - jak się okaało, dwa dyski
zgłaszały brak superbloku. 

Do piątku trwały próby odzyskania danych (thx agaran) oraz organizowanie
miejsca na zrzucenie obrazów dysków (3*250 GB). Tu podziękowania dla
gaususa który odostępnił odpowiednie zasoby.

W weekend do boju wszedł <fanfary>qboosh</fanfary> który dość szybko
zdiagnozował problem - owe dwa dyski zgłaszały o ok. 1MB mniejszą
pojemność niż w rzeczywistości posiadały. Parę chwil później znalazł
przyczynę - coś włączyło HPA na tych dyskach. Jako doraźne rozwiązanie
przygotował narzędzie zmieniające rozmiar obszaru HPA, natomiast na
dłuższą metę przeszliśmy na 2.6.22 i przekazujemy do modułu libata
parameter ignore_hpa=1.

Co spowodowało taką zmianę - naprawdę nie mam pojęcia. 

Gdy już udało się odzyskać dane, zmieniliśmy co nieco konfigurację
dysków - firma abrama zasponsorowała dwa nowe dyski - dzięki! 
Dzięki temu mogliśmy przestawic konfigurację, w tej chwili mamy 2*250 GB
(raid1) i 2*500 GB (raid1). 

Z planów na przyszłość:
- backupy, backupy, backupy (www mieliśmy, zacznę backupować lists)
- przejąć kontrolę nad światem.

abram, agaran, gausus, qboosh - dzięki za pomoc!

Adam

-- 
 http://www.mysza.eu.org/ | Everybody needs someone sure, someone true,
   PLD Linux developer    | Everybody needs some solid rock, I know I do.