Re: drbd, o2cb, ocfs - problemy i zła kolejność SysVinit

[Jacek Osiecki]

On Sun, 15 Apr 2012, Adam Sobieraj wrote:

> Witam, jak możesz napisz jaki kernel i wersja drbd.

Kernel stary, bo nie chcę za bardzo eksperymentować ;)
Używam waniliowego, własnoręcznie kompilowanego po nałożeniu patchy z
linux-vserver.org:

2.6.39.4-vs2.3.1-pre9.2-nfs-drbd #8 SMP Sat Feb 25 00:44:46
CET 2012 x86_64 Intel(R)_Xeon(R)_CPU___________W3530__ w _2.80GHz PLD Linux

> No i jak z wydajnością, bo mi raczej marnie testy wychodziły....

Wydajność wydajnością - w zasadzie nie widzę alternatywy dla drbd+ocfs2 :(
Serwery są w OVH i na początku założyłem korzystanie z NAS OVH (po NFS),
ale to było nieużywalne.
Wyniki wydajnościowe zrobiłem unixbenchem - nie wnikam w jego metodologię,
zakładam że w miarę realnie testuje dysk. DRBD wychodzi preciętnie w
zapisie, marnie w odczycie - natomiast NFS wychodzi bardzo ładnie przy
odczycie i arcyfatalnie przy zapisie. To ostatnie być może wynika z
wariackiej polityki OVH dot. NASów - obowiązkowe są snapshoty, diabli
wiedzą na ile ich robienie w kółko obciąża dyski :)

+-----------------------+-----------+----------------+------------------+
|X bufsize,Y maxblocks  |ext3(local)| (drbd+ocfs2)   | NFS (ovh-nas)    |
+-----------------------+-----------+----------------+------------------+
| CP 1024 buf 2000 mxbl |  1001513.5|  329691.5 (33%)|     8439.9 (0.8%)|
| CP 256 buf 500 mxbl   |   289354.4|   83344.5 (29%)|     7545.5 (2.6%)|
| RD 1024 buf 2000 mxbl | 16683047.3| 1627301.6 (10%)| 16026036.4 ( 96%)|
| RD 256 buf 500 mxbl   |  4737836.5|  413126.7 ( 9%)|  4509106.6 ( 95%)|
| RD 4096 buf 8000 mxbl | 35705631.9| 6872806.6 (19%)| 34967996.7 ( 97%)|
| WR 256 buf 500 mxbl   |   315172.2|   87545.4 (28%)|     8711.3 (2.8%)|
| WR 4096 buf 8000 mxbl |  3522086.9| 1290255.5 (37%)|    10991.6 (0.3%)|
+-----------------------+-----------+----------------+------------------+

Swoją drogą trochę mnie dziwi ten powolny odczyt - możliwe że coś
popsułem, bo w sieci znalazłem znacznie sensowniejsze wyniki... tyle że
bez OCFS2, co być może ma decydujące znaczenie. Wybadam jeszcze, póki co
ostrożnie testuję.

Dodam, że u siebie korzystam z trybu drbd master-master, co wiąże się też 
z różnymi kłopotami (przy wczorajszych padach sieci kilka razy się 
replikacja zatrzymała) które muszę rozwiązać zanim to pójdzie na 
produkcję...

Pozdrawiam,
-- 
Jacek Osiecki joshua w ceti.pl GG:3828944
I don't want something I need. I want something I want.

>
> No i jak z wydajnością, bo mi raczej marnie testy wychodziły....
>
> Pozdrawiam
> Adam
>
> Dnia 2012-04-12, czw o godzinie 11:47 +0200, Jacek Osiecki pisze:
>> Witam,
>>
>> Walczyłem trochę by uruchomić drbd - i w końcu się udało, choć trochę nie
>> do końca zgodnie z naszymi rc-scripts.
>>
>> Na początek jakiś problem w samym skrypcie do drbd.
>>
>> Mamy tam:
>>
>> $DRBDADM adjust-with-progress all
>>
>> Tymczasem nie ma takiej opcji, jest tylko samo "adjust".
>> Jak już się to poprawi, to jest prawie dobrze.
>> Tylko, że kolejności drbd, ocfs2 i o2cb są takie że nie ma prawa toto
>> działać w trybie master-master :)
>>
>> /etc/init.d/o2cb:# chkconfig:	2345 24 20
>> /etc/init.d/ocfs2:# chkconfig:	2345 25 19
>> /etc/init.d/drbd:# chkconfig: - 70 08
>>
>> Czyli drbd jest startowane dłuuuugo po o2cb i ocfs2. Tymczasem, bez
>> działającego drbd te nie ruszą. drbd zdecydowanie powinien startować
>> i się wyłączać w okolicach takich jak nfs - czyli S13, K81.
>>
>> Po tych drobnych zabiegach drbd+ocfs2 w trybie master-master działa
>> idealnie i wstaje samo po restarcie.
>>
>> Czy ktoś kto ma pod opieką drbd mógłby poprawić?
>>
>> Pozdrawiam,
>> _______________________________________________
>> pld-devel-pl mailing list
>> pld-devel-pl w lists.pld-linux.org
>> http://lists.pld-linux.org/mailman/listinfo/pld-devel-pl
>
>
> _______________________________________________
> pld-devel-pl mailing list
> pld-devel-pl w lists.pld-linux.org
> http://lists.pld-linux.org/mailman/listinfo/pld-devel-pl
>

-- 
Jacek Osiecki joshua w ceti.pl GG:3828944
I don't want something I need. I want something I want.