Lista nie-budujących się rzeczy
Tomasz Kłoczko
kloczek w rudy.mif.pg.gda.pl
Wto, 27 Lis 2001, 10:21:12 CET
On Tue, 27 Nov 2001, Blues wrote:
[..]
Zabrałem się właśnie jeszcze do czegoś co taką listę będzie na bierząco
robić przynajmniej z tego co leci na buildery. Za kilkadzisiąt
minut poainny wlecieć do repo poprawki do pld-builder umożliwiajace
skłądowanie logów na zewnętrznym hoście. Także powstanie kolejny
host buildlogs.pld.org.pl i na początek będzie to tylko ftp ale zara potem
zamierzam dodać do tego także http z raportami. Mam tylko prośbe do Pawła
i innych którzy zajmują się.
Po któtce jak to sobie wyobrażam:
- to co dociera teraz na pld-logs-builder w pld.org.pl powinno się
zmienić. Powinna powstać lista na której bendą serwowane tylko
informacje bierzące o tym czy pakiet się przebudował czy nie.
Na pld-logs-builder w pld.org.pl dla tych którzy chcieliby logi i tak
otrzymywać powinny być posyłane całe logi niezaleznie od tego czy pakeit
sie zrebudował czy nie
- na buildlogs.pld.org.pl powinna powstać hierarchia /<arch>/{OK,FAIL}/
a w niej bzipnięte pliki logów <pakiet>-<data_budowania>.bz2. Jak pakiet
się przebudoeał prawidłowo to log jest w katalogu OK, a jak
nieprawidłowo to FAIL. Już widać ze tylko z zawarości tego co będzie na
ftp można będzie wyciągnąć:
- czas ostaniego przebudowani (nie tylko z nazwy pliku ale takze z
mtime pliku; czas w nazwie pliku bezie raczje tylko po to żeby tego
typu informacja była lepiej widoczna; w razie czego mozan bedzie z
tego zrezgniować i posługiwać sie wyłącznie mtime),
- ile trwało budowanie (potrzebne bedzie do sumarycznego oszacowania
jakiej mocy będziemy potrzebować do przebudowania całości); w log
wpada generowany na builderze wynik wykonani time całego budowania,
- kiedy ostani raz pakiet był budowany,
- czy przebudował się parwidłowo czy nie.
- z powyższych informacji można będzie generować via http/smtp:
- dzienne podsumiowania budowań (te informacje bezie moząń wykorzystać
do wielu innych zreczy jak choćby to które pakirty danego dnai
są w grupie pakietów które moga być pzresujniete z /test),
- bierzacy statu tego co się buduje a co nie,
- wszelkie informacje powinny być także dostępne uwzględniajac
sortowanie według różnych kryteriów soertowania danych (wg nazwy
pakietu, daty budowania, czy pakeit sie budowął prawidłowo czy nie),
- utworzyć serwis dostępny pozrez smtp w którym wysłanie listu na np.
logger w buildlogs.pld.org.pl z odpowiednia zawartościa Subject: pozwoli
na wyciagnie różnych informacji (kawałek .promailrc z jakąś obróbką
Subjest powinien to ładnie załatiwć),
- dzięki temu że logi bendą składowane przejrzenie co i jak się budowało
bęzie wymagało tylko dociagnięcia pliku z ftp (tak z ~98% pakietów
buduje się dłużej niż potencjalny czas ściagnięcia pliku),
- logi będzie można przepuszczać przez różnego rodzaju automaty
wyszukujace rózne rzeczy czy też robić jakiekolwiek inne badania
czysto statystyczne na tych informacjach.
Całoś prawdopodobie od spodu będzie można spiąć z kawałkie jakiegoś SQL-a
i tu jeżeli ktoś miałby chęć i koncepcje na to jak pod powyższe to
podłączyć to byłoby ładnie. Sam w SQLu jestem dość cienki ale z powyższym
z ksiażką w ręku jakoś niemniej powinienem sobie dać radę tyle, że razie
ktoś mógłby to mógłby zrobić i lepiej i szybciej. Jeżeli ktoś miałby
jakieś pomysły do do realizacji tego co mozan będzie zrealizować w bazie
bazujac na powyższych informacjach to prośba o pomoc i zgłoszenie się
jeśli można do mnie. W razie jakiś wątopliwości w tej materii,
proponowałbym wstępnie także obdyskutowywac jakieś koncepcje realizacji
konkretncyh rzeczy bazujacych na powyższym tuta. Moze ktoś dostzreaga
jakieś inne konsekwecje powyższego ruchu których nie wymieniłem i coś z
tego nowego ciekwawgo może wynika ? Inni uczestnicy projektu to doskonałe
"lustro" na "oglądanie" takich rzeczy. Wyjdzie tu niemal każda krzywizna
:)
Nie wiem jeszcze jak te informacje połączyć z tym co będzie w BTS ? Czy
informacje z buildlogs powionny być wstrzeliwane w bazę BTSa czy może
powinna powstać kolejna warstwa integrująca informacje z BTS i buildlogs.
To drugie wydaje się logiczniejsze bo powodowałoby że oba źródła
informacji wraz z własna automatyka mogłby rozwiajać się dość niezależnie,
a i w razie czego coś co mi się widzi że możnaby wstawić na np.
status.pld.org.pl mogłoby zawierać jeszcze inne informace. Np. co jest
skolejkowane na builderach ? co się tam buduje obecnie ? (obecnie buildery
wysyłaja loggerem informacje na logs.pld.org.pl i jakby ktoś chciał zjać
sie obróbka tych danych to czeka to na chetnego który dostanie ten adres i
bedzie mógł zrobić co tam będzie uważał za stosowne [*1*]). Po zrobieniu
grupy chostów do "wkółkomacieju budowania" pakietów mozanaby też i te
informacje intergoeać na tym poziomie wuciagjąc je z poziomu niżej który
przechowywałby stan i informacje jakie tu by powstawały.
Wczoraj z Marcinem zastanawialiśmy się takze nad kilkoma potencjalnymi
koncepcjami dotyczącymi buildwrów do budowanai w kółko pakietów. Wstepne
konsekwencje zapowiadaja sie dość obeicujaco ale najpierw tzrebaby
zrealizować powyzsze.
Zrobienie wstepnego skłądowanie logów na ftp powinno dać się zrobic
dzisia i raczej bendę chciał wstrzymać specjalnie puszczanie rzeczy na
buildery żeby niejako wręcz samemu się zmusić żebu niezbedne elementy do
tego żeby przynajmniej logi składować rzuszyły już dzisiaj.
Kłeszczyns ? koments ?
[*1*] - obecnie inforemacje z buildewrów idą po udp po syslogu ale IMHO
możnaby to zmienić na trapy snmp, bo łatwiej byłoby to obsługiwać.
[..]
> Smutne jest, że brakuje wielu patchy w repo. Apeluję o pilnowanie tego. O
> ile źródła nie są ważne specjalnie, jeżeli jest URL, to patche są trudne
> do odtworzenia.
Trzeba będzie przerobić skrypty pld-buildera żeby były w stanie zwrócić
status: pakiet zbudował sie poprawnie, pakiet zbudwał się niepoprawnie,
Pakiet nie moze być zbudowany na danej arch (co wynikałoby z
ExcludeArch/ExclusiveArch), pakiet nie mógł się zbudować bo brak było
źródeł/patchy. W przypadku braku źródeł/patchy pzry wysyłaniu zlecenai na
builder mozanby dzieki temu powiadamiać listem osobę która ostanio robiła
coś w pakeicie że są takei braki.
> ***
>
> BTS - chodzi i działa.
> Proponuję, żeby zgłoszenia o tym, że coś się nie buduje wysyłać właśnie
> tam. Daje to możliwość robienia poprawek i zarządzania/optymalizacji
> pracy.
> http://bugs.pld.net.pl
>
> ***
>
> koules - brak patchy
Mam kilka poprawego do tego ale nie chce mi się to zbudować i tak (szkoda
bo gierkę dosć lubię :)
[..]
> parigp - tylko 686?
parigp(12) [OLD] 2.1.1 [NEW] 2.1.2
Zacząłobym od aktualizacji. Paskudne błędy wyskakują przy linkowaiu.
kloczek
PS. jaby co to mnie przez najbliższe 3-4 godzin najprawdopodobniej mnie
nie będzie.
--
-----------------------------------------------------------
*Ludzie nie mają problemów, tylko sobie sami je stwarzają*
-----------------------------------------------------------
Tomasz Kłoczko, sys adm @zie.pg.gda.pl|*e-mail: kloczek w rudy.mif.pg.gda.pl*
Więcej informacji o liście dyskusyjnej pld-devel-pl