Lista nie-budujących się rzeczy

Wto, 27 Lis 2001, 10:21:12 CET

On Tue, 27 Nov 2001, Blues wrote:
[..]

Zabrałem się właśnie jeszcze do czegoś co taką listę będzie na bierząco
robić przynajmniej z tego co leci na buildery. Za kilkadzisiąt
minut poainny wlecieć do repo poprawki do pld-builder umożliwiajace 
skłądowanie logów na zewnętrznym hoście. Także powstanie kolejny
host buildlogs.pld.org.pl i na początek będzie to tylko ftp ale zara potem
zamierzam dodać do tego także http z raportami. Mam tylko prośbe do Pawła 
i innych którzy zajmują się.

Po któtce jak to sobie wyobrażam:
- to co dociera teraz na pld-logs-builder w pld.org.pl powinno się
  zmienić. Powinna powstać lista na której bendą serwowane tylko
  informacje bierzące o tym czy pakiet się przebudował czy nie.
  Na pld-logs-builder w pld.org.pl dla tych którzy chcieliby logi i tak 
  otrzymywać powinny być posyłane całe logi niezaleznie od tego czy pakeit 
  sie zrebudował czy nie

- na buildlogs.pld.org.pl powinna powstać hierarchia /<arch>/{OK,FAIL}/
  a w niej bzipnięte pliki logów <pakiet>-<data_budowania>.bz2. Jak pakiet 
  się przebudoeał prawidłowo to log jest w katalogu OK, a jak 
  nieprawidłowo to FAIL. Już widać ze tylko z zawarości tego co będzie na 
  ftp można będzie wyciągnąć:
  - czas ostaniego przebudowani (nie tylko z nazwy pliku ale takze z 
    mtime pliku; czas w nazwie pliku bezie raczje tylko po to żeby tego 
    typu informacja była lepiej widoczna; w razie czego mozan bedzie z 
    tego zrezgniować i posługiwać sie wyłącznie mtime),
  - ile trwało budowanie (potrzebne bedzie do sumarycznego oszacowania 
    jakiej mocy będziemy potrzebować do przebudowania całości); w log 
    wpada generowany na builderze wynik wykonani time całego budowania,
  - kiedy ostani raz pakiet był budowany,
  - czy przebudował się parwidłowo czy nie.

- z powyższych informacji można będzie generować via http/smtp:
  - dzienne podsumiowania budowań (te informacje bezie moząń wykorzystać 
    do wielu innych zreczy jak choćby to które pakirty danego dnai 
    są w grupie pakietów które moga być pzresujniete z /test),
  - bierzacy statu tego co się buduje a co nie,
  - wszelkie informacje powinny być także dostępne uwzględniajac
    sortowanie według różnych kryteriów soertowania danych (wg nazwy 
    pakietu, daty budowania, czy pakeit sie budowął prawidłowo czy nie),
  - utworzyć serwis dostępny pozrez smtp w którym wysłanie listu na np.
    logger w buildlogs.pld.org.pl z odpowiednia zawartościa Subject: pozwoli 
    na wyciagnie różnych informacji (kawałek .promailrc z jakąś obróbką 
    Subjest powinien to ładnie załatiwć),
  - dzięki temu że logi bendą składowane przejrzenie co i jak się budowało 
    bęzie wymagało tylko dociagnięcia pliku z ftp (tak z ~98% pakietów
    buduje się dłużej niż potencjalny czas ściagnięcia pliku),
  - logi będzie można przepuszczać przez różnego rodzaju automaty
    wyszukujace rózne rzeczy czy też robić jakiekolwiek inne badania
    czysto statystyczne na tych informacjach.

Całoś prawdopodobie od spodu będzie można spiąć z kawałkie jakiegoś SQL-a
i tu jeżeli ktoś miałby chęć i koncepcje na to jak pod powyższe to
podłączyć to byłoby ładnie. Sam w SQLu jestem dość cienki ale z powyższym
z ksiażką w ręku jakoś niemniej powinienem sobie dać radę tyle, że razie
ktoś mógłby to mógłby zrobić i lepiej i szybciej. Jeżeli ktoś miałby
jakieś pomysły do do realizacji tego co mozan będzie zrealizować w bazie
bazujac na powyższych informacjach to prośba o pomoc i zgłoszenie się
jeśli można do mnie. W razie jakiś wątopliwości w tej materii,
proponowałbym wstępnie także obdyskutowywac jakieś koncepcje realizacji
konkretncyh rzeczy bazujacych na powyższym tuta. Moze ktoś dostzreaga
jakieś inne konsekwecje powyższego ruchu których nie wymieniłem i coś z
tego nowego ciekwawgo może wynika ? Inni uczestnicy projektu to doskonałe
"lustro" na "oglądanie" takich rzeczy. Wyjdzie tu niemal każda krzywizna
:)

Nie wiem jeszcze jak te informacje połączyć z tym co będzie w BTS ? Czy
informacje z buildlogs powionny być wstrzeliwane w bazę BTSa czy może
powinna powstać kolejna warstwa integrująca informacje z BTS i buildlogs.
To drugie wydaje się logiczniejsze bo powodowałoby że oba źródła
informacji wraz z własna automatyka mogłby rozwiajać się dość niezależnie,
a i w razie czego coś co mi się widzi że możnaby wstawić na np.  
status.pld.org.pl mogłoby zawierać jeszcze inne informace. Np. co jest
skolejkowane na builderach ? co się tam buduje obecnie ? (obecnie buildery
wysyłaja loggerem informacje na logs.pld.org.pl i jakby ktoś chciał zjać
sie obróbka tych danych to czeka to na chetnego który dostanie ten adres i
bedzie mógł zrobić co tam będzie uważał za stosowne [*1*]). Po zrobieniu
grupy chostów do "wkółkomacieju budowania" pakietów mozanaby też i te
informacje intergoeać na tym poziomie wuciagjąc je z poziomu niżej który
przechowywałby stan i informacje jakie tu by powstawały.
Wczoraj z Marcinem zastanawialiśmy się takze nad kilkoma potencjalnymi 
koncepcjami dotyczącymi buildwrów do budowanai w kółko pakietów. Wstepne 
konsekwencje zapowiadaja sie dość obeicujaco ale najpierw tzrebaby 
zrealizować powyzsze.

Zrobienie wstepnego skłądowanie logów na ftp powinno dać się zrobic 
dzisia i raczej bendę chciał wstrzymać specjalnie puszczanie rzeczy na 
buildery żeby niejako wręcz samemu się zmusić żebu niezbedne elementy do
tego żeby przynajmniej logi składować rzuszyły już dzisiaj.

Kłeszczyns ? koments ?

[*1*] - obecnie inforemacje z buildewrów idą po udp po syslogu ale IMHO
możnaby to zmienić na trapy snmp, bo łatwiej byłoby to obsługiwać.

[..]
> Smutne jest, że brakuje wielu patchy w repo. Apeluję o pilnowanie tego. O 
> ile źródła nie są ważne specjalnie, jeżeli jest URL, to patche są trudne 
> do odtworzenia.

Trzeba będzie przerobić skrypty pld-buildera żeby były w stanie zwrócić 
status: pakiet zbudował sie poprawnie, pakiet zbudwał się niepoprawnie, 
Pakiet nie moze być zbudowany na danej arch (co wynikałoby z 
ExcludeArch/ExclusiveArch), pakiet nie mógł się zbudować bo brak było 
źródeł/patchy. W przypadku braku źródeł/patchy pzry wysyłaniu zlecenai na 
builder mozanby dzieki temu powiadamiać listem osobę która ostanio robiła 
coś w pakeicie że są takei braki.

> ***
> 
> BTS - chodzi i działa.
> Proponuję, żeby zgłoszenia o tym, że coś się nie buduje wysyłać właśnie 
> tam. Daje to możliwość robienia poprawek i zarządzania/optymalizacji 
> pracy.
> http://bugs.pld.net.pl
> 
> ***
> 
> koules		- brak patchy

Mam kilka poprawego do tego ale nie chce mi się to zbudować i tak (szkoda 
bo gierkę dosć lubię :)

[..]
> parigp		- tylko 686?

parigp(12) [OLD] 2.1.1 [NEW] 2.1.2

Zacząłobym od aktualizacji. Paskudne błędy wyskakują przy linkowaiu.

kloczek
PS. jaby co to mnie przez najbliższe 3-4 godzin najprawdopodobniej mnie 
nie będzie.
-- 
-----------------------------------------------------------
*Ludzie nie mają problemów, tylko sobie sami je stwarzają*
-----------------------------------------------------------
Tomasz Kłoczko, sys adm @zie.pg.gda.pl|*e-mail: kloczek w rudy.mif.pg.gda.pl*