testy regresyjne

[Paweł Kołodziej]

Dnia Tue, Aug 07, 2001 at 08:26:24PM +0200, Jacek Konieczny napisał(a):
> On Tue, Aug 07, 2001 at 07:32:28PM +0200, Paweł Kołodziej wrote:
> > Czesc.
> > Zaczołeś już coś tworzyć w tym temacie ?
> Po dłuższym zastanowieniu doszedłem do wniosku, że to bez sensu.
> 
> > Ja natrafiłem ostatnio na dejagnu (dzis wrzucielm spec'a do repo).
> > To jest taki framework do testowania aplikacji. Na nasze potrzeby jest
> > chyba troche przekombinowany, ale może warto go uzyć ? testy pisze sie w
> > expect'ie (czyli tcl'u), potem generowane sa raporty (ktore testy
> > przeszly, ktore nie), kazdemu testowi mozna przypisac ID z bts'a
> > itp. 
> Super, ale nie dla nas :-(

po blizszym przyjżeniu doszedłem do wniosku że dla naszego celu nie jest
to tak fajne jak sie na poczatku wydawało. Ale zrobienie opdowiedniego
zaplecza powinno być dość proste. 

> >Co ty na to ?
> IMHO nie my powinniśmy się tym zajmować. Testy, które mogły by dobrze
> spełniać swoje zadanie musiałby być prawie tak (a może nawet bardziej)
> skomplikowane jak testowana aplikacja. Takie testy to bardzo dobra
> rzecz, ale raczej powinny powsatawać z aplikacją.

Tak, to był by ideał. Niektóre programy mają takie testy (np. gcc, gdb)
ale nawet ich nie wykożystujemy. Np w gdd polecenie "make check" pokazuje:
"All 620 tests passed". Więc trohce tych testow tam jest i sobie spokojnie
gnije. (żeby uruchomić te testy trzeba miec "dejagnu" -- spec lezy w
repo). 

> Jeśli my zaczniemy 
> się tym zajmować, kto będzie robił dystrybucje? 

IMVHO "robienie" dyustrybucji to nie tylko klepanie speców na potege, ale
również testowanie zarówno dystrybucji jako całości (zależnosći między
pakietami, itp), jak również poszczególnych klocków z których jest
zbudowana.

> A jeśli robilibyśmy to,
> nie poświęcając odpowiednio dużo czasu, to dawało by to nam tylko
> złudną pewność działania pakietów. 

Nie tyle pewność działania, co pewnośc braku całkowitej niepewności
działania.

> Mógłby ktoś stwierdzić, że jak PLD
> przechodzi wszystkie testy to już jest STABLE. Ale to nie takie proste. 

Jasne. Ale po przeczytaniu twojego listu doszedłem do wnoisku że testownie
nie ma sensu. Być może źle to zrozumiałem, ale takie odniosłem wrażenie. 

Nietestowanie dystrybucji wogóle wydaje mi sie wyjściem najgorszym.
Każdorazowe ręczne testowanie każdego, czy nawet części paietów przed 
wystawnieniem na ftp jest poprostu uciążliwe i nie stanowi dla ludzi którzy
mieli by to wykonywać pasjonującego wyzwania. Tak więc na ftp czasem
ląduja pakiety "uszkodzone". Dlaczego więc nie napisać kilku skryptów
testujących podstawowe własności podstawowych pakietów ? Może potem dało
by się zainteresować autorów tych aplikacji przejęciem tych testów i ich
dalszym rozwojem ? Może wreszcie takie testy stały by się integralną
częscią BTS'a (gdy już ruszy). Przecież często nie wiele trudniejsze od
napisania na liste/zgłoszenia do BTS'u faktu że coś niedziala, jest
napisanie sktyptu który tesuje i pokazuje co niedziala. 

-- 
Paweł Kołodziej 
pawelk w pld.org.pl