Player en Clutter: integració contínua
Idees i proposta per muntar integració contínua (jhbuild, buildbot i una testsuite de correcció i rendiment) al player fet amb Clutter.
Traducció de l’original en castellà. Llegeix-lo en: CastellanoEnglish
Aquesta pàgina era al wiki d'oriolrius.cat (2009–2012). La recupero aquí tal com era.
Antecedents
La integració contínua té com a objectiu fer un seguiment continu dels canvis en el codi d'un projecte, per detectar fallades o problemes en el moment en què es fan, és a dir, aconseguir una detecció ràpida d'errors que eviti problemes posteriors. Es tracta, al capdavall, d'un control de qualitat.
Per fer una integració contínua d'un projecte cal que aquest compleixi una sèrie de requisits:
- Ús de control de versions. D'aquesta manera es poden detectar de manera senzilla canvis en el codi, així com quina versió és la que genera problemes
- Construcció automàtica. El projecte ha de poder compilar-se amb una sola comanda.
- Testsuite completa. El projecte ha de tenir un conjunt de tests que són els que determinaran si hi ha algun tipus d'error en el codi
També hi ha una sèrie de recomanacions:
- Commits regulars. D'aquesta manera s'evita que les diferents branques de desenvolupament divergeixin i es trigui més a detectar problemes
- Cada commit s'hauria de compilar i provar
- La compilació hauria de ser ràpida. Com més aviat es compili el codi, abans es detecten les fallades
- Les proves s'haurien de fer en un clon de la màquina en producció.
- Obtenció fàcil de les últimes versions, perquè sigui més fàcil provar i per tant detectar problemes
- Tots els desenvolupadors haurien de poder veure els resultats de les proves. D'aquesta manera, si hi ha algun problema, tothom el podrà veure de manera senzilla.
Objectius
Els objectius que es volen aconseguir fent servir integració contínua són:
- Comprovar la correcció del programari
- Comprovar el rendiment del programari
- Que el cost de la implantació del sistema sigui reduït.
Idees/proposta
Tenint en compte el que s'ha comentat als punts anteriors, per poder implantar un sistema d'integració contínua caldria fer les tasques següents:
- Crear un sistema de construcció del programari
- Implantar un servidor d'integració contínua
- Desenvolupar una testsuite completa, tant amb tests de correcció com de rendiment.
Aprofundim en cadascun dels punts
Sistema de construcció de programari
Tenint en compte que un dels objectius fonamentals és l'avaluació del rendiment i que el player està basat en clutter i que gran part del rendiment vindrà determinat per aquesta llibreria, pot ser interessant provar també el programari amb diferents versions de clutter. Clutter utilitza jhbuild com a sistema de construcció del programari, per la qual cosa es podria utilitzar el mateix sistema per construir tot l'stack de programari
Servidor d'integració contínua
Hi ha multitud d'aplicacions per fer aquesta tasca (vegeu http://en.wikipedia.org/wiki/Continuous_integration). Tanmateix, tenint en compte la selecció del sistema de construcció indicada al punt anterior ens interessa algun sistema que s'integri fàcilment amb jhbuild. jhbuild forma part del projecte Gnome, que està utilitzant un sistema d'integració contínua (buildbot http://buildbot.net/) i tenen scripts desenvolupats per a la integració amb jhbuild (http://live.gnome.org/BuildBrigade https://www.ohloh.net/p/jhbuild-buildbot-scripts). Per això crec que podríem utilitzar aquest sistema.
A més, hi ha un parell de qüestions de menor rellevància però que considero positives: jhbuild i buildbot estan tots dos desenvolupats en python, amb la qual cosa totes les eines utilitzen el mateix llenguatge de programació, i darrere de la integració de jhbuild i buildbot hi ha la gent d'igalia, la qual cosa implica una certa 'proximitat' geogràfica i idiomàtica.
Testsuite
Correcció
Python ofereix a la llibreria estàndard un framework per a la creació de tests: http://docs.python.org/library/unittest.html
Rendiment
A banda de tenir en compte qüestions relatives al rendiment en python http://wiki.python.org/moin/PythonSpeed/PerformanceTips per poder fer tests de rendiment. Per això hi ha diverses opcions:
- http://docs.python.org/library/profile.html La llibreria estàndard de python ofereix un parell de mecanismes de profiling. Això pot ser útil per a depurar el rendiment, però és poc útil per fer un seguiment del rendiment en el temps
- http://docs.python.org/library/timeit.html La llibreria estàndard també proporciona aquest mòdul que permet mesurar el temps d'execució d'algunes funcions.
- http://guppy-pe.sourceforge.net/#Heapy permet depurar el consum de memòria
- http://agiletesting.blogspot.com/2004/12/performance-testing-with-pyunitperf.html Framework per a la creació de tests de rendiment
He trobat també un article interessant d'Andy Wingo sobre com millorar el consum de memòria en python: http://wingolog.org/archives/2007/11/27/reducing-the-footprint-of-python-applications
El problema de totes aquestes solucions és que o bé estan pensades per depurar un programa (no per fer un seguiment en el temps) o bé ofereixen informació reduïda. En resum, que python no és un llenguatge que permeti gaire introspecció pel que fa a consum de temps/memòria. El més raonable seria utilitzar una combinació del framework pyunitperf amb timeit, però cal tenir en compte que això únicament ens donarà informació sobre el temps real que triga l'aplicació a fer determinades tasques.
Tasques a fer
- Fer una testsuite bàsica de rendiment per a l'aplicació.
- Validar si la informació que podem obtenir de la testsuite ens sembla d'interès per fer la implantació d'un sistema d'integració contínua
- Implantar/provar buildbot
- Connectar els resultats de la testsuite bàsica amb buildbot
- Crear un mòdul jhbuild per al player
- Implantar el sistema d'integració contínua en una màquina equivalent a la de producció
- Crear diversos entorns amb diferents versions de clutter/pyclutter (stable, inestable, etc.) per poder avaluar si una modificació en el rendiment es deu a clutter o al player
- Completar la testsuite per al player
- Implantar