Player en Clutter i DBUS
Notes del player de digital signage fet amb Clutter i DBUS: metainformació, roadmap, manual d'ús i joc de proves.
Traducció de l’original en castellà. Llegeix-lo en: CastellanoEnglish
Aquesta pàgina era al wiki d'oriolrius.cat (2009–2012). La recupero aquí tal com era.
Es tracta d'un player que s'alimenta de clutterscripts per mostrar escenaris, la llista de reproducció es rep via DBUS i es pot interactuar amb el player a través d'aquesta interfície.
Recursos
Referències de projectes relacionats
Cookbook (petit manual d'ús)
./player.py --help
./client.py --help
I abusant una mica de línies, m'estenc una mica més. El player és el player.py. Es pot llançar sense arguments, i llavors arrenca i es queda aturat, o se li poden passar pàgines com a arguments, p. ex:
./player.py page1.json page2.json page3.json [...]
En aquest cas és com si féssim 3 'load', 1 per cada pàgina, i un 'next', és a dir, carreguem les pàgines i llancem la primera.
La GUI també té algunes comandes:
- 'q' per sortir
- 'n' llança la comanda 'next'
- 's' llança la comanda 'stop'
- espai per a 'start' i 'pause'
A més el client.py permet gestionar la interfície dbus del player. Té totes les comandes, funciona d'una de les formes següents:
./client.py -c start
./client.py -c stop
./client.py -c pause
./client.py -c load page.json
./client.py -c next
./client.py -c clear
Metainformació
A continuació es defineixen els elements dels quals es compon un canal de digital signage, al cap i a la fi el contingut que ha de reproduir un player.
"Els Canals estan formats per Pàgines que al seu torn permeten dividir l'àrea útil de la pantalla en Zones. Cada una de les Zones ha de tenir almenys una Cistella associada."
Canal -> Páginas -> Zonas -> Cestas -> Media
Descripcions:
- Canal:
- Cistelles: també es poden entendre com a playlists
ClutterScript
Un ClutterScript podria ser una pàgina del canal, llavors un canal estaria format per diversos ClutterScript que representen cada un d'ells una pàgina del canal.
Com que el nostre sistema és la versió inicial, només suportem pàgines amb una zona o dues zones. A la següent captura de pantalla de MCP es poden veure diverses plantilles; nosaltres inicialment només suportarem la plantilla 1 (la seleccionada) i la 4 (zona de vídeo amb un peu que és la zona del ticker)

Dins d'una zona (tant és si és la zona gran o la petita/ticket) podem tenir assignada una cistella (playlist); aquesta playlist contindrà una llista de medies a mostrar: vídeo, imatge o ticker de text.
Per tant el nostre clutterscript que defineix una pàgina tindrà un aspecte similar a:
{
"My Scene" : {
"id" : "pagina1",
"type" : "ClutterStage",
"title" : "ClutterScript test",
"color" : "white",
"children" : [
{
"id" : "zona1",
"type" : "Zona",
"x" : 0, "y" : 0, "width" : 1024, "height" : 768
"children" : [
{
"id": "cesta1",
"type": "playlist",
"repeticiones":"0", (0:ninguna,-1:loop,n: num de veces)
"children" : [
{
"id": "item1",
"type":"video",
"file":"/path/filname.avi",
"sound_volumen":"0",
"scale":"yes"
}
]
"children" : [
{
"id": "item2",
"type":"image",
"file":"/path/filname.png",
"time":"0",
"scale":"yes"
}
]
}
]
}
]
}
}
Com funciona un player
Té una cua FIFO d'stages/pàgines que va reproduint de forma seqüencial. Al seu torn, cada una de les pàgines té els elements comentats anteriorment sobre els quals no es pot interactuar més enllà de posar en play/pause/stop.
Quan la línia de temps d'una pàgina/stage s'esgota es carrega la pàgina següent i es mostra. Fent POP de la cua FIFO. Així doncs, un element de la cua FIFO que s'està reproduint ja no és a la cua.
Si una pàgina està en LOOP infinit, aquesta pàgina es treu de la FIFO i no permet que mai passi a l'element següent de la cua, fins que algun element extern li enviï un 'next'. Això força que es carregui l'element següent, perquè si no, per si mateixa mai no sortirà del bucle.
Quan es fa un 'load' el que es fa és afegir un element a la cua FIFO que quan sigui oportú serà reproduït.
Un 'clear' l'únic que farà és buidar la cua FIFO, no afecta l'element en play.
Player-Clutter: Roadmap
version 0.1 ~finals de gener
Playlist basada en ClutterScripts. Termini estimat: 4 i 11 de desembre per als 2 primers puntsFetEn primer lloc, necessitem acabar de definir quina és l'estructura d'una playlist. Serà la mateixa que a, p. ex., Signtech? Aquesta estructura era:FetSeqüència de vídeos i/o imatges. En el cas de les imatges, s'indicava un camp de durada d'exposició de la imatge.FetPossibilitat de ticker. Independent de la seqüència anterior, simplement conté un text que es va desplaçant d'esquerra a dreta durant tot el temps.FetDubtes: Respecte al ticker, em sorgeixen 2 dubtes. En primer lloc, el ticker tipus signtech no tenia control de temps ni nombre de repeticions, ja que actuava com a esclau. El ticker actualment està implementat així. Tanmateix, entenc que això no hauria de ser així, sinó que s'hauria de marcar un temps de durada o nombre de repeticions, oi? Quina seria la forma preferida? D'altra banda, actualment la durada d'una passada del text al ticker és constant (i hardcoded). Això vol dir que si el text és més gran passarà més lent i si hi ha més text passarà més ràpid... això hauria de ser configurable? en base a un temps constant o una velocitat constant?RESPOSTA: el comportament del ticker ha de ser:es mostra el ticker a una velocitat de X píxels/segon (paràmetre definit en JSON)Fetpot estar o no definit un temps màxim en què aquest ticker s'ha de mostrar, per exemple, si poso 1min es mostrarà el ticker en loop durant 1 minut i després deixarà de mostrar-seFetloops=X, si X=n es mostra n vegades per a n>0, X=0 es mostra infinites vegadesFetsi tota la lògica es complica molt, implementa només el de la velocitat i alguna cosa és alguna cosa... el normal és que un ticker sigui esclau com passava a signtech, la resta de funcions són per si la zona del ticker fos la master com hauràs imaginat.Finalment he implementat la lògica completa.
Amb l'estructura de la playlist definida, cal pensar com mapejar-la al json. El que sí que està clar és que al json tindrem directament 3 objectes: Video, Image i Ticker als quals podrem mapejar les propietats; el que encara no tinc clar però no crec que sigui problemàtic és la forma de definir una seqüència. @oriol: no sé si tu li has donat una volta a això, si no, tranquil, simplement és que no he tingut temps.Fet a falta de les propietats a afegir segons el punt anterior en cas de necessitat. complete.json és un exemple de pàgina.Un cop resolt el punt anterior, n'hi ha prou amb fer, si cal, una mica de pegament per implementar les seqüències, mostrar l'escenari amb els diferents elements, etc. Tanmateix, aquest punt es realitzaria un cop tinguem les 3 classes funcionant (almenys prototipades). Termini estimat: 1 de gener per muntar-ho, 8 de gener per provar i acabar de quadrar tot el punt 1 i tot el punt 2.Fet
- Tipus d'actors suportats. Cada tipus d'element tindrà la seva pròpia classe, cada un amb les propietats específiques que necessitem: Termini estimat: 19 i 26 de desembre per a aquest punt
- Video, via gst. Heretarà de ClutterGstVideoTexture. Fet, encara que hi ha un problema amb l'escalat. Actualment s'escala automàticament a la mida de la pantalla, ja que no he trobat la manera d'obtenir l'amplada/alçada del vídeo fins que s'està executant. Em sorgeix el dubte també de si en escalar s'ha de mantenir el ratio amplada/alçada constant o no.
- RESPOSTA: deixa-ho així encara que s'haurà de suportar: escalat mantenint ratios x,y
Image. Heretarà de ClutterTexture i tindrà una propietat durada (si no s'estableix mitjançant un timeline)Fet, encara que el dubte del ratio amplada/alçada també es manté aquí.Ticker. Tindrà el text a mostrar i, en el futur, podrà ampliar les seves característiques (mida de text, tipografia, color, etc.)Fet a falta de determinar la velocitat, ja comentat més amunt.
- Video, via gst. Heretarà de ClutterGstVideoTexture. Fet, encara que hi ha un problema amb l'escalat. Actualment s'escala automàticament a la mida de la pantalla, ja que no he trobat la manera d'obtenir l'amplada/alçada del vídeo fins que s'està executant. Em sorgeix el dubte també de si en escalar s'ha de mantenir el ratio amplada/alçada constant o no.
- Interfície dbus. Un cop tinguem els actors i les playlist suportades, caldrà crear aquesta interfície. A continuació intento definir una mica més i llanço alguna idea de com fer-ho: Termini estimat: 15 i 22 de gener per implementar-ho, 29 de gener per provar-ho, i resoldre problemes
play, pause, stop: aquests 3 mètodes permetran arrencar, pausar i parar el player. En realitat, actuaran directament sobre el stage, i automàgicament funcionarà per a tots els actors (si no acaba de funcionar de sèrie, caldrà fer el pegament perquè funcioni com comento, però és possible que sigui automàgic, segons la docu de clutter).Fetnext in pl: finalitzarà el 'timeline' de la imatge o vídeo actual i passarà al següentdescarrega stage actual i passa al següentFet
clear pl: cal definir el comportament: pararia el player? o seguiria fins al final de la pl però no tornaria a començar? és a dir, destruiria tot el stage?esborra tots els stage que tenim a la caché i res més, si l'user volia un pause/stop que l'hagués llançatFet
load pl: se li podrà passar un json com a paràmetre entenc... en aquest cas... seria com un 'reseteig' del player? o seguiria amb el pl actual fins a la seva finalització i posteriorment carregaria la nova?seria semblant a un append stage a la meva llista de stages, em segueixes?Fet
He creat la interfície dbus i un client: client.py que permet llançar comandes via dbus al playerFet
- Fullscreen
- Integrar a moblin Termini estimat: el punt anterior i aquest, podríem posar 1 setmana, el 5 de febrer, per intentar quadrar-ho tot, no sé gaire bé la integració com de problemàtica serà... l'ideal seria anar provant mentre es va desenvolupant. Si em passes una imatge de virtualbox o similar (o un enllaç o alguna indicació) ho vaig muntant i així evitem sorpreses al final
Qüestions de disseny a resoldre:
- fullscreen: sembla que el funcionament a pantalla completa és molt dependent de la targeta gràfica i el driver. També depèn del gestor de finestres. No he aconseguit posar els snippets a fullscreen amb la meva targeta/drivers/gestor. He creat un snippet en C per comprovar que no fos un problema en els bindings de python (també he provat amb el programa que suposadament funcionava) i tampoc ha estat possible. Sí que he vist que hi ha força gent amb aquest problema, i que en funció de l'ordre de la inicialització del stage principal el comportament pot diferir, per la qual cosa crec saber com poder posar una aplicació en fullscreen (si aconseguís que el fullscreen em funcionés)
- interfície dbus: no he detectat cap problema particular per fer la interfície dbus.
- tipus d'actors suportats: he provat principalment amb vídeo (via gstreamer) i no veig que hi hagi d'haver més problema. Les imatges estan suportades sense problemes i el ticker no suposa cap problema amb una animació.
- playlist basada en clutterscript: per a aquest apartat he estat considerant com es podria realitzar. La meva intenció inicial era heretar els nostres elements (video i ticker) d'un Stage o Actor de Clutter i cridar-los directament (he creat el snippet complete.py amb basic.json per anar en aquesta línia). Pensava que ClutterScript seria capaç d'interpretar tots els objectes de la jerarquia Clutter, però no és així, el seu coneixement sembla limitar-se als objectes definits a la llibreria. Si fos així caldria comprovar el funcionament de les funcions que es poden cridar des de clutterscript (amb l'element type-func) per crear aquests objectes. Després de la conversa de divendres, em vaig posar a investigar com implementar el parser, i com fer que cridés els nostres objectes. Investigant aquesta qüestió vaig estar repassant el sistema d'objectes de glib, gobject, i llegint la docu vaig veure què estava fallant: perquè ClutterScript pogués carregar els nostres objectes que segueixen la jerarquia ClutterActor, el que faltava era registrar aquestes classes com a tipus de gobject. Un cop resolt això, vaig aconseguir carregar les nostres classes amb ClutterScript. Un cop resolta aquesta qüestió, em van sorgir dues noves qüestions:
- Com aconseguir que el nostre objecte video fos un objecte dins de la jerarquia de ClutterActor, ja que a tots els snippets que tenim, els 'players' fan ús d'una textura, però no són objectes de tipus textura. Per comprendre això bé sí que vaig haver de recórrer a la documentació de gstreamer, ja que el funcionament d'un player gstreamer té una organització una mica complexa, que és difícil de comprendre sense conèixer l'arquitectura de gstreamer. Un cop comprès el funcionament, tinc ja una classe Video que hereta directament de ClutterGstVideoTexture, amb la qual cosa estem dins de la jerarquia d'objectes de Clutter. Aquest punt, juntament amb l'anterior, estan resolts al commit 73
- Com 'adequar' les playlists tradicionals (si no recordo malament, es podien definir una sèrie de vídeos i imatges que es van mostrant de forma ordenada, i a més la possibilitat d'un ticker, independent de la seqüència de vídeos i imatges, almenys així era a signtech, no recordo si era igual amb l'altre fabricant). Crec que això no serà problema per resoldre-ho, però al roadmap ho poso en primer lloc. Sí que caldria definir el format de playlist que hauríem de suportar.
version 0.2
- plug-ins
- escenaris complexos: múltiples zones, múltiples mesures, comprovar comportament de zones master.
- actors
- webkit
- flash (from webkit?)
version 0.3
- plug-ins
- capturen signals de les pantalles
- connecten playlists
- interactivitat
- etc
- widgets = clutterscripts + plug-ins
Player-Clutter: Milestones
- Fins al dia 27 de novembre, formació:
- Mirar i analitzar la solució a grans trets de com es programarà el player.
- Codi fet fins ara a: http://svn.oriolrius.cat/websvn/listing.php?repname=svn.oriolrius.cat&path=%2Fplayer-clutter%2F&rev=0&sc=0
- valorar les dates en què estarà fet el codi
Joc de proves
Proves que s'haurien de fer al player per saber si ja és prou estable com per fer la release:
Playlist
Les basquest/playlists són susceptibles de consumir tota la memòria de la màquina si són massa grans. Així doncs, es proposa generar playlists de fins a 1.000 items combinant vídeos i imatges per veure quin és el comportament.
De moment cal validar això amb un stage amb una única zona.
Stage
- Crear un stage amb diverses zones (2, 3, 4 i 5) amb playlists slave i una de master que pot anar rotant, comprovar que el comportament és el correcte.
- Provar amb un stage de dues zones (master i ticker) de posar a la zona master una playlist gegant i comprovar que el sistema es manté estable mentre el ticker va donant voltes de forma infinita.