
Normalmente no hablo nunca de librerías de Perl, aunque hace un buen montón de años estuve usándolo bastante. Obviamente todavía existía el PHP3 y Python no era ni un sueño. De hecho, no le puedo negar la súper potencia a Perl, simplemente el problema que le encuentro es que tiene una sintaxis tan confusa, compleja o espesa, digámoslo como queramos, que si lo dejas una temporada después no recuerdas casi nada. Pero no quería comentar las dificultades que tengo para recordar lo que sabía de Perl en este artículo.
Simplemente quería aprovechar para referenciar un par de artículos de BrainStorm que hablan de unas herramientas que me cambiarán la vida la próxima vez que tenga que programar una herramienta de web spidering. De hecho, yo hasta ahora los llamaba robots, básicamente eran herramientas que servían para construirme bases de datos a partir de webs que disponían de informaciones muy completas. Por ejemplo, webs con recopilatorios de características de miles de móviles.
Las referencias a los artículos:
Las librerías de las que nos habla BrainStorm:
- Template::Extract construimos un template y al aplicarlo sobre un documento HTML nos permite obtener los datos, sin las etiquetas. De hecho, si queremos podemos incluso escoger qué información queremos extraer, no tenemos por qué extraerlo todo. Concretamente los templates se construyen según la sintaxis que se llama TT2.
- Template::Generate construye templates estándar a partir de un HTML que le pasamos. Así después solo nos hace falta modificar el template para ajustarlo a las necesidades que podamos tener.
- WWW::Mechanize podemos navegar a través de una página web desde dentro de un objeto de perl. Es genial porque nos permite llegar a los datos que nos interesa conseguir de forma completamente transparente. Por ejemplo, conectamos a una web, nos registramos, vamos a la zona restringida, hacemos clic en una sección de la web y obtenemos la documentación que queríamos dentro del objeto de perl. Ahora si queremos le podemos aplicar un Template::Extract, por ejemplo.
Yo diría que se trata de la trilogía perfecta para generar herramientas que nos permiten extraer información de documentos HTML. Otra aplicación que es la que se nos comenta en el segundo artículo que he referenciado es la creación de resúmenes RSS de páginas que no disponen de esa funcionalidad.
2 comentarios
Los comentarios del blog antiguo, tal como se escribieron. Los comentarios están cerrados.
brainstorm
Ostres, si que t'han calat fons els meus articles, me'n alegro que et siguin tant útils :-)
—
Si et digues les hores que m'he passat programat web-spiders d'aquest amb PHP et pensaries que et prenc el pel. Per temes de feina he hagut d'omplir BBDD amb més de 10.000 registres amb aquesta tècnica. No et pots ni imaginar els mals de caps que he agafat amb el tema.
Per això m'ha agradat tan trobar aquesta alternativa en Perl, ara el proper cop que calgui fer això ja sé com sortir-me'n sense patir tan. Tot i que si em deixes escollir preferiria no haver-ho de fer més.