centralized syslog

Translation of the original in Catalan. Read it in: CatalàCastellano

When you have a few servers running, going over the logs in a more or less frequent and effective way is almost impossible. That's why you set up programs that watch the logs for you, but setting up and configuring these programs on all the servers can also be a pain...

so my conclusion has been to centralize them all in a single place. In fact up to here I haven't said anything new.

The trick is to do it against an SQL database. Taking advantage thus of the complexity of searches that SQL queries allow.

If the subject interests you, my idea came from this article:

http://ezine.daemonnews.org/200111/syslog.html

some other very interesting references are stunnel, to encrypt the communications between hosts:

http://www.stunnel.org/

and msyslog, which is a syslog that supports modules. Besides it is written by 4 little Spaniards:

http://sourceforge.net/projects/msyslog/

moreover it wouldn't be too difficult either to make an interface in PHP or some other language to monitor all the logs. If I keep improving the system I will inform you...

4 comments

Comments from the old blog, as they were written. Comments are closed.

  1. Law

    Podria donar-se el cas que aixo em servís per a fer consultes sql en un
    fitxer de text? o es ja massa somiar?



    En cas que fos un arxiu txt podria fer-se amb un tipus de txt de format:



    titolcamp1 , TitolCamp2 , TitolCamp3 , TitolCamp4

    bla , ble , blu , bla

    bli , blo , tralala , mussol

    dolarmusol , neng , tibalta , manuel



    o... seria massa somniar com he dit per ahi? :)

  2. Oriol Rius

    No se si he entès bé el q dius... a veure el tema esta en q els
    logs normalment es guarden en formats de texte, en el /var/log/messages o el
    lloc q sigui. Però cada log en cada ordinador.



    Llavors els programes de logs permeten q aquests fitxers s'enviin a un altre
    ordinador, això tots els programes de logs o permeten fer de
    serie.



    Però la gràcia del article és q aquestes linies q estan en
    mode text les entrem a una base de dades i no a un altre fitxer.



    Un cop dins la base de dades tu les pots treure com vulguis, amb el format q
    vulguis. O millor dit, q et suporti la base de dades q li has entrat. Com si el
    vols entrar al SQL Server, el Access o qualseol altre porqueria del pindows....
    m'explico millor ara?

  3. Law

    sisi ara entenc, jo em pensava que era una especie de virgueria qu et permetia
    de accedir a un txt formatejat rollo csv i fer-li consultes sql, ja estava jo
    flipant :).



    De totes maneres estic desenvolupant un script bastant guapillo per a poder fer
    servir un txt csv com si fos una base de dades. En cas que estigueu mes
    interessats ja us passare el codi o algo fare

  4. Oriol Rius

    Quan ho tinguis fet avisa i penja-ho al portal, sempre li pot fer servei a
    algú. Ja explicaràs com ho estas programant això q dius...
    pq no se m'acut com es pot fer.