Desafiament Networking [el problema]
Traducció de l’original en castellà. Llegeix-lo en: CastellanoEnglish
Part 1 de 3Desafiament networking
- Desafiament Networking [el problema]
- podcast 1x11: desafiament networking [el problema]
- podcast 1×13: desafiament networking [la solució]
Escenari
Es disposa d'un dispositiu de maquinari amb un linux embedded al qual no es pot accedir ja que el fabricant no ho facilita, s'ha intentat accedir però no n'hem estat capaços ni amb els nostres mitjans ni amb els d'una important empresa d'electrònica. Creiem que el kernel és un 2.4.X pel que observem. El dispositiu té una pantalla i la seva finalitat és mitjançant un protocol propietari i un protocol de transport de fitxers (FTP) descarregar una playlist per reproduir a la pantalla.
A través de la xarxa es connecta al servidor del fabricant d'on recull una playlist i uns continguts multimèdia. Essencialment usa els ports:
-
TCP/8889 (protocol de control del fabricant) va en 'plain text' ja li hem fet la ingenieria inversa.
-
FTP en mode passiu
Amb el servidor del fabricant descarrega el 99% de les vegades correctament i sense problemes. En el fitxer adjunt 'korea-ok.cap' si l'examineu podreu veure que tot es desenvolupa perfectament. La IP privada que podeu veure és del dispositiu a la LAN i a través d'una LMDS es connecta a Korea a la IP: 210.114.220.180, si us fixeu el fabricant usa com a servidor FTP un 'Serv-U' per a Windows.
Problema
S'ha implementat el protocol propietari del fabricant amb Python i funciona perfectament, el problema és a l'hora de fer la descàrrega per FTP. El dispositiu es connecta al nostre servidor FTP i de forma completament aleatòria tanca la transmissió sense motiu aparent i es reinicia el dispositiu. Això passa sempre mentre s'està fent una connexió FTP-control (21/tcp) o FTP-data (port aleatori del ftp passiu/tcp).
En el fitxer 'cwd-fail.cap' es pot veure un dels típics errors que té el dispositiu en intentar descarregar d'un servidor FTP local (en aquest cas un proftpd en una Gentoo). Concretament en enviar el comandament FTP 'CWD' el dispositiu decideix tancar la connexió i no continuar amb la descàrrega. Després de diversos intents es reinicia. Per no perdre-us amb els paquets he deixat a la captura només el socket que té el problema.
Per no despistar-vos, recordeu que això no ha de passar forçosament al canal de FTP-control, pot passar també en un FTP-data, pot passar a l'1% de descàrrega del fitxer, al 30%, 50%, 98%... és completament aleatori.
Per tenir més exemples d'errors s'adjunta el fitxer 'local-fail.cap' on es pot veure com es dóna un error igual a l'anterior però ara al canal de dades de FTP. Concretament podeu veure com es tanca el socket al paquet 916 sense motiu aparent. Comentar que els errors de checksum de TCP no són rellevants ja que són deguts a que la targeta de xarxa no estava com segueix:
# ethtool -k eth0
Offload parameters for eth0:
rx-checksumming: off
tx-checksumming: off
scatter-gather: off
tcp segmentation offload: off
udp fragmentation offload: off
generic segmentation offload: off
En altres proves s'han fet amb els paràmetres comentats i l'error és el mateix. A pesar de que ja no apareixen les alertes per 'checksum error'. Si es creu vital tenir una captura sense els errors de checksum no hi ha cap problema a fer-la. Però després de mesos de proves està clar que això no és rellevant.
Per demostrar que el comportament és aleatori a continuació s'adjunta un fitxer 'local-ok.cap' amb la captura d'una sessió al servidor FTP local que ha funcionat perfectament. Es pot observar al paquet: 18975 que es descarrega bé el contingut d'un fitxer, concretament un fitxer .mpg, amb aquest fitxer finalitza tot el traspàs de dades correctament.
Maquinari i programari provat
S'han fet infinitat de proves i de combinacions:
5 servidors diferents:
-
1 debian amb kernel 2.6.24.5-grsec-xxxx-grs-ipv4-64 al proveïdor ovh.es (100Mpbs simètrics sense restriccions), servidor FTP proftpd port 2090/tcp
-
1 debian amb kernel 2.6.18-5-686 proveïdor jazztel sense fw, ni restricció de cap tipus 100Mbps simètrics contra internet i servidors FTP al port 21 pure-ftpd i al port 2090 proftpd.
-
1 ubuntu amb kernel 2.6.24-16-server proveïdor jazztel amb fortinet com a fw en mode transparent, proftpd al port 2090.
-
1 gentoo amb kernel 2.6.25-gentoo-r5 en xarxa local amb proftpd al port 2090.
-
1 windows xp virtualitzat amb vmware workstation 6 sobre gentoo amb un servidor FTP Serv-U, la targeta de xarxa virtual en mode bridget amb la del sistema operatiu host.
el comportament és el mateix amb totes les combinacions
Intuïció de solució
Jugant amb els paràmetres del kernel de TCP (/proc/sys/net/ipv4) s'aconsegueixen fer canvis de comportament en l'error. Per exemple, s'han fet proves amb:
tcp_adv_win_sacle = 0,1,2
tcp_allowed_congestion_control = cubic, bic, reno, etc.
tcp_base_mss = 512, 1024, 1500
tcp_dsack = 0,1
tcp_ecn = 0,1
tcp_fack = 0,1
tcp_sack = 0,1
tcp_syncookies = 0,1
tcp_timestamps = 0,1
tcp_workaround_signed_windows = 0,1
tcp_window_scaling = 0,1
infinitat de valors i combinacions provades en:
tcp_mem
tcp_moderate_rcvbuf
tcp_mtu_probing
tcp_rmem
tcp_tso_win_divisor
tcp_wmem
També s'han fet proves limitant l'amplada de banda, i amb alguns altres paràmetres de kernel que ara no recordo. S'ha provat d'optimitzar els servidors per rendir al màxim, al mínim, per defecte... etc.
El que s'aconsegueix amb tot això és aconseguir que algunes vegades es faci la descàrrega, però no s'aconsegueix afermar patrons de forma fefaent, és a dir, sovint es continua tancant la connexió TCP.
FAQ d'obvietats
-
És obvi que el firmware del dispositiu està mal fet, però això no es pot tocar.
-
El dispositiu es pot configurar via una compact flash, on es guarda un fitxer de configuració, un fitxer binari compilat per ARM i el contingut multimèdia que es va descarregant.
-
S'ha intentat parlar mil vegades amb el fabricant però és com parlar amb una paret, a part els tècnics no parlen anglès, només coreà. Increïble, no?
-
El problema el té l'stack TCP del dispositiu o algun altre element similar. Aquest és el que tanca la connexió!!! no es pot mantenir la connexió oberta des del servidor quan el dispositiu l'ha tancada, l'única cosa que es pot fer és evitar que el client la tanqui. El problema és com.
-
Sí! el servidor del fabricant descarrega bé via FTP en el 99% dels casos. Aquest és el gran problema, sembla tonta la pregunta però me l'han fet unes 20 vegades, així que mereixia ser aquí.
Fitxers
Els fitxers dels quals es parla en aquest correu es poden descarregar de:
Desafiament
L'entorn de laboratori el tinc muntat a l'oficina, està oberta 24x7 per quedar amb mi per fer proves in-situ. Òbviament respondré tot el que sigui online i orientaré amb el que pugui i més.
Aquest problema l'arrossego des de fa uns 4 mesos i porto quasi 4 dies sense vida, només obsessionat buscant la solució però no hi ha manera de veure la llum.
No disposo de molts recursos, degut a que ja he perdut moltíssims diners buscant la solució durant tot aquest temps, però sota resultats es recompensarà tant com sigui possible la ment privilegiada que aconsegueixi donar amb la solució.
Ja tinc solució
Després de donar-li voltes al tema de moment no explicaré les diverses solucions que a dia d'avui ja he trobat al problemón. Així doncs aprofitaré el problema per llançar el podcast 1x11 descrivint amb tot detall el problema i donant algunes pistes de com arribar a la solució. Potser a ningú li piqui tant la curiositat com per seguir la solució amb aquest detall però d'aquesta manera mantinc una mica la intriga i si algú realment necessita saber la solució sense seguir el culebrón només ha d'enviar-me un correu privat i l'hi explicaré. Per fer boca dir-vos que la intuïció de solució que tenia no era dolenta.
2 comentaris
Els comentaris del blog antic, tal com es van escriure. Els comentaris estan tancats.
rafalito el melocoton
quin trasto es aquest? simple curiositat.
Oriol Rius
Si alguien quiere información especifica del fabricante, modelo del dispositivo, etc. que me avise y se lo daré en privado.
Gracias.