URLs de descàrrega segures amb temps d'expiració

Traducció de l’original en anglès. Llegeix-lo en: CastellanoEnglish

Requisits

Imagineu un servidor HTTP amb aquestes restriccions:

  • només es poden baixar uns fitxers concrets

  • amb un temps limitat (data d'expiració)

  • un ID permet rastrejar qui baixa els fitxers

  • amb un manteniment i unes dependències mínims (sense bases de dades ni coses semblants)

la base de la solució que vaig dissenyar és el format de la URL:

http://URL_HOST/<signature>/<customer_id>/<expire_date>/<path_n_file>
  • signature: es calcula amb la fórmula següent, donada una "seed"

  • seed = "This is just a random text."

  • str = customer_id + expire_date + path_n_file

  • signature = encode_base64( hmac_sha1( seed, str))

  • customer_id: només un identificador arbitrari quan vols distingir qui fa servir la URL

  • expire_date: quan la URL generada deixa de funcionar

  • path_n_file: camí relatiu dins del teu repositori privat i el fitxer a compartir

Entenent les idees explicades abans crec que n'hi ha prou per entendre quin és l'objectiu de la solució. Vaig desenvolupar la solució amb NGINX i LUA. Però la versió de NGINX que vaig fer servir no és la versió per defecte, és una versió molt pedaçada que es diu Openresty. Aquesta versió és especialment famosa perquè algunes webs xineses importants funcionen amb ella, per exemple, Taobao.com

Esquema de l'arquitectura de la solució de URL amb expiració

A l'esquema anterior hi ha un responsable que vol compartir un fitxer que és al repositori privat intern, però el fitxer té una restricció temporal i la URL és només per a aquell client. Llavors, amb la línia d'ordres, l'administrador crea una URL única amb les restriccions desitjades (data d'expiració, client amb qui compartir i fitxer a compartir). El pas següent és enviar la URL a l'usuari del client. Quan es demana la URL, el servidor NGINX avalua la URL i retorna el fitxer desitjat només si l'usuari té una URL vàlida. Vol dir que la URL no ha expirat, que el fitxer ja existeix, que la identificació del client és vàlida i que la signatura no ha estat modificada.

Configuració de NGINX

server {
 server_name downloads.local;

 location ~ ^/(?<signature>[^/]+)/(?<customer_id>[^/]+)/(?<expire_date>[^/]+)/(?<path_n_file>.*)$ {
 content_by_lua_file "lua/get_file.lua";
 }

 location / {
 return 403;
 }
}

Aquesta és la part de servidor del fitxer de configuració de NGINX, la resta del fitxer pot ser com vulguis. Entendre aquest fitxer és molt senzill, perquè el "server_name" funciona com sempre. Llavors només són rellevants les ordres location. El primer "location" és només una expressió regular que identifica les variables rellevants de la URL i les passa a l'script LUA. Totes les altres URL que no encaixen amb el patró d'URI cauen al camí "/" i la resposta és sempre "Forbiden" (codi HTTP 403). Després la màgia passa tota en el codi LUA.

Scripts LUA

Hi ha uns quants fitxers LUA necessaris:

  • create_secure_link.lua: crea URLs segures

  • get_file.lua: avalua les URLs i serveix el contingut del fitxer requerit

  • lib.lua: mòdul desenvolupat per reutilitzar codi entre altres fitxers lua

  • sha1.lua: càlcul del hash segur SHA-1, i càlcul de la signatura HMAC-SHA1 en Lua (obtingut de https://github.com/kikito/sha.lua)

Cal configurar el fitxer "lib.lua"; al començament del fitxer hi ha tres variables per configurar:

lib.secret = "This is just a long string to set a seed"
lib.base_url = "http://downloads.local/"
lib.base_dir = "/tmp/downloads/"

Crear URLs segures és molt senzill, fes un cop d'ull als paràmetres de l'ordre:

$ ./create_secure_link.lua 

 ./create_secure_link.lua <customer_id> <expiration_date> <relative_path/filename>

Create URLs with expiration date.

 customer_id: any string identifying the customer who wants the URL
 expiration_date: when URL has to expire, format: YYYY-MM-DDTHH:MM
 relative_path/filename: relative path to file to transfer, base path is: /tmp/downloads/

Exemple d'execució:

$ mkdir -p /tmp/downloads/dir1
$ echo hello > /tmp/downloads/dir1/example1.txt
$ ./create_secure_link.lua acme 2015-08-15T20:30 dir1/example1.txt
http://downloads.local/YjZhNDAzZDY0/acme/2015-08-15T20:30/dir1/example1.txt
$ date
Wed Aug 12 20:27:14 CEST 2015
$ curl http://downloads.local:55080/YjZhNDAzZDY0/acme/2015-08-15T20:30/dir1/example1.txt
hello
$ date
Wed Aug 12 20:31:40 CEST 2015
$ curl http://downloads.local:55080/YjZhNDAzZDY0/acme/2015-08-15T20:30/dir1/example1.txt
Link expired

Petita demostració en vídeo

Secure download URLs with expiration time · Original a YouTube ↗

Recursos

Avís i agraïments

5 comentaris

Els comentaris del blog antic, tal com es van escriure. Els comentaris estan tancats.

  1. joan

    As usual, really nice post by Oriol with a good solution for expiration time URL's.
    Next step, implement a url shortener using google API, and prettify that ugly urls :-)
    https://developers.google.com/url-shortener/v1/url/insert
    keep going !

  2. kultz

    Does this effect the performance of downloading procedure as it's processing via Lua script rather than NGINX ?

    1. Oriol Rius

      Yes, the performance is worse but it isn't bad at all.

  3. Hitesh Kumar Dewangan

    whats the minimum expiry time ?

    1. Oriol Rius

      I don't know if I understand your question, but you can create expiry dates for just one second which is the minimum resolution of the timestamp used in the URL.