O căutare peste mai multe surse: cum lucrează un agregator

Un agregator face patru lucruri: adună anunțuri din mai multe surse, le aduce la aceeași formă, scoate dublurile și îți dă o singură căutare peste tot, cu alerte când apare ceva nou. Partea vizibilă e căsuța de căutare. Munca adevărată e în spate, la pașii doi și trei.

Ca exemplu, gândește-te la un agregator de chirii: anunțuri adunate de pe portalurile mari, cu hartă, alerte și prețul în euro.

1. Colectarea, făcută politicos

Programul care adună anunțurile citește paginile publice ale surselor la intervale regulate. Prima regulă e să respecte ce cere fiecare site. Fișierul robots.txt, descris în standardul RFC 9309 din 2022, spune ce părți ale unui site pot citi programele automate. Standardul precizează că regulile nu sunt o formă de autorizare a accesului, deci nu țin loc de acord, dar sunt primul lucru pe care îl verifici. Tot el recomandă ca o copie a fișierului să nu fie folosită mai mult de 24 de ore, deci regulile se recitesc des.

A doua regulă ține de drept. Directiva europeană privind bazele de date dă celui care a investit într-o bază de date dreptul să împiedice copierea întregului conținut sau a unei părți substanțiale din ea. Interzice și extragerea repetată și sistematică a unor părți mici, când asta îi strică exploatarea normală. De aceea un agregator corect arată un rezumat și trimite omul la anunțul original, nu republică totul. Ce se adună de unde se discută cu un jurist, la fiecare proiect.

2. Aceeași formă pentru toate anunțurile

Fiecare sursă scrie altfel. Una are „2 camere”, alta „două camere”, alta „apartament cu 2 dormitoare”. Prețul vine în lei sau în euro, suprafața cu sau fără balcon, cartierul cu nume oficial sau popular. Pasul ăsta transformă totul într-un singur format: număr de camere, suprafață, preț într-o monedă comună, coordonate pe hartă.

Pare plictisitor, dar de el depinde tot restul. Un filtru „2 camere, sub o anumită sumă, în zona X” merge doar dacă toate anunțurile spun aceleași lucruri în același fel.

3. Dublurile

Același apartament apare des pe trei portaluri, publicat o dată de proprietar și de două ori de agenții. Dacă le arăți pe toate, căutarea e plină de zgomot. Ca să le recunoască, un agregator compară mai multe semnale: suprafața, etajul, prețul, poziția pe hartă, pozele. Niciunul singur nu ajunge: două apartamente identice din același bloc au aceleași cifre, dar alte poze.

E mai bine ca dublurile să fie grupate decât șterse. Omul vede un singur anunț, cu sursele lui dedesubt, și alege unde dă click.

4. Căutarea, harta și alertele

Abia aici apare partea pe care o vede utilizatorul: filtre, hartă, sortare. Datele curate de la pașii anteriori fac căutarea rapidă. Cu ele vin și lucrurile pe care nicio sursă singură nu le are: statistici de preț pe orașe și alerte pentru anunțurile noi care se potrivesc cu căutarea salvată. Pentru cineva care caută chirie, alerta e de multe ori mai utilă decât căutarea.

Ce cere Google de la un agregator

Politicile Google împotriva spamului numesc ca practică abuzivă republicarea conținutului altor site-uri fără să adaugi ceva original sau valoare. Un agregator care doar copiază anunțuri riscă exact asta. Valoarea vine din ce adaugi: dublurile scoase, harta, statisticile, alertele, paginile de oraș cu informații proprii.

Mai e o problemă tehnică. Filtrele creează multe adrese pentru aproape aceeași pagină. Google recomandă să alegi o adresă preferată (canonică) pentru paginile duplicate sau foarte asemănătoare, prin redirecționări sau prin eticheta rel="canonical", ca să nu se împrăștie semnalele pe zeci de variante.

Dacă ai o idee de aplicație care adună date din mai multe locuri, găsești pe pagina de servicii App Dev cum lucrăm.