Come funzionano i siti tipo IsThereAnyDeal

Tech Zone
1
Avete idea di come possano funzionare i siti tipo https://isthereanydeal.com/ ?

Si collegano alle API di Steam / Humble bundle / ect per sapere se tal gioco e' in sconto?
Oppure c'e' qualcosa tipo un webcrawler che naviga tra le pagina e cerca i prezzi?

O un insieme delle due cose?

Vorrei provare a farne uno (per hobby, niente di che) ma non so neanche da dove cominciare
2

[QUOTE=uomo focaccina;19379452]
O un insieme delle due cose?[/QUOTE]

This. Se c’è un API la sfrutti altrimenti fai scraping.

3
yes, API dove disponibile oppure scraping.

https://steamcommunity.com/dev
4
ok inizio dalla parte facile, ovvero le API e vedo cosa ne esce
5
é tutto crawling web, oppure alcuni siti che hanno referral qualche api dovrebbelo averla (tipo kinguin e g2a).
Per altre info, chiedi a Tizio che ha già fatto una robetta simile.
6

[QUOTE=Fusta;19381998]é tutto crawling web, oppure alcuni siti che hanno referral qualche api dovrebbelo averla (tipo kinguin e g2a).
Per altre info, chiedi a Tizio che ha già fatto una robetta simile.[/QUOTE]

un po’ in ritardo ma eccomi.
Ho messo offline il sito perchè era un casino. Un sacco di giochi avevano nomi uguali a giochi dello stesso IP ma di 20 anni fa. Un sacco di siti continuavano a cambiare html e fare scrapping era diventata una cosa indecente. Chi mi dava l’accesso ad un foglio xml o csv a volte non lo aggiornava, a volte cambiava indirizzo…
Ci voleva un sacco di manutenzione. Volevo riprenderlo in mano ma quando avrò più tempo.

la cosa più difficile è stato riunire sotto lo stesso gioco tutti gli shop diversi.

Piccolo esempio:
GTA.

Alcuni negozi lo chiamano:
GTA 5
GTA V
GTA5
GTAV
Grand Theft Auto 5
Grand Theft Auto V
Grand Theft AutoV
Grand Theft Auto5

e logicamente il sistema doveva riconoscere che la pagina del negozio era riferito a GTAV senza creare un nuovo gioco di nome GTA 5.
è che se è un gioco te lo fai a mano, ma il problema è che avevo centinaia di giochi doppi e non potevo controllarli tutti a mano. Non ricordo come ho risolto ma in un modo o l’altro lo avevo risolto :asd:

Scrapping web o reader xml/csv è la roba più facile da fare comunque, programmato in due giorni.

Ah si, poi con i database sono una lagna, mi sono trovato in pochi giorni 5milioni di risultati e fare query più complesse sulla cronologia del prezzo ci metteva un peletto troppo :asd:

Comunque con i miei 15 visitatori al giorno mi sono fatto 60€ con i referer in giro :rulez: