Program pre web scraper pre Arduino ESP8266 alebo ESP32

Cena: 800 Kč

Ponúkam vyhotovený program web scrapera, ktorý som dokončil pre niekoľkými mesiacmi! Web scraper sa pripojí na cielený web, ktorý je zadaný v programe a zdrojový kód webu posiela do databázy, kde sa spracúvava a vyscrapuje sa z celého zdrojového kódu podstatná informácia ako:
Telefónne číslo
E-mailová adresa
Cena produktu
Názov produktu
atď, je vyhotovených niekoľko príkladov na rôzne weby s rôznym typom informácii pre e-shopy s elektronikou, oblečením.

Na HTTP stránky je možné použiť Arduino a Ethernet shield W5100 alebo Ethernet modul W5500 od Wiznetu. Pre HTTPS stránky je možné použiť ESP8266 (napr v prevedení NodeMCU) alebo ESP32 - DevKit. Všetky dosky čítajú web po znakoch a riadky webu odosielajú do databázy, kde sa ďalším PHP súborom na strane webu spracujú pre vyscrapovanie dát. Je teda nutné mať webserver na internete, alebo v lokálnej sieti. Údaje vyťahuje PHP za pomoci regulárnych výrazov.

Nakoľko sa každá zo spomínaných dosiek pripojí na web a číta iba zdrojový kód - nevie spúšťať client-side scripty, doska teda nie je viditeľná v rôznych aplikáciách ako Google Analytics, Smartlook a podobne, riziko banu crawlera sa minimalizuje na minimum. Program funguje spôsobom, že sa pripojí na web raz za hodinu a stiahne zdrojový kód a po častiach ho posiela do backendu.

Dosku ESP32 je možné napojiť aj na podnikovú sieť pod protokolom 802.1x. ESP8266 podporuje PSK šifrovanie wifi siete. Všetko vysvetlím, ukážem čo a ako funguje. Nahratie programu je otázka 20 sekúnd. Program obsahuje aj watchdog v prípade seknutia dosky ju reštartuje. Je dôležité, aby sa informácia nachádzala v zdrojovom kóde stránky, aby bolo možné údaj načítať.
Kontaktovať mailom.

ID: 14081368 Naposledy upraveno 28.09.2018 v 08:06


Praha 10 (100 00)

Odpovědět na inzerát

Další podobné inzeráty: hry a software v Praze 10