Jak stworzyć bota internetowego?

Question

Stworzyłem aplikację internetową i chciałbym dodać dla użytkowników funkcję przeszukiwania internetu (konkretnych stron) w celu znalezienia różnych plików. Wydaje mi się, że najlepiej było by to zrealizować za pomocą bota internetowego, niestety jestem zielony w tym temacie. Bot miałby się automatycznie uruchamiać po np. załadowaniu strony aplikacji, przeszukać zasoby tych witryn i pokazać wynik.

Jak można się do tego zabrać? Z czego skorzystać?

Answer 1

Można do tego podejść na 2 sposoby.

1) Na zapytaniach http. Jest to sposób dużo wydajniejszy, ale może też wydawać się trudniejszy. Wysyłasz zapytanie o daną stronę i ją parsujesz (wyodrębniasz te informacje które potrzebujesz)

2) Symulowanie przeglądarki za pomocą Selenium. Ma to taką zaletę, że odpala js'a i nie musisz się martwić o to co się dzieje w środku strony dzięki czemu możesz np. łatwiej się logować.

Comments

IMO lepiej puppeteer.

---

No tak, ale jest tylko w node

 

Edit: Jednak są też przełożenia na inne języki