Java Web Application - crawler cyklicznie pobierający dane

Question

Witam całą społeczność!

Chciałem stowrzyć w Java Web Application (IDE Netbeans) crawler, który będzie pobierał dane ze strony cyklicznie, np. co 2 godziny bez ingerencji usera (taki automat). Kwestię wyciągania danych już mam. Nie daje mi spokoju tylko kwestia cykliczności. Wydawało mi się, że może trzeba by zrobić to na zasadzie procesu/wątku, który odpalałby się na serwerze (w moim przypadku TOMCAT) i pobierał dane np. co 2h. Nie wiem czy dobrze myślę.
Bedę szalenie wdzięczny, za każdą, choćby najmniejszą wskazówkę!
 

Pozdrawiam i życzę wszystkim miłego dnia! :)

Answer 1

Cron job ?

Do tego powinno być asynchroniczne kolejkowanie tasków ( asynchronous task queue ), czyli przydzielenie worker'ów do pracy nad crawlingiem w tle, żeby rzeczy ważniejsze wykonywały się względem przydzielonego priorytetu - chyba że jest to microservice który zajmuje się tylko tym, wtedy kolejkowanie nie jest potrzebne

Answer 2

a nie lepiej odwrotnie zrobic? tzn zeby strona/aplikacja internetowa wysylala do serwera odpowiednie dane co jakis tam czas

Comments

Skoro to jest crawler, to właśnie o to w nim chodzi, że pobiera dane ze strony - integracja z drugim systemem o której mówisz nie zawsze jest możliwa

---

rozumiem, moj blad.