Program do cyklicznego pobierania danych ze strony

Question

Cze,

Mam wykonać program do pobierania danych ze strony. Zamierzam zrobić go na bibliotece simple html dom parser . Z tym nie ma problemu. Nie wiem natomiast jak:

- odpalać go cyklicznie np raz dziennie . Czy mam do tego wykorzystać CRON'a ?

- zapisywać pobrane dane do pliku csv . Nie mam pojęcia jak wykonać takie rozwiązanie. I czy da sie proces zapisu zautomatyzować?

Answer 1

CRON ma sens jak masz swojego kompa włączonego non-stop lub w dzień w stałych godzinach (codziennie). Chyba że nie zależy Ci na systematyczności.

Możesz też wrzucić swój scraper na serwer lub skorzystać z rozwiązań serverless. Te ostatnie są idealne do tego typu zadań. Polecam AWS Lambda.