Zabezpieczenie scrapowania danych

Question

Cześć,

Napisałem program do scrapowania danych ze strony w Pythonie. Chciałbym zaimplementować tam jakieś zabezpieczenie, żeby np. w razie awarii Internetu lub innej przyczyny powodującej niespodziewane przerwanie pobierania danych, program mógł zacząć pracę od momentu w którym przerwał pobieranie a nie od samego początku.

Jak mogę to zrobić? Jakieś pomysły/rady?

Z góry dzięki za pomoc!

Answer 1

Zależy jak masz zbudowanego scrappera i co pobiera, możesz dodać sprawdzenie jaki id jest ostatnie i żeby zaczynał od kolejnego.

Comments

Pobieram sklepy z mapy google. Wyszukuję po współrzędnych więc Id nie są posortowane a przy tych samych współrzędnych pobiera czasami kilka sklepów więc powrót do współrzędnych na którym skończył też nie jest chyba optymalnym zabezpieczeniem.

---

No według mnie chyba najbardziej sensownym, wracasz do ostatnich współrzędnych i sprawdzasz te współrzędne jeżeli się coś powtarza to pominie i tyle.