• Najnowsze pytania
  • Bez odpowiedzi
  • Zadaj pytanie
  • Kategorie
  • Tagi
  • Zdobyte punkty
  • Ekipa ninja
  • IRC
  • FAQ
  • Regulamin
  • Książki warte uwagi

Bot do mojej wyszukiwarki

0 głosów
68 wizyt
pytanie zadane 1 lutego w SQL, bazy danych przez Artek238 Nowicjusz (170 p.)
witam, potrzebuje prosty skrypt typu crawler-scraper, który wyciągnie określone dane ze stron.

 

przykładowo na witrynie jest 100 stron, na każdej stronie tytuł serialu, nazwa odcinka i link. chciałbym, aby skrypt pobierał te dane z każdej ze 100 stron i zapisał do bazy danych

Ktos wie jak to wykonać  i wytłumaczy jak to zrobić krok  po kroku (mam takie zadanie)

Jeśli dalem złą kategorię to poprawcie mnie

1 odpowiedź

+1 głos
odpowiedź 1 lutego przez RafalS VIP (106,620 p.)

Idealnie nadaje się do tego python. Do tego biblioteka requests do pobierania stron, BeautifulSoup do parsowania dokumentów html i wyciągania z nich informacji.

Jest masa tutoriali jak to zrobić np: https://realpython.com/python-web-scraping-practical-introduction/

Niedawno napisałem taki krótki demonstracyjny scraper, który zapisuje do pliku ilość wolnych miejsc na basenie. Można potem przeanalizować lub napisać drugi kilko linijkowy skrypt do stworzenia statystyk kiedy warto chodzić na basen :D

import requests, time, datetime
from bs4 import BeautifulSoup
check_each_seconds = 1
with open('wolne_miejsca_wojska_polskiego.txt', 'a') as file:
    while True:
        try:
            page = requests.get('http://www.baseny-krosno.pl').content
            parser = BeautifulSoup(page, 'html.parser')
            free_slots = parser.find('p', class_='zajete').string
            print(datetime.datetime.now(), free_slots, file=file)
            file.flush()
            time.sleep(check_each_seconds)
        except:
            pass

 

komentarz 1 lutego przez Artek238 Nowicjusz (170 p.)
Super o taką odpowiedz mi chodziło dziękuję

Podobne pytania

0 głosów
0 odpowiedzi 111 wizyt
pytanie zadane 29 maja 2016 w Sieci komputerowe, internet przez succesown Nowicjusz (200 p.)
+3 głosów
2 odpowiedzi 215 wizyt
–1 głos
1 odpowiedź 47 wizyt
Porady nie od parady
Nie wiesz jak poprawnie zredagować pytanie lub pragniesz poznać którąś z funkcji forum? Odwiedź podstronę Pomoc (FAQ) dostępną w menu pod ikoną apteczki.FAQ

62,255 zapytań

108,375 odpowiedzi

226,204 komentarzy

34,755 pasjonatów

Przeglądających: 275
Pasjonatów: 25 Gości: 250

Motyw:

Akcja Pajacyk

Pajacyk od wielu lat dożywia dzieci. Pomóż klikając w zielony brzuszek na stronie. Dziękujemy! ♡

Oto dwie polecane książki warte uwagi. Pełną listę znajdziesz tutaj.

...