Bot do mojej wyszukiwarki

Question

witam, potrzebuje prosty skrypt typu crawler-scraper, który wyciągnie określone dane ze stron.

 

przykładowo na witrynie jest 100 stron, na każdej stronie tytuł serialu, nazwa odcinka i link. chciałbym, aby skrypt pobierał te dane z każdej ze 100 stron i zapisał do bazy danych

Ktos wie jak to wykonać  i wytłumaczy jak to zrobić krok  po kroku (mam takie zadanie)

Jeśli dalem złą kategorię to poprawcie mnie

Answer 1

Idealnie nadaje się do tego python. Do tego biblioteka requests do pobierania stron, BeautifulSoup do parsowania dokumentów html i wyciągania z nich informacji.

Jest masa tutoriali jak to zrobić np: https://realpython.com/python-web-scraping-practical-introduction/

Niedawno napisałem taki krótki demonstracyjny scraper, który zapisuje do pliku ilość wolnych miejsc na basenie. Można potem przeanalizować lub napisać drugi kilko linijkowy skrypt do stworzenia statystyk kiedy warto chodzić na basen :D

import requests, time, datetime
from bs4 import BeautifulSoup
check_each_seconds = 1
with open('wolne_miejsca_wojska_polskiego.txt', 'a') as file:
    while True:
        try:
            page = requests.get('http://www.baseny-krosno.pl').content
            parser = BeautifulSoup(page, 'html.parser')
            free_slots = parser.find('p', class_='zajete').string
            print(datetime.datetime.now(), free_slots, file=file)
            file.flush()
            time.sleep(check_each_seconds)
        except:
            pass

 

Comments

Super o taką odpowiedz mi chodziło dziękuję