Dekodowanie strony internetowej, a także wyszukiwanie na niej konkretnych informacji.

Question

Cześć

Obecnie ćwiczę połączenie z serwerem, stroną i pobieranie stamtąd pewnych informacji, które mogą przetworzyć.

Wykonuję sobie więc takie oto ćwiczenie:

Use the BeautifulSoup and requests Python packages to print out a list of all the article titles on the New York Times homepage.

Oto na tą chwilę mój rozpisany kod:

import requests
from bs4 import BeautifulSoup
r = requests.get("https://www.nytimes.com/")
if r.status_code == 200:
    print("Page opened successfully.")
else:
    print("Page not found!")
    exit(1)
r_html = r.text
exit(0)

Czyli mam już ogarnięte połączenie ze stroną i w razie powodzenia pobieranie do r_html całego html-a strony w postaci stringu. Okej. Pytanie teraz jak mogę wykorzystać bibliotekę bs4, a także kod źródłowy samej poniższej strony:

https://www.nytimes.com/

, aby wyprintować zechcianą przeze mnie listę artykułów? Z góry dziękuję za odpowiedzi.  :)

Answer 1

Na początku należy utworzyć obiekt BeautifulSoup

sp = BeautifulSoup(r.text, 'html.parser')

Jeżeli przyjrzysz się strukturze html strony, to zauważysz, że wszystkie tytuły artykułów znajdują się w znacznikach h2.

articles = [i.text for i in sp.find_all("h2")]

metoda find_all szuka wszystkich podanych znaczników i zwraca ich listę. Z każdego elementu wyciągamy tekst. Zanim zabierzesz się za zadania polecam obejrzeć jakiś tutorial na yt .