Webscraping, parsing( nie znam polskich nazw na te czynności) Dynamiczne dane z javascript jak je wydobyć?

Question

Witam, chciałbym nauczyć się pobierać dynamicznie "generowane" dane ze stron web, do tej pory używałem pythona i beautifulsoup ale niestety natrafiłem na scianę. Dane które pochodzą z javascriptu nie wyświetlają się w pobranym kodzie HTML strony są widoczne jedynie po kliknięciu "zbadaj" w przeglądarce. Bardzo prosiłbym o jakieś naprowadzenie jak się do tego zabrać, dobrze byłoby gdybym mógł działać w obrębie pythona.

Answer 1

Można skorzystać z jakiejś biblioteki, która obsługiwana jest też w Pythonie, np. https://github.com/niklasb/dryscrape

Answer 2

Może nie Python, ale wraz z pojawieniem się Chrome Headless wypuszczono puppeteera.