Python - wykonywanie kodu javascript (scraping)

Question

Witam serdecznie,
z chęcią przepisałbym javascript do pythona jednak poziom zabezpieczenia jest wysoki(naprawdę wysoki), dlatego potrzebuje narzędzia które będzie wykonywało pythona(potrzebuje pobrać źródło strony z wykonanym javascriptem).
- Chciałbym aby dodatek miał wbudowaną obsługę javascript(a nie korzystał z komponentów na komputerze typu ie.)

 

import requests

r = requests.get('link')

print(r.text)

 

lub nawet 2 :D
 

import requests
print(requests.get('link').text)

Tak jak to zrobię w 3 linijkach w request, chciałbym wykonać w czym innym, umożliwiającym pobranie źródła- lecz z wykonanym javascriptem. :)
 

Answer 1

W takich przypadkach ludzie używają Selenium bo ono potrafi wykorzystywać przeglądarkę lub symulować działanie przeglądarki - czyli oprócz pobierania danych z serwera (czyli to co robi requests) potrafi też renderować stronę (w tym wykonywać kod JavaScript). 

Selenium może wykorzystywać Firefox lub Chrome ale ma też (tak zwane) drivery, które wykorzystują inne narzędzia do renderowania strony w pamięci bez potrzeby wyświetlania na ekranie. Zdaje się, że jeden z takich driverów wykorzystuje PhantomJS.

---

Jest też Ghost.py, który wykorzystuje klasę WebKit z modułu PyQt do renderowania strony w pamięci http://jeanphix.me/Ghost.py

Answer 2

Nie wiem dokładnie co chcesz zrobić, ani na jakiej stronie chcesz to zrobić, ale w większości przypadków gdy JavaScript ładuje jakieś dane zwraca nam dane w formacie JSON, które można dość łatwo dojrzeć w przeglądarce, wtedy wystarczy tylko sprawdzić jakie zapytanie za co odpowiada, sprawdzić plik, który ładuje dane i jakie dane są mu potrzebne. Wtedy wystarczy tylko do odpowiedniego pliku wstrzyknąć odpowiednie dane i mamy załadowany plik tak jakby to zrobił JS. Np. na Allegro częśc danych produktów jest ładowanych w osobnym zapytaniu JS, więc wystarcza wysłać odpowiedniego hasha do tego pliku i mamy załadowany cały HTML. Może to tak zawile brzmi teraz, bo też chaotycznie o tej porze pisze, ale w praktyce jest dość proste i nie potrzeba jakiś kobylastych bibliotek jak Selenium (chyba to była kobylasta biblioteka), wystarczy coś do przesyłanai requestów i coś do parsowania HTML.