Pobieranie całego kodu źródłowego strony

Question

Witam,

Chciałbym pobrać cały kod źródłowy strony gdy pobieram go w programie to plik html posiada 966 linii. 
Fragment kodu odpowiedzialnego za pobranie:

                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
                request.Proxy = null;
                HttpWebResponse response = (HttpWebResponse)request.GetResponse();
                StreamReader sr = new StreamReader(response.GetResponseStream());
                html = sr.ReadToEnd();
                sr.Close();

A gdy kliknę prawym przyciskiem myszy na stronę zapisz jako, i wybiorę strona internetowa, kompletna to pobiera on plik html który ma  2242 linii kodu i do tego jeszcze pobiera inne pliki które są w folderze.
Jak zmienie opcje na strona internetowa, tylko kod HTML to pobiera sam plik html ale w wersji 966 linii

Czy jest możliwe programowo żeby pobrało tą wersję rozszerzoną ponieważ w tym pliku html, który ma więcej linii są informację które potrzebuje wykorzystać w programie

 

 

Pozdrawiam,
Rout

Answer 1

"Cała strona" to całość, którą załadowała przeglądarka i wyświetla w momencie kliknięcia "zapisz". To uwzględnia modyfikacje Javascriptem.

"tylko HTML" to oryginalny plik HTML otrzymany z serwera, to samo co byś zobaczył wciskając ctrl+u w przeglądarce.

Czy jest możliwe programowo żeby pobrało tą wersję rozszerzoną

Nie trywialnie, musiałbyś do tego uruchomić silnik przeglądarki, żeby JS mógł zrobić swoje.

Comments

Czyli nie ze wszystkich stron można "swobodnie" wyciągać informacje ?
Mógłbyś podesłać do jakiejś lektury, podjąłem się zadania(obiecałem komuś) i po prostu muszę wyciągnąć dane informacje ze strony :(

---

Czyli nie ze wszystkich stron można "swobodnie" wyciągać informacje ?

Prawie wszędzie się da, tylko czasem trudniej.

Zastanów się tak: jak wchodzisz na Facebooka i po zjechaniu na dół na zywo ładują się nowe posty, to skąd samo wyciągnięcie HTMLa z adresu "https://www.facebook.com/" miałoby je mieć gotowe z góry?

---

Wiem o co chodzi musiałbym uruchomić stronke aby pobra wszystkie aktualności css javyscript itp a potem pobrać. Tylko jak uruchomić stronkę aby zrobiła swoje i podpatrzeć jej kod html cały