Jak pisane są boty do stron internetowych

pytanie zadane 8 lipca 2017 w C# przez jankustosz1 Nałogowiec (35,880 p.)

Witam.

Zrobiłem już kilka botów do stron internetowych, jednak nie są takie jakbym chciał. Strony do prawidłowego działania korzystają z javascript, jakiś ciasteczek, sesji (nie wiem dokładnie jak to działa), więc korzystałem z kontrolki webbrowser, który przetwarzał te wszystkie rzeczy. Podobno profesjonalne boty nie korzystają z takich kontrolek tylko wysyłają odpowiednie pakiety do strony. Czy rzeczywiście tak jest? Jak można sprawdzić jakie pakiety wysyła przeglądarka i jak obsłużyć javascript? Da się bez używania webbrowser zalogować się a następnie dalej wysyłać pakiety z poziomu już zalogowanego konta? Jeżeli tak od czego zacząć???

1 odpowiedź

odpowiedź 9 lipca 2017 przez CzikaCarry Szeryf (75,340 p.)
wybrane 9 lipca 2017 przez jankustosz1

Najlepsza

Kontrolka Webbrowser wysyła właśnie takie pakiety.

Ogólnie to zazwyczaj dane do serwera wysyłane są od klienta żądaniami Post (poprzez normalne pakiety) lub Get (poprzez URL), rzadziej Put i Delete (są też inne).

Przykładowe struktury requestów możesz zobaczyć tutaj:

http://www.tcpipguide.com/free/t_HTTPRequestMessageFormat.htm

komentarz 9 lipca 2017 przez jankustosz1 Nałogowiec (35,880 p.)

Wiem jak wysyłać request do strony. Pytałem o co innego.

Jak sprawdzić jakie pakiety wysyła przeglądarka, są jakieś fajne dodatki?

Czy da się obsłużyć javascript bez webbrowser?

Czy jak wyśle pakiet zalogowania skąd server będzie wiedział że to właśnie ja jestem zalogowany, jeszcze obsługiwać jakieś inne rzeczy typu sesje dobrze myślę? Jeśli tak to jak to zrobić?

komentarz 9 lipca 2017 przez CzikaCarry Szeryf (75,340 p.)

No to tak: serwer będzie wiedział że jesteś zalogowany, bo przeglądarka przechowuje sessionID po którym przypisuje się sesje dla użytkownika. Co do pakietów, to możesz patrzeć zawartość pakietów nawet w wiresharku, ale o ile dobrze pamiętam chrome miał jakiś feature do tego :)

Czy da się obsłużyć JavaScript bez Webbrowser? Oczywiście, że się da. Większość przeglądarek korzysta z autorskich systemów obsługi JS.

Bot nie obsługuje sesji - sesja siedzi po stronie serwera, a bot trzyma tylko SessionID po którym serwer identyfikuje clienta (bota) i nadaje skryptowi PHP odpalonemu na jego cześć sesję.

komentarz 9 lipca 2017 przez jankustosz1 Nałogowiec (35,880 p.)

czyli gotowców do obsługi javascript raczej nie ma, znaczy są ale wbudowane w kontrolkę?

A id sesji będzie wysłane od servera w jakimś pakiecie http? Może głupio pytam ale jestem zielony.

komentarz 9 lipca 2017 przez jankustosz1 Nałogowiec (35,880 p.)

Jednak chyba korzystanie z kontrolki przeglądarki, np. niewidocznej to najlepsze wyjście. Zobaczyłem jak wysyłane są pakiety na darkwarez.pl za pomocą dodatka do chrome Network Sniffer, nie dość że nie wyłapał pakietów post to jeszcze przesyłane są ciasteczka i inne gówna, więc chyba bota bez kontrolki napisał by ktoś kto tworzył tą stronę lub jest jakimś ekspertem w tej dziedzinie.