Przeszukiwanie kodu źródłowego innej strony

Question

Witam wszystkich. Otóż mam pewną zagwozdkę i prawdę powiedziawszy, nie bardzo wiem, jak ułożyć zapytanie w Google, aby wyszukać interesujące mnie podpowiedzi, także postanowiłem zadać pytanko wprost.

Załóżmy, że wpiszę URL strony, która mnie interesuje. Na stronie o podanym URL chciałbym przeszukać Kod Źródłowy w celu wyszukania określonego kawałka kodu, na przykład meta tagu o określonych atrybutach. Czy jest jakaś możliwość, by to ugryźć ? Jeżeli tak, to gdzie mogę o tym poczytać o danym mechanizmie ? Każda wskazówka będzie dla mnie cennym doświadczeniem i będzie to dla mnie bardzo pomocne.

Z góry dziękuję serdecznie za pomoc wszelaką. Pozdrawiam

Answer 1

Taką operację można nazwać web scraping, web crawling lub web harvesting. Tutaj możesz znaleźć techniki używane do pozyskiwania informacji z tego typu źródeł – wybierz tę, która najbardziej Ci odpowiada.

Warto pamiętać o poszanowaniu dla plików robots.txt witryn, co by nie zablokować sobie do nich dostępu w skrajnych przypadkach, czy też nie ograniczać ruchu dla innych użytkowników (lub ich scraperów).