Forum Pasja Informatyki - Najnowsze z tagiem scraping

Jak efektywnie stosować Web Scraping przy pomocy VBA: Omijanie trudności

Fri, 29 Mar 2024 21:17:21 +0000

Niestety będę pytał o rzeczy o których zupełnie nie mam pojęcia, wiec zakładajcie z góry że zagmatwam niepotrzebnie sprawę:

Czy Web scraping przy pomocy VBA można podzielić na jakieś sposoby, rodzaje, stopnie zawansowania, kolejne coraz trudniejsze lekcje które trzeba opanować? Gdzie czerpać wiedzę o Web scrapingu? Myślę nawet o lekcjach uczących łamania kodu – ale nie wpływaniu ale omijania takich podstawowych trudności w Web Scapingu (np. 15 sekundowe zapytania w celu nie bycia uznanym jako atak DDoS i tak dalej i tym podobnym )
Pytanie wyżej zadaje gdyż nauczyłem się web scrapingu ze stron pod permanentnym linkiem, lub linkiem który ma w sobie zmienne parametry ale są one łatwo definiowalne (zakres dat, godzin itd. itp.) i można go hardcodować. Niestety zupełnie nie potrafię web scrapować stron stworzonych bodajże w JavaScript/JSON. Strona nie zmienia linku chodź zmienia swoją zawartość. Na stronie zmienia się parametry i należy wcisnąć przycisk „Load Data” by wyświetlić pożądane wyniki ale wciąż odbywa się to pod tym samym linkiem html. Jak zrobić by na takiej stronie działało macro pobierające zwartość? Jak to wszystko dekodować by krok po korku wiedzieć co szukać i gdzie szukać? Czy macie jakieś strony, materiały pozwalające na przeszkolenie z tego tematu?
Jak radzić sobie na stronach podobnych do tych opisanych wyżej ale które jednak wyplowają przy ładowaniu danych jakiś odmienny link. Link który jest aktywny czasowo a już po 15 minutach jest nieaktywne (daje błąd 404) i trzeba pozyskać od nowa link wprowadzając na stronie głównej ponownie parametry.

Node Js - Puppeteer - Web Scraping - Wyciąganie konkretnych danych z ofert OLXa

Mon, 19 Dec 2022 18:35:24 +0000

Cześć, piszę puppetera w Node JS, w bibliotece puppeteer, dedykowanej do skrobania*.
Natrafiłem na problem przy próbie skrobania OLXa:

await page.goto('https://www.olx.pl/d/motoryzacja/samochody/');

    const result = await page.evaluate(() => {
        let data = [];
        let elements = document.querySelectorAll('a');

        for (var element of elements){ 
            let xxx = element.innerText;

            data.push({xxx}); 
        }

        return data; 
    });

Jak widać, ściągam dane w nazwijmy to: kontenerach, na podstawie znacznika - a. Efekt:
{
xxx: 'Mercedes-Benz Klasa V Auto w super stanie serwisowane regularnie ,polecam\n' +
'\n' +
'209 000 zł\n' +
'do negocjacji\n' +
'\n' +
'Warszawa, Praga-Południe - Dzisiaj o 19:06\n' +
'\n' +
'2016 - 121 000 km\n' +
'Obserwuj'
},
...
Potrzebuję pozyskać wybrane elementy z tego, np: cena, rocznik z przebiegiem i tytuł. Nie mogę wejść głębiej w htmla (w elementy w a), ponieważ musiałbym korzystać z selektorów css, a one się zmieniają po załadowaniu strony.

Można NA PEWNO to zrobić za pomocą childNodes i tu jest problem, bo jakiej kombinacji nie próbowałem:

hasChildNodes, childNodes[...], children[...], firstChild, lasttChild

no nie potrafię tego wyciągnąć, podejrzewam, że to głupi błąd w implementacji.
Pomoże Ktoś? Czy są inne pomysły?
(nie chcę pobierać jsona, tylko wyświetlać to na konsoli*)

Web scraping a polskie prawo

Mon, 03 Oct 2022 21:13:39 +0000

Cześć!

Planuje stworzyć nowy projekt do portfolio i wpadłem na pomysł związany z web scrapingiem. Tylko, że związane byłoby to z pobieraniem danych z innych serwisów typu olx, otomoto czy otodom i tu pytanie:

Czy pobieranie takich danych, ogłoszeń z tych serwisów i umieszczenie tego w swoim projekcie i udostępnienie go publicznie jest złamaniem polskiego prawa? Czy to jest może zależne od serwisu i jego regulaminów? Nawet uwzględniając to, że nie zarabiałbym na tym ani złotówki. Zakładam, że jakbym na tym zarabiał to napewno jest to nielegalne - ale pytanie czy jako projekt osobisty mógłbym takie dane pobierać i umieszczać u siebie?

Web scraping - problem z linkiem z href

Fri, 19 Aug 2022 12:53:46 +0000

Cześć, przerabiam ten poradnik

https://www.youtube.com/watch?v=CEOTrWowqfo

W pewnym momencie kod pobiera linki do strony. Aktualnie jak sprawdzam 'href' w olx to wygląda on tak "/d/oferta/3-pokoje-gotowe-solidne-materialy-rakowska-ciekawa-oferta-CID3-IDQoEvU.html" tzn. nie ma https://www.olx.pl/.... przez co po wypisaniu linki są nieinteraktywne (chyba, że jest to link do otodom to wtedy link jest interaktywny)

Chciałbym aby program dopisywał mi "https://www.olx.pl/" do linków zaczynających się od "/d/" tak aby linki te był również interaktywne. Czy ktoś mógłby mnie naprowadzić/podesłać link jak takie coś zrobić. A może nie trzeba nic podmieniać i istnieje inny sposób, żeby to zrobić?

from bs4 import BeautifulSoup
from requests import get

#https://www.youtube.com/watch?v=CEOTrWowqfo

URL = 'https://www.olx.pl/d/nieruchomosci/mieszkania/sprzedaz/warszawa/'

page = get(URL)
bs = BeautifulSoup(page.content, 'html.parser')

for offer in bs.find_all('a', class_='css-1bbgabe'):
    footer = offer.find('p', class_='css-p6wsjo-Text eu5v0x0').get_text().strip().split('-')[0]
    title = offer.find('h6').get_text().strip()
    price = (offer.find('p', class_='css-wpfvmn-Text eu5v0x0').get_text().strip())
    link = offer.find('a')

    print(offer['href'], price)

Laravel9 błędy przy aktualizacji

Wed, 20 Apr 2022 22:09:38 +0000

Ogólnie aktualizacja nieudana, gdyż wystąpiło bardzo dużo błędów. Zainstalowałem więc nowy projekt i próbowałem porobić jakieś migracje i inne rzeczy. Napotkałem np.

Undefined type 'DB'.intelephense(1009)

To jest akurat przy utworzonym seederze dla bazy danych co ciekawe składnia podpowiada błąd, a jednak wszystko działa, tzn ładuje mi bazę normalnie i wszystko jest poprawnie.
Skąd pojawia się taki błąd? Ogólnie chciałem zainstalować sobie i potestować dodatek do scrapingu Roach.php okazało się że wymaga PHP w Wersji 8 i tak znalazłem się właśnie w tym miejscu.

Python web scrapping [problem poczatkujacego]

Fri, 30 Nov 2018 16:05:08 +0000

Hej wszystkim pisałem swój pierwszy "poważniejszy" program w pythonie 3.7 i natrafiłem na problem.

Chciałbym aby program pobierał ze strony zawartość znajdującą się w ... i wyświetlał ją bez zbędnych tagów (chyba tak to się nazywa)

Co mam do tej pory:

from bs4 import BeautifulSoup
import requests

page = requests.get("http://losownik.pl/imie/losuj/name-surname")
soup = BeautifulSoup(page.content, 'html.parser')
soup = soup.find_all(class_="name")

print (soup)

Co otrzymuje:

"C:\Program Files (x86)\Python37-32\python.exe" "C:/PycharmProjects/Generator imion/generator imion.py"
[<p class="name">
				Gabriela Król			</p>]

Process finished with exit code 0

chciałbym pozbyć się [ oraz ] Czuje że to coś bardzo prostego ale nie potrafię sobie z tym poradzić.

Następnie chciałbym dodać funkcję zapisywania zebranych imion i nazwisk do tabelki w exelu dodając do tego generowanie wieku z podanego przedziału wiekowego, a na samym końcu chciałbym stworzyć swoje gui które umożliwi wpisanie ile imion i nazwisk chciałbym wygenerować, jakiej płci oraz wskazać ścieżkę gdzie ma być zapisany plik ale wszystko w swoim czasie

Pozdrawiam i miłego dnia :D

web scrapping

Tue, 11 Apr 2017 07:26:28 +0000

Witam, mam takie pytanie, prośbę o pomoc. Musze zrobić explorator plików. Problem polega na tym iż miejsce skąd mam pobierac pliki znajduje sie na serwerze wirtualnym IIS, a więc wylistowanie elementów nie wchodzi w grę. A więc potrzebuje zrobić web scraping, problem polega na tym, że nie ma żadnych selektorów poza<pre> aby się 'zaczepic'. potrzebuje ciąg znaków najpierw rozbić tak jak idą czerwone linie, jedyny znacznik ktory moze je tak podzielić to . Następnie każdy element tak jak idzie zielona linia ( z tym mysle juz by nie bylo takiego problemu, explode() dałoby radę. mam kilka pomysłów jak to zrobić ale poki co bez efektu. Nie wiem czy ktoś wgle zrozumie co napisałem ;D pozdrawiam

Pomysł na scraper w pythonie (praca dyplomowa)

Thu, 25 Aug 2016 07:33:43 +0000

Witam wszystkich :)
Od niedawna uczę się pythona, znalazłem ciekawy moduł 'scrapy' i zamierzam napisać klasyczną pracę - aplikacja i opis. Najpierw myślałem o apce scrapującej orzeczenia sądów powszechnych i administracyjnych (są dostępne bazy na internecie), ale stwierdziłem, że może to być mało. Potem wymyśliłem scrapowanie użytkowników portali społecznościowych, przykładowo ludzi którzy słuchają The Clash. Tylko nie wiem czy facebook/twitter etc. nie będą zabezpieczone przed tym.

I teraz zwracam się do fachowców, może ktoś ma jakiś ciekawy pomysł. Może ktoś coś takiego robił już i da jakieś wskazówki? Może pomysł na inną aplikację dotyczącą scrapingu? Z góry bardzo dziękuję :)

Scraping danych, jak się przeiterować przez wszystkie wystąpienia elementów.

Sun, 20 Dec 2015 20:24:48 +0000

Witam serdecznie, mam działający kod i chciałbym się przeiterować przez wszystkie wystąpienia. W tym przypadku wszystkie posty na stronie. I byłbym wdzięczny za podpowiedź jak przeiterować się przez wszystkie strony z pytaniami oraz jak połączyć to z javascriptem aby po wejściu na stronę strony się pobierały w czasie rzeczywistym, a nie najpierw pobrały a potem wyświetliły.(gdy będzie się iterować przez wszystkie strony).

<?php
require('simple_html_dom.php');

$html = file_get_html('https://forum.pasja-informatyki.pl/questions');

$info['tytul'] = $html->find('.qa-q-item-title a span', 0)->innertext;
$info['opis'] = $html->find('.qa-q-item-title a span', 0)->title;
$info['user'] = $html->find('.qa-user-link', 0)->innertext;

echo '<b>TYTUŁ:</b> '.$info['tytul'];
echo '<br><br>';
echo '<b>OPIS:</b> '.$info['opis'];
echo '<br><br>';
echo '<b>USER:</b> '.$info['user'];