Wyciąganie zawartości ze stron internetowych

pytanie zadane 20 czerwca 2018 w JavaScript przez _Visni4PL_ Obywatel (1,320 p.)

Witam! Od jakiegoś czasu zastanawiałem się jak "wyciągać" zawartość ze stron internetowych. Mówię tutaj o wyciąganiu zawartości diva z konkretnej strony internetowej. Można by dzięki temu stworzyć np. przelicznik walut z aktualnym kursem i wiele więcej. Czy wystarczy do tego sam JavaScript i JQuery czy trzeba użyć PHP?

komentarz 20 czerwca 2018 przez pablop76 VIP (123,120 p.)

Żeby mieć aktualny kurs walut nie trzeba wiele zachodu. Można go pobrać ze strony NBP

1 odpowiedź

odpowiedź 20 czerwca 2018 przez Mariusz08 Maniak (62,300 p.)

Można to wykonać przy użyciu PHP. Pobierasz stronę i potem wyrażeniem regularnym filtrujesz interesujące Cię treści.

2	komentarz 20 czerwca 2018 przez Tomek Sochacki Ekspert (227,510 p.) hmm dyskutowalbym nad sensem i wydajnością tego pomysłu... co więcej co gdy zmieni się struktura html na stronie... lepiej moim zdaniem szukać w necie API dającego nam dane jakich szukamy.

komentarz 20 czerwca 2018 przez Mariusz08 Maniak (62,300 p.)

epiej moim zdaniem szukać w necie API dającego nam dane jakich

Nie każdy serwis udostępnia wygodne API ;)

komentarz 20 czerwca 2018 przez Tomek Sochacki Ekspert (227,510 p.)

Zgadza się i w tym momencie nasuwa mi się pytanie czy na pewno potrzebuję tego konkretnego portalu, tych konkretnych danych. Co one takiego mają w sobie, czego nie miałyby inne dane z jakieś alternatywnej strony, wystawiającej je w formie API.

I dopiero jeśli w tym momencie nadal bym uważał, że konieczne jest parsowanie strony (ale praktyce w apce produkcyjnej uważam to za złą praktykę) to wg mnie zamiast próbować tworzyć regexp lepiej pomyśleć nad jakąś libką do parsowania html, wyrzucającą nam od razu dane w przyjaznej dla nas formie.

Mimo wszystko jesteśmy w tym przypadku zależni od struktury html na stronie i przy jakiś zmianach może być problem. Owszem, ryzyko jest również przy korzystaniu z API ale wg mnie mniejsze. Niezależnie od źródła danych wg mnie i tak warto zawsze wykonać sprawdzenie, czy dane przed puszczeniem ich do kontrolera czy widoku są tym czego oczekujemy (coś na zasadzie sprawdzenia zgodności zmiennej z jej interfejsem w typescript itp.). Da nam to gwarancję, że jeśli cokolwiek się zmieni co zaburzy dane wejściowe to nasza apka będzie działać - najwyżej w miejscu prezentacji tych danych pokaże wcześniej zakodowany komunikat blędu, dane zastępcze, może archiwalne z jakąś adnotacją itp. itd.