• Najnowsze pytania
  • Bez odpowiedzi
  • Zadaj pytanie
  • Kategorie
  • Tagi
  • Zdobyte punkty
  • Ekipa ninja
  • IRC
  • FAQ
  • Regulamin
  • Książki warte uwagi

Observable, a może nie?

VPS Starter Arubacloud
0 głosów
325 wizyt
pytanie zadane 2 marca 2020 w JavaScript przez Ehlert Ekspert (212,630 p.)

Cześć!

Przychodzę z problemem jak dla mnie nietrywialnym, nieźle mi ryje czapkę. Małe założenia na początek.

Korzystam z ts, puppeteera oraz rxjs'a (ten ostatni to mój wybór może będziecie mieć lepsze propozycje). Odpalam chroma, wchodzę na jakąś stronę z tabelką danych, znany scenariusz, scroll w dół i leci request po więcej danych. Aby pobierać te dane nasłuchuje na response z konkretnym url'em. Scenariusz jest taki, że po tym jak sobie przescrolluję trochę danych to mogę stwierdzić, że już więcej nie potrzebuję. I pytanie jak to zakończyć. Na ten moment postawiłem na Observable. Problem jest taki że decyzja o zakończeniu subskrypcji leży po stronie subskrybenta (który de facto tylko dostaje dane), a nie źródła. 

Ogólnie już ten problem rozwiązałem; subskrybent oraz źródło danych mogą mieć dostęp do tej samej referencji obiektu, ale to nieczyste rozwiązanie. Myślałem również aby sprawdzenie czy dane mnie interesują zamknąć w jednym scope'ie ze źródłem. Podsyłam mocno poglądowy kodzik. 

import {Page} from "puppeteer";
import {Observable} from "rxjs";

const prepareEnv = async (): Promise<{ Browser, Page }> => {
    //....
};

const goToPageWithData = async (page: Page): Promise<void> => {
    //long process
};

const subscribe = (page: Page, subscriber) => {
    page.on(`response`, async response => {
        if (!response.meetsConditions()) {
            return;
        }

        const data = await response.json();
        subscriber.next(data);
    });
};

const createSource = async (page: Page): Promise<Observable<any>> => {
    await goToPageWithData(page);
    return new Observable<any>(subscriber => {
        subscribe(page, subscriber);
        setInterval(() => {
            page.evaluate(() => {
                //scrolowanie strony
                //tutaj powinienem mieć możliwość odebrania sygnału że trzeba przestać scrolować
                // + subscriber.close()
            });
        }, 3000);
    });
};

(async () => {
    const { browser, page } = await prepareEnv();
    const source = await createSource();
    source.subscribe({
        next(data) {
            //tu mogę sprawdzić czy interesuje mnie pobieranie danych dalej
        }
    })
});

Zastanawiam się jakiego podejścia się tutaj trzymać. Może podejść do problemu obiektami które będą trzymać state? Bardziej funkcyjnie/reaktywnie?

2 odpowiedzi

0 głosów
odpowiedź 3 marca 2020 przez obl Maniak (51,280 p.)
Nie rozumiem w czym problem. Masz na serwerze dane do tabelki, po stronie BE masz ładować np. po 40 pozycji, jak zeskrolujesz w dół to doładowujesz następne 40 i dalej nic nie robisz, chyba że użytkownik zeskroluje w dół ponownie i wtedy kolejne żądanie po 40. Jak skończą się dane to już nie leci żądanie. Gdzie tu jest konieczność przerywania pobierania danych jak wszystko się dzieje, gdy użytkownik zbliża się do końca tabelki? To użytkownik swoim działaniem wysyła żądanie po więcej.
komentarz 3 marca 2020 przez Ehlert Ekspert (212,630 p.)

W sumie może takiej informacji zabrakło... 

Nie tworzę dashboardu, który doczytuje dane przy scrollowaniu, tylko scrapuję stronę z takim dashboardem smiley

komentarz 5 marca 2020 przez obl Maniak (51,280 p.)
Chcesz dane wyciągać z czyjejś strony? To rozwiązanie jest praktycznie takie same wystarczy zobaczyć w konsoli na jaką ścieżkę idzie żądanie, jakie parametry są przekazywane i co jest zwracane. Przecież strona też na podstawie tych danych decyduje, kiedy już nie ma po co wysyłać dalej żądań.
komentarz 5 marca 2020 przez Ehlert Ekspert (212,630 p.)

Myślisz że to takie oczywiste na stronie banku? wink

komentarz 6 marca 2020 przez obl Maniak (51,280 p.)
Bank chcesz obrabować z danych :) To jest strona otwarta, czy aplikacja wymagająca logowania?
komentarz 6 marca 2020 przez Ehlert Ekspert (212,630 p.)
Z logowaniem.
0 głosów
odpowiedź 4 marca 2020 przez Ehlert Ekspert (212,630 p.)
Odgrzeję. Może ktoś, coś...
komentarz 4 marca 2020 przez Aisekai Nałogowiec (42,190 p.)
Nie do końca rozumiem o co Ci chodzi. W sensie, chodzi bardziej o to, żeby znaleźć moment, w którym nie potrzeba już pobierać danych, czy problem jest stricte z unsubscribem? Subscriptions możesz sobie do zmiennej przypisać i po prostu w chwili gdy uznasz, że już nie jest potrzeba to leci unsubscribe. Mógłbyś sprecyzować?

Podobne pytania

0 głosów
2 odpowiedzi 297 wizyt
pytanie zadane 4 października 2019 w JavaScript przez daniel1806 Obywatel (1,780 p.)
0 głosów
0 odpowiedzi 235 wizyt
0 głosów
1 odpowiedź 213 wizyt
pytanie zadane 28 listopada 2018 w Java przez Micheall Początkujący (420 p.)

92,454 zapytań

141,262 odpowiedzi

319,089 komentarzy

61,854 pasjonatów

Motyw:

Akcja Pajacyk

Pajacyk od wielu lat dożywia dzieci. Pomóż klikając w zielony brzuszek na stronie. Dziękujemy! ♡

Oto polecana książka warta uwagi.
Pełną listę książek znajdziesz tutaj.

Akademia Sekuraka

Akademia Sekuraka 2024 zapewnia dostęp do minimum 15 szkoleń online z bezpieczeństwa IT oraz dostęp także do materiałów z edycji Sekurak Academy z roku 2023!

Przy zakupie możecie skorzystać z kodu: pasja-akademia - użyjcie go w koszyku, a uzyskacie rabat -30% na bilety w wersji "Standard"! Więcej informacji na temat akademii 2024 znajdziecie tutaj. Dziękujemy ekipie Sekuraka za taką fajną zniżkę dla wszystkich Pasjonatów!

Akademia Sekuraka

Niedawno wystartował dodruk tej świetnej, rozchwytywanej książki (około 940 stron). Mamy dla Was kod: pasja (wpiszcie go w koszyku), dzięki któremu otrzymujemy 10% zniżki - dziękujemy zaprzyjaźnionej ekipie Sekuraka za taki bonus dla Pasjonatów! Książka to pierwszy tom z serii o ITsec, który łagodnie wprowadzi w świat bezpieczeństwa IT każdą osobę - warto, polecamy!

...