• Najnowsze pytania
  • Bez odpowiedzi
  • Zadaj pytanie
  • Kategorie
  • Tagi
  • Zdobyte punkty
  • Ekipa ninja
  • IRC
  • FAQ
  • Regulamin
  • Książki warte uwagi

Observable, a może nie?

0 głosów
171 wizyt
pytanie zadane 2 marca 2020 w JavaScript przez Ehlert Ekspert (205,650 p.)

Cześć!

Przychodzę z problemem jak dla mnie nietrywialnym, nieźle mi ryje czapkę. Małe założenia na początek.

Korzystam z ts, puppeteera oraz rxjs'a (ten ostatni to mój wybór może będziecie mieć lepsze propozycje). Odpalam chroma, wchodzę na jakąś stronę z tabelką danych, znany scenariusz, scroll w dół i leci request po więcej danych. Aby pobierać te dane nasłuchuje na response z konkretnym url'em. Scenariusz jest taki, że po tym jak sobie przescrolluję trochę danych to mogę stwierdzić, że już więcej nie potrzebuję. I pytanie jak to zakończyć. Na ten moment postawiłem na Observable. Problem jest taki że decyzja o zakończeniu subskrypcji leży po stronie subskrybenta (który de facto tylko dostaje dane), a nie źródła. 

Ogólnie już ten problem rozwiązałem; subskrybent oraz źródło danych mogą mieć dostęp do tej samej referencji obiektu, ale to nieczyste rozwiązanie. Myślałem również aby sprawdzenie czy dane mnie interesują zamknąć w jednym scope'ie ze źródłem. Podsyłam mocno poglądowy kodzik. 

import {Page} from "puppeteer";
import {Observable} from "rxjs";

const prepareEnv = async (): Promise<{ Browser, Page }> => {
    //....
};

const goToPageWithData = async (page: Page): Promise<void> => {
    //long process
};

const subscribe = (page: Page, subscriber) => {
    page.on(`response`, async response => {
        if (!response.meetsConditions()) {
            return;
        }

        const data = await response.json();
        subscriber.next(data);
    });
};

const createSource = async (page: Page): Promise<Observable<any>> => {
    await goToPageWithData(page);
    return new Observable<any>(subscriber => {
        subscribe(page, subscriber);
        setInterval(() => {
            page.evaluate(() => {
                //scrolowanie strony
                //tutaj powinienem mieć możliwość odebrania sygnału że trzeba przestać scrolować
                // + subscriber.close()
            });
        }, 3000);
    });
};

(async () => {
    const { browser, page } = await prepareEnv();
    const source = await createSource();
    source.subscribe({
        next(data) {
            //tu mogę sprawdzić czy interesuje mnie pobieranie danych dalej
        }
    })
});

Zastanawiam się jakiego podejścia się tutaj trzymać. Może podejść do problemu obiektami które będą trzymać state? Bardziej funkcyjnie/reaktywnie?

2 odpowiedzi

0 głosów
odpowiedź 3 marca 2020 przez obl Maniak (51,120 p.)
Nie rozumiem w czym problem. Masz na serwerze dane do tabelki, po stronie BE masz ładować np. po 40 pozycji, jak zeskrolujesz w dół to doładowujesz następne 40 i dalej nic nie robisz, chyba że użytkownik zeskroluje w dół ponownie i wtedy kolejne żądanie po 40. Jak skończą się dane to już nie leci żądanie. Gdzie tu jest konieczność przerywania pobierania danych jak wszystko się dzieje, gdy użytkownik zbliża się do końca tabelki? To użytkownik swoim działaniem wysyła żądanie po więcej.
komentarz 3 marca 2020 przez Ehlert Ekspert (205,650 p.)

W sumie może takiej informacji zabrakło... 

Nie tworzę dashboardu, który doczytuje dane przy scrollowaniu, tylko scrapuję stronę z takim dashboardem smiley

komentarz 5 marca 2020 przez obl Maniak (51,120 p.)
Chcesz dane wyciągać z czyjejś strony? To rozwiązanie jest praktycznie takie same wystarczy zobaczyć w konsoli na jaką ścieżkę idzie żądanie, jakie parametry są przekazywane i co jest zwracane. Przecież strona też na podstawie tych danych decyduje, kiedy już nie ma po co wysyłać dalej żądań.
komentarz 5 marca 2020 przez Ehlert Ekspert (205,650 p.)

Myślisz że to takie oczywiste na stronie banku? wink

komentarz 6 marca 2020 przez obl Maniak (51,120 p.)
Bank chcesz obrabować z danych :) To jest strona otwarta, czy aplikacja wymagająca logowania?
komentarz 6 marca 2020 przez Ehlert Ekspert (205,650 p.)
Z logowaniem.
0 głosów
odpowiedź 4 marca 2020 przez Ehlert Ekspert (205,650 p.)
Odgrzeję. Może ktoś, coś...
komentarz 4 marca 2020 przez Aisekai Nałogowiec (42,270 p.)
Nie do końca rozumiem o co Ci chodzi. W sensie, chodzi bardziej o to, żeby znaleźć moment, w którym nie potrzeba już pobierać danych, czy problem jest stricte z unsubscribem? Subscriptions możesz sobie do zmiennej przypisać i po prostu w chwili gdy uznasz, że już nie jest potrzeba to leci unsubscribe. Mógłbyś sprecyzować?

Podobne pytania

0 głosów
2 odpowiedzi 180 wizyt
pytanie zadane 4 października 2019 w JavaScript przez daniel1806 Obywatel (1,760 p.)
0 głosów
0 odpowiedzi 71 wizyt
0 głosów
1 odpowiedź 142 wizyt
pytanie zadane 28 listopada 2018 w Java przez Micheall Początkujący (420 p.)

86,512 zapytań

135,267 odpowiedzi

300,567 komentarzy

57,262 pasjonatów

Motyw:

Akcja Pajacyk

Pajacyk od wielu lat dożywia dzieci. Pomóż klikając w zielony brzuszek na stronie. Dziękujemy! ♡

Oto dwie polecane książki warte uwagi. Pełną listę znajdziesz tutaj.

...