Observable, a może nie?

Question

Cześć!

Przychodzę z problemem jak dla mnie nietrywialnym, nieźle mi ryje czapkę. Małe założenia na początek.

Korzystam z ts, puppeteera oraz rxjs'a (ten ostatni to mój wybór może będziecie mieć lepsze propozycje). Odpalam chroma, wchodzę na jakąś stronę z tabelką danych, znany scenariusz, scroll w dół i leci request po więcej danych. Aby pobierać te dane nasłuchuje na response z konkretnym url'em. Scenariusz jest taki, że po tym jak sobie przescrolluję trochę danych to mogę stwierdzić, że już więcej nie potrzebuję. I pytanie jak to zakończyć. Na ten moment postawiłem na Observable. Problem jest taki że decyzja o zakończeniu subskrypcji leży po stronie subskrybenta (który de facto tylko dostaje dane), a nie źródła. 

Ogólnie już ten problem rozwiązałem; subskrybent oraz źródło danych mogą mieć dostęp do tej samej referencji obiektu, ale to nieczyste rozwiązanie. Myślałem również aby sprawdzenie czy dane mnie interesują zamknąć w jednym scope'ie ze źródłem. Podsyłam mocno poglądowy kodzik. 

import {Page} from "puppeteer";
import {Observable} from "rxjs";

const prepareEnv = async (): Promise<{ Browser, Page }> => {
    //....
};

const goToPageWithData = async (page: Page): Promise<void> => {
    //long process
};

const subscribe = (page: Page, subscriber) => {
    page.on(`response`, async response => {
        if (!response.meetsConditions()) {
            return;
        }

        const data = await response.json();
        subscriber.next(data);
    });
};

const createSource = async (page: Page): Promise<Observable<any>> => {
    await goToPageWithData(page);
    return new Observable<any>(subscriber => {
        subscribe(page, subscriber);
        setInterval(() => {
            page.evaluate(() => {
                //scrolowanie strony
                //tutaj powinienem mieć możliwość odebrania sygnału że trzeba przestać scrolować
                // + subscriber.close()
            });
        }, 3000);
    });
};

(async () => {
    const { browser, page } = await prepareEnv();
    const source = await createSource();
    source.subscribe({
        next(data) {
            //tu mogę sprawdzić czy interesuje mnie pobieranie danych dalej
        }
    })
});

Zastanawiam się jakiego podejścia się tutaj trzymać. Może podejść do problemu obiektami które będą trzymać state? Bardziej funkcyjnie/reaktywnie?

Answer 1

Nie rozumiem w czym problem. Masz na serwerze dane do tabelki, po stronie BE masz ładować np. po 40 pozycji, jak zeskrolujesz w dół to doładowujesz następne 40 i dalej nic nie robisz, chyba że użytkownik zeskroluje w dół ponownie i wtedy kolejne żądanie po 40. Jak skończą się dane to już nie leci żądanie. Gdzie tu jest konieczność przerywania pobierania danych jak wszystko się dzieje, gdy użytkownik zbliża się do końca tabelki? To użytkownik swoim działaniem wysyła żądanie po więcej.

Comments

W sumie może takiej informacji zabrakło... 

Nie tworzę dashboardu, który doczytuje dane przy scrollowaniu, tylko scrapuję stronę z takim dashboardem 

---

Chcesz dane wyciągać z czyjejś strony? To rozwiązanie jest praktycznie takie same wystarczy zobaczyć w konsoli na jaką ścieżkę idzie żądanie, jakie parametry są przekazywane i co jest zwracane. Przecież strona też na podstawie tych danych decyduje, kiedy już nie ma po co wysyłać dalej żądań.

---

Myślisz że to takie oczywiste na stronie banku? 

---

Bank chcesz obrabować z danych :) To jest strona otwarta, czy aplikacja wymagająca logowania?

---

Z logowaniem.

Answer 2

Odgrzeję. Może ktoś, coś...

Comments

Nie do końca rozumiem o co Ci chodzi. W sensie, chodzi bardziej o to, żeby znaleźć moment, w którym nie potrzeba już pobierać danych, czy problem jest stricte z unsubscribem? Subscriptions możesz sobie do zmiennej przypisać i po prostu w chwili gdy uznasz, że już nie jest potrzeba to leci unsubscribe. Mógłbyś sprecyzować?