Szybkie przetwarzanie historii. C#, REACT, MongoDB

Question

Piszę w zespole złożony system pomiarowy. Mamy bazę w MongoDB, API w C# i wyświetlenie w REACT.

Problem, a właściwie prośba o nakierowanie leży w tym, że od kliknięcia wyświetl historię dla zadanego czasu, nawet z ostatniej nocy do faktycznego wyświetlenia historii czeka się niecałą minutę... To strasznie wolno, Mówimy co prawda o pomiarach z wielu czujników gdzie każdy w jedną noc wiele razy swój stan zmienił, ale jednak.

Do tej pory zrobiłem indexowanie kolekcji w MongoDB oraz w API ten same wyniki pomiaru dla jedego czujnika scalam.

Co jeszcze mogę zrobić żeby wyświetlać historię jeszcze szybciej?

Czy polecacie jakiś kurs od przetwarzania dużych ilości danych??

Answer 1

Mówimy co prawda o pomiarach z wielu czujników

Regularne wyniki z czujników brzmią jak... odwrotność rzeczy, które normalnie wrzuca się do MongoDB? Czemu nie do normalnej bazy relacyjnej / analitycznej / time series?

Nie powiedziałeś też, ile tam ogólnie masz liczbowo wyników.

Comments

Uznałem że Mongo jest szybsze. a baza relacyjna w tym projekcie nie wydaję się potrzebna, gdyż nie ma powiązań między kolekcjami i nie musi być.

Mówimy o 250 pomiarach na godzinę z jednego czujnika.