• Najnowsze pytania
  • Bez odpowiedzi
  • Zadaj pytanie
  • Kategorie
  • Tagi
  • Zdobyte punkty
  • Ekipa ninja
  • IRC
  • FAQ
  • Regulamin
  • Książki warte uwagi

Analiza big data, jakie narzędzia/język programowania?

Object Storage Arubacloud
+1 głos
308 wizyt
pytanie zadane 23 lipca 2021 w SQL, bazy danych przez Kamil Słapek Początkujący (260 p.)

Cześć, poproszę o doradzenie mi technologii/języka.

Mam tabelę 1.2M rekordów 52mb, docelowo będzie kilkanaście milionów.
8 kolumn int(11), 1 varchar(30)

pętla 100 zapytań

{
    UPDATE videos_history SET type=5 WHERE id=?
    UPDATE videos_history SET type=9 WHERE v_id LIKE ? AND id != ?
} 


potrafi trwać 4 minuty, więc przetwarzanie całości zamienia się w dni i tygodnie.

Potrzebuje te dane mocno przetwarzać, np. wybrać video z danego przedziału czasowego, porównać z sąsiednimi takimi przedziałami, zaktualizować na tej podstawie wskaźniki itp. wszystko na kilku milionach rekordów.
Jakich narzędzi użyć do takich analiz? Na razie robię to w php + mysql i jest strasznie. 

komentarz 23 lipca 2021 przez tkz Nałogowiec (42,000 p.)
Chmura? Wątki? Nie wiem w sumie czego oczekujesz.
komentarz 23 lipca 2021 przez Kamil Słapek Początkujący (260 p.)
Bardziej na jaką bazę danych, język i ew biblioteki się przesiąść.

Przypuszczam że c++ i redis były by dużo lepsze, ale może warto iść w inną technologię?
komentarz 23 lipca 2021 przez Wiciorny Ekspert (272,510 p.)
kasandra i ustawienie tego w odpowiednich topicach potwornie szybka baza do przetwarzania danych w klastrach

Zaloguj lub zarejestruj się, aby odpowiedzieć na to pytanie.

Podobne pytania

0 głosów
1 odpowiedź 153 wizyt
pytanie zadane 24 stycznia 2021 w SQL, bazy danych przez theemperor Użytkownik (710 p.)
0 głosów
0 odpowiedzi 420 wizyt
0 głosów
1 odpowiedź 485 wizyt
pytanie zadane 24 kwietnia 2021 w Python przez gorgonkowa Obywatel (1,810 p.)

92,698 zapytań

141,614 odpowiedzi

320,144 komentarzy

62,058 pasjonatów

Motyw:

Akcja Pajacyk

Pajacyk od wielu lat dożywia dzieci. Pomóż klikając w zielony brzuszek na stronie. Dziękujemy! ♡

Oto polecana książka warta uwagi.
Pełną listę książek znajdziesz tutaj.

Akademia Sekuraka

Niedawno wystartował dodruk tej świetnej, rozchwytywanej książki (około 940 stron). Mamy dla Was kod: pasja (wpiszcie go w koszyku), dzięki któremu otrzymujemy 10% zniżki - dziękujemy zaprzyjaźnionej ekipie Sekuraka za taki bonus dla Pasjonatów! Książka to pierwszy tom z serii o ITsec, który łagodnie wprowadzi w świat bezpieczeństwa IT każdą osobę - warto, polecamy!

...