Analiza big data, jakie narzędzia/język programowania?

Question

Cześć, poproszę o doradzenie mi technologii/języka.

Mam tabelę 1.2M rekordów 52mb, docelowo będzie kilkanaście milionów.
8 kolumn int(11), 1 varchar(30)

pętla 100 zapytań

{
    UPDATE videos_history SET type=5 WHERE id=?
    UPDATE videos_history SET type=9 WHERE v_id LIKE ? AND id != ?
} 

potrafi trwać 4 minuty, więc przetwarzanie całości zamienia się w dni i tygodnie.

Potrzebuje te dane mocno przetwarzać, np. wybrać video z danego przedziału czasowego, porównać z sąsiednimi takimi przedziałami, zaktualizować na tej podstawie wskaźniki itp. wszystko na kilku milionach rekordów.
Jakich narzędzi użyć do takich analiz? Na razie robię to w php + mysql i jest strasznie. 

Comments

Chmura? Wątki? Nie wiem w sumie czego oczekujesz.

---

Bardziej na jaką bazę danych, język i ew biblioteki się przesiąść.

Przypuszczam że c++ i redis były by dużo lepsze, ale może warto iść w inną technologię?

---

kasandra i ustawienie tego w odpowiednich topicach potwornie szybka baza do przetwarzania danych w klastrach