C++ - najszybszy i dynamiczny format zapisu plików z selektywnym wyborem danych.

pytanie zadane 24 czerwca 2016 w C i C++ przez Mateusz Zelent Nowicjusz (170 p.)

Witam,

Czy ktoś z was zna szybki sposób dynamicznego / selektywnego zapisu danych do pliku przypominającego w działaniu bazę danych. Przetwarzam w tym momencie ogromne ilości danych (czasami zajmują po 100GB RAM) i chciałbym w przyszłości zamiast w pamięci RAM przetwarzać te dane na dysku SSD.

Chciałbym zapisać 3D tablicę w dowolnej postaci, jako plik, a następnie mieć dostęp do wybrany kolumn lub wierszy w tym pliku, tak abym nie musiał wczytywać do ram całego pliku.

MZ

komentarz 24 czerwca 2016 przez C☺ndzi Stary wyjadacz (12,100 p.)

Zapytaj taty. xD

Przepraszam, musiałem.

komentarz 24 czerwca 2016 przez Mateusz Zelent Nowicjusz (170 p.)

Musiałeś, ale w temacie to aktualnie rozważam mmap.

komentarz 24 czerwca 2016 przez katolik6 Dyskutant (8,140 p.)

O_o Po co Ci 100GB??? Przetwarzasz zdjęcia na modele?

Tak wogóle, jak duży będzie pojedynczy element?

komentarz 24 czerwca 2016 przez Mateusz Zelent Nowicjusz (170 p.)

Fizyka teoretyczna.

komentarz 24 czerwca 2016 przez katolik6 Dyskutant (8,140 p.)

A, chwila, czyli chcesz przeczesać te elementy jeden po drugim i od nowa?

Może wydziel sektory np. 10x10x10 i zapisz do jednego pliku. Ale jeśli pierwsze zdanie trafiłem, to lepiej 1000x1x1

komentarz 24 czerwca 2016 przez Mateusz Zelent Nowicjusz (170 p.)

Problem polega na tym, że muszę przetworzyć 10 000 plików od kilku do kilkunastu mb o następującej strukturze: ··3 wymiarowa macierz po 3 składowe dla każdej komórki elementarnej (9D array).

Przetwarzam te tablice tak, aby utworzyć dla każdej komórki elementarnej i pojedynczej składowej zależność od czasu (1-10 000) -> do analizy sygnałowej.

Następnie potrzebuję przykładowa od każdego x,y (z=0) od t policzyć fft, zatem na stacjach z małą ilością ramu mógłbym z PLIKU odczytać tylko odpowiednie komórki, bez potrzebny wczytania do pamięci całego pliku.

MZ

komentarz 24 czerwca 2016 przez katolik6 Dyskutant (8,140 p.)

to chyba mam za małą wiedzę. Nie umiem odczytać fragmentu pliku.

1 odpowiedź

odpowiedź 24 czerwca 2016 przez Mateusz Zelent Nowicjusz (170 p.)

Aktualnie rozważam implementację mmap.

1	komentarz 24 czerwca 2016 przez katolik6 Dyskutant (8,140 p.) Przenieś to do pytania i ukryj odp. Czerwony razi jej brakiem, więcej ludzi sprawdzi.