Jak wygląda struktura katalogów od strony sprzętowej/systemowej?

Question

Witajcie!

Trafiłem na forum z pytaniem na które nie udało mi się znaleźć odpowiedzi w Google. I wiem, że na pewno gdzie takowa jest ale tak właściwie to nie mam pojęcia co wpisać do wyszukiwarki. Interesuje mnie to jak są tworzone i odczytywane katalogi na dyskach. Google zazwyczaj zwraca informację o tym jak działa struktura drzewa katalogów w różnych systemach i jak tworzy się foldery - na szczęście to już wiem :) Ciekawi mnie natomiast to jak to działa od strony sprzętowej/systemowej. Niekoniecznie od strony użytkownika. Domyślam się, że jest to mocno skomplikowane dlatego czy mógłby mnie ktoś pokierować do filmu/stronki/książki gdzie mógłbym sobie poczytać/posłuchać i się więcej dowiedzieć na ten temat? :)

A jeśli i tutaj moje pytanie jest mało precyzyjne to postaram się opisać bardziej szczegółowo o co mi dokładnie chodzi. Jeśli ktoś ma ochotę odpowiedzieć - będzie mi bardzo miło. Ale wystarczy mi jakiś miły link gdzie mógłbym sobie zgłębić wiedzę - bo głównie tego szukałem w Internecie :)
 

A oto przydługa i przynudnawa lista moich pytań:

• Co się dzieje kiedy tworzę folder na dysku? Czy jest to coś w rodzaju pliku? Jeśli tak to gdzie jest on zapisywany? W jakiejś wydzielonej sekcji przeznaczonej do "czytania" dysku? Czy może tak samo jak zwyczajny plik, na wolnym sektorze pośród innych fragmentów danych?
• Kiedy zapisuję plik do folderu to jak jest on powiązany z daną lokalizacją? Czy to w folderze (tym pliczku) jest tworzony odnośnik do odpowiedniego pliku/sektoru na dysku? A może wprost przeciwnie i to właśnie każdy plik zapisywany na dysku jest dodatkowo opisany informacją do jakiego katalogu powinien przynależeć?
• Co się dzieje kiedy podłączam dysk lub otwieram lokalizację w eksploratorze? System szuka najpierw tych informacji o strukturze katalogów szukając tych pliczków zawierających informacje o folderach? A może przy uruchomieniu systemu/podłączeniu dysku ten jest najpierw odczytywany i wtedy system tworzy strukturę katalogów którą zapisuje w pamięci ram? 
• Czy sam sposób tworzenia katalogów może mieć wpływ na czas dostępu do danych nań zapisanych? Mam na myśli: podobnie jak fragmentacja plików która spowalnia ich odczyt. To czy "dorabianie" kolejnych katalogów (w przypadku przeogromnych baz danych) może sprawić, że z biegiem lat, te foldery będą się "gubiły" pomiędzy innymi sektorami i w efekcie "trudniej" będzie odczytać takową strukturę w porównaniu do tych samych danych ale utworzonych w kolejności: "najpierw tworzone są katalogi a dopiero później jest dokonywany zapis na dysk"?

Pozdrawiam tych którzy tutaj dotrwali! I przepraszam jeśli przesadziłem z długością lub źle dobrałem kategorię.

Comments

Trochę informacji znajdziesz, gdy poszukasz pod hasłem "system plików".

---

@snajper414, Jest wiele różnych filesystemów. Niektóre są "uniwersalne", niektóre optymalizowane względem różnych parametrów.  I to właśnie system plików decyduje jak to pracuje. Poczytaj o historii komputerów. Ciągle to FAT jest jednym z najprostszych używanych filesystemów, jednak pierwsze wersje FAT nie miały możliwości tworzenia katalogów. Pozostałością jest to, że katalog główny dysku jest obsługiwanu nieco inaczej - ma z góry ustaloną pojemność i znacznie ograniczoną liczbę wpisów w tym katalogu. Można mieć praktycznie pusty dysk a nie móc stworzyć pliku w katalogu głównym. W podkatalogach można bez problemu - bo one są "plikami" i mogą "rosnąć" w miare potrzeby. W sumie w FAT katalog, to taki plik z odpowiednią flagą (sam system, na niskim poziomie, musi o tym wiedzieć). Składa się z wpisów o kolejnych plikach, ich numer startowego sektora i inne metadane. Tak więc, odpowiedź na drugi punkt, w przypadku FAT jest pozytywna - wpis o danym pliku znajduje się w danym podkatalogu, nigdzie więcej.

W linuxie masz do dyspozycji całą kolekcie filesystemów, które można użyć. Tam kolejność jest taka, że gdy podłączasz dysk, najpierw jest on wykrywany przez driver odpowiedniej szyny (USB, IDE, SATA itp), odczytuje on informacje o dysku i tworzy się w systemie urządzenie (aktualnie typowo /dev/sdX, gdzie X - to kolejna literka). Umożliwia to tzw dostęp raw do dysku - czyli czytanie i pisanie poszczególnych sektorów, bez użycia file systemu. Potem odczytywana jest tablica partycji (o ile jest) i tworzone są "podurządzzenia" /dev/sdXN - N to numer partycji. Są to dalej urządzenia raw tyle że ograniczone do poszczególnych partycji. I w sumie tyle dzieje się samoczynnie. Użytkownik może teraz wydać polecenie mount, które realizuje odczytanie file systemu i "podłączenie" drzewa katalogów z partycji nowego dysku we wskazane miejsce (katalog) istniejącego drzewa. Oczywiście w środowiskach graficznych często pracują jakieś serwisy, które pilnują podłączania nowych dysków i same robią ten mount. Kwestia szybkości zwykle rozwiązywana jest poprzez cachowanie poszczególnych sektorów dysku. W lkinuxie cała wolna pamięć jest używana do tego celu - czasem cały kilku GB pendrive może być cachowany. A potem odmontowanie takiego pendrive trwa bo trzeba zapisać dane z cache.

Filesystem możesz wręcz napisać sam, pod linuxem jest to o tyle łatwe, że jest FUSE (filesystem in user space) umożliwiający napisanie filesystemu nie jako modułu jądra a jako zwykłego programu.

Kiedyś pracowałem w firmie, która opracowywała dekodery telewizyjne i był problem nagrywania/odtwarzania programów TV. W tamtych czasam dysk 10GB to był duży dysk, więc nie było miejsca na wiele nagrań (ok 1GB na godzine nagrania). Stworzyliśmy własny, prosty system plików, który optymalizowany na przechowywanie nielicznych plików, ale wielkich. Tylko z katalogiem głównym, bez podkatalogów, bo kilkudziesięciu plików nie było sensu dzielić na katalogi. W katalogu był przechowywany tylko numer początkowego sektora, by  odczytać metadane pliku trzeba było odczytać początkowy sektor dysku - tak była zapisane nazwa programu, nazwa stacji, czas itp metadane.

---

Dziękuję wszystkim za pomoc! Szczególnie @Oscar za tak wyczerpującą odpowiedź. Troszkę rozjaśniło i teraz wiem czego dalej szukać woęc zamykam :)

Answer 1

Odpowiedzi będą różne w zależności od system plików. Inaczej to działa dla FAT a inaczej dla NTFS czy ext.

Podczas tworzenia dużych zbiorów danych warto zwrócić uwagę na ograniczania systemu plików. Np ile można stworzyć plików w jednym folderze lub jak duży może być jeden plik. 

Czasem aby obejść te ograniczania wprowadza się pod foldery. Np. zamiast tworzyć plik 

91162629d258a876ee994e9233b2ad87.jpg

robi się dodatkowe katalogi na podstawie początku nazwy pliku

91/16/91162629d258a876ee994e9233b2ad87.jpg

 

https://linuxporady.pl/maskymalna-ilosc-plikow-na-partycjach-typu-ext-ntfs-fat32/