Program do grupowej analizy plików i porównania hashy SHA256

pytanie zadane 22 września w Systemy operacyjne, programy przez alpha.netrunner Gaduła (4,910 p.)

Cześć!
Szukam programu, który umożliwi wykonanie grupowej analizy tysięcy plików umieszczonych w setkach podfolderów, z wygenerowaniem hashy SHA256 na Windows 10/11. Następnie chciałbym przeprowadzić drugi test porównawczy na kopii plików, które mam zapisane na dysku zewnętrznym lub pobiorę z chmury.

Problem, z którym się spotkałem, to fakt, że większość narzędzi generuje plik z hashami i ścieżkami do konkretnych plików, co sprawia, że porównanie kopii jest problematyczne. Hashy nie da się porównać bezpośrednio, ponieważ ścieżki w różnych lokalizacjach są inne, przez co hashe nie pasują. Nie udało mi się też znaleźć programu, który poradziłby sobie z tym problemem.

Czy ktoś zna program, który spełniałby te wymagania? Idealnie, gdyby umożliwiał pominięcie ścieżek lub inny sposób porównywania hashy plików znajdujących się w różnych lokalizacjach. Bardzo zależy mi na sprawdzeniu integralności danych. Z góry dzięki za pomoc!

komentarz 22 września przez adrian17 Ekspert (349,920 p.)

Nie wiem jak z istniejącymi programami, ale jeśli jest potrzeba, to brzmi jak coś co da się sklecić w kilkunastu-kilkudziesięciu liniach powershella lub pythona.

EDIT: Też nie do końca rozumiem czemu masz problem z tymi programami co generują raport ze ścieżkami - jak masz dwa raporty z dwóch folderów to możesz je porównać i w ten sposób osiągnąć co chcesz, nie? Ścieżka do pliku nie wpływa na jego hash, więc nie rozumiem co masz na myśli przez „ścieżki w różnych lokalizacjach są inne, przez co hashe nie pasują”. Możesz tutaj doprecyzować?

komentarz 22 września przez alpha.netrunner Gaduła (4,910 p.)

Program generuje mi plik txt z hashem + ścieżka do pliku. Ale na dysku zewnętrznym ścieżki są logicznie inne więc wygenerowanie głównego hasha z pierwszego i drugiego pliku nie dział. Można usunąć oczywiście te dodatkowe adnotacje dotyczące ścieżek ale to też nie zawsze (przynajmniej u mnie) działało jak należy

komentarz 23 września przez adrian17 Ekspert (349,920 p.)

…nie widzę problemu.

Jeśli jeden raport mówi że C:/sciezka1/plik1.txt ma jakiś hash XYZ i drugi raport mówi że D:/sciezka2/plik2.txt ma hash XYZ, to mając te dwa raporty możesz wywnioskować że te dwa pliki mają ten sam hash.

W jaki sposób różne ścieżki (a jak porównujesz dwa pliki, to z definicji mają różne ścieżki - chyba że np porównujesz ścieżki względne do roota projektu, to wtedy „dysk zewnętrzny” nie ma znaczenia) tutaj tworzą problem?

komentarz 23 września przez alpha.netrunner Gaduła (4,910 p.)

Źle wyjaśniłem chodzi mi bardziej o to, że mając 100tys plików porównywanie hashów ręcznie nie wchodzi w grę. Więc chciałem zrobić jeden hash z pliku tekstowego w którym są wszystkie pozostałe hashe to samo w drugim. I tak je porównać. Ale różne ścieżki które są tam zapisane w tym przeszkadzają.

1 odpowiedź

odpowiedź 23 września przez quiet_delete Obywatel (1,440 p.)
wybrane 23 września przez alpha.netrunner

Najlepsza

Wygląda na coś co można napisać samemu. Jeżeli nie masz za dużo doświadczenia, to spróbuj może poeksperymentować z jakimś LLMem na poziomie gpt-4. Jeżeli ładnie sformułujesz czego dokładnie potrzebujesz, to LLM powinien wypluć skrypt, który po kilku poprawkach będzie działać.

Przetestuj go może najpierw na mniejszym zbiorze danych, żeby szybciej wyłapać błędy/edge cases.

Powodzenia!