Program do grupowej analizy plików i porównania hashy SHA256

Question

Cześć!
Szukam programu, który umożliwi wykonanie grupowej analizy tysięcy plików umieszczonych w setkach podfolderów, z wygenerowaniem hashy SHA256 na Windows 10/11. Następnie chciałbym przeprowadzić drugi test porównawczy na kopii plików, które mam zapisane na dysku zewnętrznym lub pobiorę z chmury.

Problem, z którym się spotkałem, to fakt, że większość narzędzi generuje plik z hashami i ścieżkami do konkretnych plików, co sprawia, że porównanie kopii jest problematyczne. Hashy nie da się porównać bezpośrednio, ponieważ ścieżki w różnych lokalizacjach są inne, przez co hashe nie pasują. Nie udało mi się też znaleźć programu, który poradziłby sobie z tym problemem.

Czy ktoś zna program, który spełniałby te wymagania? Idealnie, gdyby umożliwiał pominięcie ścieżek lub inny sposób porównywania hashy plików znajdujących się w różnych lokalizacjach. Bardzo zależy mi na sprawdzeniu integralności danych. Z góry dzięki za pomoc!

Comments

Nie wiem jak z istniejącymi programami, ale jeśli jest potrzeba, to brzmi jak coś co da się sklecić w kilkunastu-kilkudziesięciu liniach powershella lub pythona.

EDIT: Też nie do końca rozumiem czemu masz problem z tymi programami co generują raport ze ścieżkami - jak masz dwa raporty z dwóch folderów to możesz je porównać i w ten sposób osiągnąć co chcesz, nie? Ścieżka do pliku nie wpływa na jego hash, więc nie rozumiem co masz na myśli przez „ścieżki w różnych lokalizacjach są inne, przez co hashe nie pasują”. Możesz tutaj doprecyzować?

---

Program generuje mi plik txt z hashem + ścieżka do pliku. Ale na dysku zewnętrznym ścieżki są logicznie inne więc wygenerowanie głównego hasha z pierwszego i drugiego pliku nie dział. Można usunąć oczywiście te dodatkowe adnotacje dotyczące ścieżek ale to też nie zawsze (przynajmniej u mnie) działało jak należy

---

…nie widzę problemu.

Jeśli jeden raport mówi że C:/sciezka1/plik1.txt ma jakiś hash XYZ i drugi raport mówi że D:/sciezka2/plik2.txt ma hash XYZ, to mając te dwa raporty możesz wywnioskować że te dwa pliki mają ten sam hash.

W jaki sposób różne ścieżki (a jak porównujesz dwa pliki, to z definicji mają różne ścieżki - chyba że np porównujesz ścieżki względne do roota projektu, to wtedy „dysk zewnętrzny” nie ma znaczenia) tutaj tworzą problem?

---

Źle wyjaśniłem chodzi mi bardziej o to, że mając 100tys plików porównywanie hashów ręcznie nie wchodzi w grę. Więc chciałem zrobić jeden hash z pliku tekstowego w którym są wszystkie pozostałe hashe to samo w drugim. I tak je porównać. Ale różne ścieżki które są tam zapisane w tym przeszkadzają.

Answer 1

Wygląda na coś co można napisać samemu. Jeżeli nie masz za dużo doświadczenia, to spróbuj może poeksperymentować z jakimś LLMem na poziomie gpt-4. Jeżeli ładnie sformułujesz czego dokładnie potrzebujesz, to LLM powinien wypluć skrypt, który po kilku poprawkach będzie działać.

 

Przetestuj go może najpierw na mniejszym zbiorze danych, żeby szybciej wyłapać błędy/edge cases.

Powodzenia!