Jak wyliczyć wszystkie "unique words" z książki?

Question

Zastanawiało mnie ile jest unikatowych słów we wszystkich częściach Harrego Pottera.

Wiem że zrobili coś takiego już z każdą książką z osobna, lecz mnie ciekawi słownictwo wszystkich książek połączonych ze sobą w jeden plik.

Jestem pewien że musi być jakiś sposób by to wyliczyć, choć wiem że jest to trudniejsze jeśli ma sie w jednym pliku lekko ponad milion słów. Jak myślicie czy jest to wykonalne?

Pod linkiem poniżej możemy zobaczyć ile unikalnych słów ma każda z książek:
https://i.redd.it/7b496jgskl8x.png

Answer 1

Oczywiście że jest to wykonalne. Proponuje skrypt w pythonie. W brew pozorom taki skrypt nie jest bardzo skomplikowany do napisania.

Comments

Nawet jeśli nigdy nie miałem styczności z pythonem? Kodowałem tylko odrobine w javascript by nauczyć się podstaw i nic pozatym

---

Tak naprawde mowie ci w pythonie jest to mega proste.

Masz coś takiego jak słownik w pythonie i to jest jużż wbudowana struktura danych. Odczyt jak i zapis plikow jest banalny.

Wszystko to zkładas w całość i masz to co chcesz.