Liczenie unikalnych słów z odmianami

Question

Witam,

Jako pasjonat lingwistyki i literatury, ale osoba mało obeznana z informatyką, mam pytanie do osób o większej wiedzy:

Czy bardzo musiałby być złożony i jak mógłby działać program, który liczyłby unikalne wyrazy, przy wzięciu pod uwagę ich odmian w j. polskim?

Zwyczajne programy do liczenia słów miewają bardzo nieprecyzyjne wyniki, ilekroć te same wyrazy wystąpią w tekście w różnych przypadkach lub czasach, stąd problem.

Z góry dziękuję za wszelką odpowiedź 

Answer 1

Jak znajdzie się dobre dane wejściowe, to rzecz jest prosta. Proces przekładania słowa w różnych odmianach na formę bazową (rdzeń, ang. "stem") nazywa się stemming. Są do tego biblioteki i zbiory danych dla poszczególnych języków. Jeżeli znajdzie się odpowiednią bibliotekę/słownik to zadanie robi się trywialne.

Przykładowa biblioteka: https://github.com/morfologik/morfologik-stemming

Answer 2

Każdy język jest inny i ma swoje wyjątki , więc aby zliczyć ilość różnych słów musiałbyś dla każdego słowa zapisać wszystkie jego odmiany :)