Generalnie RAR używa całkiem sensownego crypto (AES-128-ECB dla wersji 2.0 - no OK, tu aż tak sensownie nie jest; AES-256-CBC od 5.0), więc za dużo mądrego się nie zrobi.
Jeśli częściowo pamiętasz hasło, to najlepszym pomysłem jest napisanie generatora, który na podstawie tego co pamiętasz + tego co nie pamiętasz (wariantów) wygeneruje Ci listę potencjalnych haseł do sprawdzenia.
A potem tą listę trzeba po prostu przetestować na archiwum (jakimś skryptem).
Można trochę brute przyspieszyć jeśli wiesz jakie formaty miały pliki w archiwum, ew. jakie miały nazwy, ale to zaczyna wkraczać na teren pisania własnego bruterforcera do tego.
W sumie też pytanie brzmi jakiej długości było hasło i z jakich znaków się składało.