Bardzo ciekawa definicja informacji - brzmi bardzo matematycznie. Ale w sumie nie mam nic przeciwko niej. Po jej przeczytaniu od razu do głowy mi wskoczyły tzw 'side-channele' (termin z hakingu), czyli ataki polegające na analizowaniu na pierwszy rzut oka bezużytecznych danych w celu wyciągnięcia jakiegoś sekretu. Wymienić "sekret" na "informacje" i mamy tę definicję o której piszesz.
Przykład side-channel: mając trywialną funkcję porównującą podany ciąg z tajnym hasłem znak po znaku, jeśli mamy możliwość dokładnego zmierzenia czasu trwania tej operacji porównania, to możemy dość sprawnie ustalić jakie jest to tajne hasło po prostu próbując kolejne znaki na danej pozycji aż funkcja porównująca nie wykona się o kwant czasu dłużej - to oznacza, że trafiliśmy w kolejny dobry znak, a funkcja nie wyszła wcześniej stwierdzając niezgodność. Czyli, wracając do definicji, co dostajemy informacje (wybrany ciąg wejściowy, czas operacji), to zmniejsza nam się niepewność co do tego jakie jest to tajne hasło (bo albo trafiamy w kolejny znak na danej pozycji, albo eliminujemy znak na danej pozycji).
Co do samej definicji informatyki i informacji, to ja sobie definiowałem je zawsze tak:
Informatyka - "działka nauki/techniki zajmująca się komputerami/sieciami/etc; akademicy mówią, że formalnie przetwarzaniem informacji, ale to ta mniej ciekawa część" :)
Informacja - "przetworzone dane, które mają jakiś sens dla odbiorcy / można z nich coś wywnioskować" (OK, to mi zostało z wykładów z politechniki)