• Najnowsze pytania
  • Bez odpowiedzi
  • Zadaj pytanie
  • Kategorie
  • Tagi
  • Zdobyte punkty
  • Ekipa ninja
  • IRC
  • FAQ
  • Regulamin
  • Książki warte uwagi

Teoria Informacji - zadanie

VMware Cloud PRO - przenieś swoją infrastrukturę IT do chmury
0 głosów
246 wizyt
pytanie zadane 13 listopada 2023 w Matematyka, fizyka, logika przez JanuszDzbanusz Nowicjusz (230 p.)
Nie jestem pewien czy zamieszczam to pytanie w odpowiedniej kategorii ani nawet czy na prawidłowym forum ale nie mam pojęcia gdzie powinienem zapytać. Czy ktoś mógłby naprowadzić mnie na rozwiązanie zadania o treści:

Wykaż, że entropia źródła rozszerzonego do "k" wyjść jest równa entropii tego źródła bez rozszerzenia razy "k".

W skrócie: Wykaż, że H(S^k) = k * H(S)

1 odpowiedź

+3 głosów
odpowiedź 13 listopada 2023 przez WojtekLuiz Nowicjusz (200 p.)
Aby wykazać, że entropia źródła rozszerzonego do "k" wyjść jest równa krotności entropii tego źródła bez rozszerzenia, użyjemy definicji entropii.

Entropia informacyjna źródła informacji dyskretnej S jest określona jako:

\[ H(S) = - \sum_{i=1}^{n} P(x_i) \log_{2} P(x_i) \]

gdzie \( P(x_i) \) to prawdopodobieństwo wystąpienia symbolu \( x_i \) w źródle S.

Teraz, rozważ źródło rozszerzone do "k" wyjść, oznaczone jako \( S^k \). Prawdopodobieństwo wystąpienia konkretnego ciągu \( s_1, s_2, \ldots, s_k \) z \( S^k \) można zapisać jako iloczyn prawdopodobieństw symboli w tym ciągu:

\[ P(s_1, s_2, \ldots, s_k) = P(s_1) \cdot P(s_2) \cdot \ldots \cdot P(s_k) \]

Entropia tego źródła rozszerzonego do "k" wyjść jest zdefiniowana jako:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldots, s_k) \log_{2} P(s_1, s_2, \ldos, s_k) \]

Teraz, użyjmy definicji entropii źródła S w powyższym wyrażeniu:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} \left( P(s_1) \cdot P(s_2) \cdot \ldos \cdot P(s_k) \right) \]

Zasada logarytmu mnożenia pozwala nam przekształcić to wyrażenie:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \left( \log_{2} P(s_1) + \log_{2} P(s_2) + \ldos + \log_{2} P(s_k) \right) \]

Teraz, zsumujmy te logarytmy:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} P(s_1) - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} P(s_2) - \ldos - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} P(s_k) \]

Teraz zauważmy, że każdy z tych składników to po prostu entropia źródła S:

\[ H(S^k) = k \cdot H(S) \]

Stąd udowodniliśmy, że entropia źródła rozszerzonego do "k" wyjść jest równa krotności entropii tego źródła bez rozszerzenia, czyli \( H(S^k) = k \cdot H(S) \).
komentarz 13 listopada 2023 przez reaktywny Nałogowiec (46,230 p.)
Sam bym tego lepiej nie udowodnił! Brawo!

Podobne pytania

0 głosów
1 odpowiedź 488 wizyt
–1 głos
3 odpowiedzi 817 wizyt
pytanie zadane 23 sierpnia 2024 w Matematyka, fizyka, logika przez CosmoWielki Użytkownik (660 p.)
0 głosów
3 odpowiedzi 635 wizyt

93,443 zapytań

142,434 odpowiedzi

322,691 komentarzy

62,805 pasjonatów

Motyw:

Akcja Pajacyk

Pajacyk od wielu lat dożywia dzieci. Pomóż klikając w zielony brzuszek na stronie. Dziękujemy! ♡

Oto polecana książka warta uwagi.
Pełną listę książek znajdziesz tutaj

...