• Najnowsze pytania
  • Bez odpowiedzi
  • Zadaj pytanie
  • Kategorie
  • Tagi
  • Zdobyte punkty
  • Ekipa ninja
  • IRC
  • FAQ
  • Regulamin
  • Książki warte uwagi

Teoria Informacji - zadanie

Hosting forpsi easy 1 pln
0 głosów
99 wizyt
pytanie zadane 13 listopada w Matematyka, fizyka, logika przez JanuszDzbanusz Nowicjusz (210 p.)
Nie jestem pewien czy zamieszczam to pytanie w odpowiedniej kategorii ani nawet czy na prawidłowym forum ale nie mam pojęcia gdzie powinienem zapytać. Czy ktoś mógłby naprowadzić mnie na rozwiązanie zadania o treści:

Wykaż, że entropia źródła rozszerzonego do "k" wyjść jest równa entropii tego źródła bez rozszerzenia razy "k".

W skrócie: Wykaż, że H(S^k) = k * H(S)

1 odpowiedź

+3 głosów
odpowiedź 13 listopada przez WojtekLuiz Nowicjusz (200 p.)
Aby wykazać, że entropia źródła rozszerzonego do "k" wyjść jest równa krotności entropii tego źródła bez rozszerzenia, użyjemy definicji entropii.

Entropia informacyjna źródła informacji dyskretnej S jest określona jako:

\[ H(S) = - \sum_{i=1}^{n} P(x_i) \log_{2} P(x_i) \]

gdzie \( P(x_i) \) to prawdopodobieństwo wystąpienia symbolu \( x_i \) w źródle S.

Teraz, rozważ źródło rozszerzone do "k" wyjść, oznaczone jako \( S^k \). Prawdopodobieństwo wystąpienia konkretnego ciągu \( s_1, s_2, \ldots, s_k \) z \( S^k \) można zapisać jako iloczyn prawdopodobieństw symboli w tym ciągu:

\[ P(s_1, s_2, \ldots, s_k) = P(s_1) \cdot P(s_2) \cdot \ldots \cdot P(s_k) \]

Entropia tego źródła rozszerzonego do "k" wyjść jest zdefiniowana jako:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldots, s_k) \log_{2} P(s_1, s_2, \ldos, s_k) \]

Teraz, użyjmy definicji entropii źródła S w powyższym wyrażeniu:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} \left( P(s_1) \cdot P(s_2) \cdot \ldos \cdot P(s_k) \right) \]

Zasada logarytmu mnożenia pozwala nam przekształcić to wyrażenie:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \left( \log_{2} P(s_1) + \log_{2} P(s_2) + \ldos + \log_{2} P(s_k) \right) \]

Teraz, zsumujmy te logarytmy:

\[ H(S^k) = - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} P(s_1) - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} P(s_2) - \ldos - \sum_{s_1} \sum_{s_2} \ldos \sum_{s_k} P(s_1, s_2, \ldos, s_k) \log_{2} P(s_k) \]

Teraz zauważmy, że każdy z tych składników to po prostu entropia źródła S:

\[ H(S^k) = k \cdot H(S) \]

Stąd udowodniliśmy, że entropia źródła rozszerzonego do "k" wyjść jest równa krotności entropii tego źródła bez rozszerzenia, czyli \( H(S^k) = k \cdot H(S) \).
komentarz 13 listopada przez reaktywny Nałogowiec (38,490 p.)
Sam bym tego lepiej nie udowodnił! Brawo!

Podobne pytania

0 głosów
1 odpowiedź 281 wizyt
0 głosów
3 odpowiedzi 341 wizyt
0 głosów
0 odpowiedzi 542 wizyt

92,133 zapytań

140,789 odpowiedzi

317,830 komentarzy

61,457 pasjonatów

Advent of Code 2023

Top 15 użytkowników

  1. 1886p. - Łukasz Eckert
  2. 1856p. - Dawid128
  3. 1844p. - Marcin Putra
  4. 1844p. - CC PL
  5. 1818p. - rafalszastok
  6. 1775p. - Mikbac
  7. 1760p. - rucin93
  8. 1741p. - sefirek
  9. 1682p. - Adrian Wieprzkowicz
  10. 1652p. - Eryk Andrzejewski
  11. 1644p. - jaroslawroszyk
  12. 1565p. - Rafał Trójniak
  13. 1467p. - dia-Chann
  14. 1445p. - nidomika
  15. 1424p. - ssynowiec
Szczegóły i pełne wyniki

Motyw:

Akcja Pajacyk

Pajacyk od wielu lat dożywia dzieci. Pomóż klikając w zielony brzuszek na stronie. Dziękujemy! ♡

Oto polecana książka warta uwagi.
Pełną listę książek znajdziesz tutaj.

Uwaga - w dniach od 02.12 do 08.12 trwają Mikołajki (książki drukowane mają rabat -35%, ebooki do -45%). Zaś dodatkowy, specjalny kod zniżkowy: HELMIKOLAJ-10 dla naszych Widzów zapewni Wam oszczędność -10zł dla zamówień powyżej 70zł! Warto korzystać!

Akademia Sekuraka

Akademia Sekuraka 2024 zapewnia dostęp do minimum 15 szkoleń online z bezpieczeństwa IT oraz dostęp także do materiałów z edycji Sekurak Academy z roku 2023!

Przy zakupie możecie skorzystać z kodu: pasja-akademia - użyjcie go w koszyku, a uzyskacie rabat -30% na bilety w wersji "Standard"! Więcej informacji na temat akademii 2024 znajdziecie tutaj. Dziękujemy ekipie Sekuraka za taką fajną zniżkę dla wszystkich Pasjonatów!

Akademia Sekuraka

Niedawno wystartował dodruk tej świetnej, rozchwytywanej książki (około 940 stron). Mamy dla Was kod: pasja (wpiszcie go w koszyku), dzięki któremu otrzymujemy 10% zniżki - dziękujemy zaprzyjaźnionej ekipie Sekuraka za taki bonus dla Pasjonatów! Książka to pierwszy tom z serii o ITsec, który łagodnie wprowadzi w świat bezpieczeństwa IT każdą osobę - warto, polecamy!

...