Skúmame závislosť dvoch pokusov A a B. Výsledok pokusu A má 5 možností A={A1, A2, A3, A4, A5}, výsledok pokusu B má tiež 5 možností B={B1, B2, B3, B4, B5}. Pravdepodobnosti jednotlivých možností môžeme odhadnúť na základe výsledkov prieskumu, do ktorého sa zapojilo spolu 100 respondentov. Početnosti sú uvedené v nasledujúcej tabuľke:
| B1 | B2 | B3 | B4 | B5 | Spolu | |
|---|---|---|---|---|---|---|
| A1 | 14 | 9 | 7 | 2 | 7 | 39 |
| A2 | 1 | 3 | 2 | 1 | 2 | 9 |
| A3 | 3 | 10 | 1 | 2 | 7 | 23 |
| A4 | 2 | 0 | 7 | 2 | 6 | 17 |
| A5 | 2 | 0 | 8 | 1 | 1 | 12 |
| Spolu | 22 | 22 | 25 | 8 | 23 | 100 |
Vypočítajte entropiu jednotlivých pokusov H(A), H(B), entropiu kombinovaného pokusu H(A^B), spoločnú informáciu oboch pokusov I(A,B) a podmienené entropie oboch pokusov H(A|B), H(B|A).
H(A) = 2,1318
H(B) = 2,2403
H(A^B) = 4,0771
I(A, B) = 0,2950
H(A|B) = 1,8368
H(B|A) = 1,9453
Nech Z = (A*,P) je závislý stacionárny informačný zdroj, A = {1, 2, 3, 4}. Pravdepodobnosť vyslania jednotlivých znakov abecedy závisí od predchádzajúceho vyslaného znaku:
P(Xn = 1 | Xn-1 = 1) = 0,9
P(Xn = 2 | Xn-1 = 1) = 0,1
P(Xn = 3 | Xn-1 = 1) = 0
P(Xn = 4 | Xn-1 = 1) = 0
P(Xn = 1 | Xn-1 = 2) = 0,4
P(Xn = 2 | Xn-1 = 2) = 0,5
P(Xn = 3 | Xn-1 = 2) = 0,1
P(Xn = 4 | Xn-1 = 2) = 0
P(Xn = 1 | Xn-1 = 3) = 0
P(Xn = 2 | Xn-1 = 3) = 0,3
P(Xn = 3 | Xn-1 = 3) = 0,6
P(Xn = 4 | Xn-1 = 3) = 0,1
P(Xn = 1 | Xn-1 = 4) = 0
P(Xn = 2 | Xn-1 = 4) = 0
P(Xn = 3 | Xn-1 = 4) = 0,6
P(Xn = 4 | Xn-1 = 4) = 0,4
Určte entropiu jednoznakových a dvojznakových slov H(C1), H(C2), podmienenú entropiu druhého znaku, ak poznáme prvý znak H(X2|X1) a entropiu zdroja H(Z).
p1 = 0,7423, p2 = 0,1856, p3 = 0,0619, p4 = 0,0103
H1 = H(C1) = 1,0865
H2 = H(C2) = 1,7773
H(Xn|Xn-1Xn-2...X2X1) = H(Xn|Xn-1) = H(X2|X1) = 0,6908
H(Z) = 0,6908