Энтропия объединенной ВС. Условная энтропия и её свойства

Понятие энтропии объединенной ВС
p(ai bj ) ≠ pi qj

Пример объединенной ВС

энтропия объединенной ВС
H(AB) = - ∑ p(ij)log p(ij)
(ij)

Условная энтропия
H(B/А) = - ∑ pijlog pij
(ij)
Hi = H(B/ai) = -∑ p(bj /ai) log p(bj /ai)=-∑pijlogpij
(j) (j)
H(AB) – H(A) = H (B/A)
Если p(ai bj ) = pi qj , то H(B/A)= H(B)

Теорема о связи энтропии объединенной ВС и энтропии составляющих её частных схем
Для любых двух конечных ВС
H(AB) ≤ H(A)+H(B).
Если А и В независимы, то
H(AB) = H(A)+H(B).