ЕГЭ. Неравновероятные события.

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения "орла" и "решки" будут различаться.

 
Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

(1)

где I - количество информации;
N - количество возможных событий;
р_i - вероятность i-го события. Например, пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут равны:
Р₁ = 1/2, р₂ = 1/4, р₃ = 1/8, р₄ = 1/8.
Тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле (1):
I = -(l/2 log₂l/2 + l/4 log₂l/4 + l/8 log₂l/8 + l/8 log₂l/8) = (1/2 + 2/4 + 3/8 + 3/8) битов = 14/8 битов = 1,75 бита.
Этот подход к определению количества информации называется вероятностным.
Для частного, но широко распространенного и рассмотренного выше случая, когда события равновероятны (p_i= 1/N), величину количества информации I можно рассчитать по формуле:

(2)

По формуле (2) можно определить, например, количество информации, которое мы получим при бросании симметричной и однородной четырехгранной пирамидки:
I = log₂4 = 2 бита. Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количество информации (2 бита), чем при бросании несимметричной (1,75 бита), когда события неравновероятны.
Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

• отношение количества вариантов (или чисел) N к количеству информации которую несет в себе один из вариантов I: N=2^I
• полный информационный объем сообщения V равен количеству символов в сообщении K умноженное на количество информации на каждый символ I: V=K*I
• Формула Шеннона для равновероятных событий: I=log₂N
• если алфавит имеет мощность ( количество символов в этом алфавите) М, то количество всех возможных «слов» (символьных цепочек) длиной N (без учета смысла) равно K=M^N; для двоичного кодирования (мощность алфавита M –2 символа) получаем известную формулу:K=2^N

Таблица степеней двойки, покажет сколько вариантов можно закодировать с помощью N бит:

N бит	1	2	3	4	5	6	7	8	9	10
K вариантов	2	4	8	16	32	64	128	256	512	1024

1 байт = 8 бит
1 Кбайт = 2¹⁰байт = 1024 байт
1 Мбайт = 2¹⁰Кбайт = 1024 Кбайт