Понятие «информация»

 

2 ⁱ = N

 

N

 

i

 

       Количество равновероятных возможных событий

 

       Количество информации в сообщении о том, что произошло одно  из  N  равновероятных  событий.

 

 

 

 

СОДЕРЖАТЕЛЬНЫЙ  ПОДХОД  К  ИЗМЕРЕНИЮ  ИНФОРМАЦИИ

 

       Сообщение о том, что произошло одно событие из двух равновероятных (неопределенность знания уменьшилась в два раза), несет 1 бит информации.

 

       СОДЕРЖАТЕЛЬНЫЙ  ПОДХОД  к  измерению  информации  заключается в том, что количество информации связывается с содержанием (смыслом) полученного человеком  сообщения. Количество информации, заключенное в сообщении, тем больше, чем более оно пополняет наши знания (уменьшает неопределенность наших знаний).

 

8 цветных шаров в корзине  – 8 равновероятных  событий

 

   Неопределенность  знания о том, что из корзины может быть извлечен шар красного цвета,  равна  8.

 

 

 

 

Вероятность

 

•  пусть при бросании несимметричной четырёхгранной пирамидки  вероятность отдельных событий будет:
• Р_¹= 1/2 (0,5), Р_²= 1/4(0,25), Р_³= 1/8(0,125), Р_⁴= 1/8(0,125)
• Тогда количество информации  после реализации каждого можно рассчитать по:

 2 ⁱ = 1/Р – или через логарифмическую функцию: i = log_²(1/Р)

 

 

 

 

• i _¹= log_²(1/0.5) = log_²2 = 1бит
• i _²= log_²(1/0.25) = log_²4= 2бита
• i _³= log_²(1/0.125) = log_²8= 3бита
• i _⁴= log_²(1/0.125) = log_²8= 3бита
• Воспользуемся формулой Шеннона, чтобы посчитать среднюю информативность сообщения: Н= P¹log²(1/P¹)+ P²log²(1/P²)+…+ P^Nlog²(1/P^N)
• Н= 0,5*1+0,25*2+0,125*3+0,125*3=1.75 бита
• Количество информации в сообщении зависит от вероятности этого события. Чем меньше вероятность, тем больше информации несёт  сообщение о нём.

 

 

 

 

 

• При равновероятностных событиях формула Шеннона переходит в формулу Хартли: т.к. Р_¹=Р_²=Р_³…=1/N
• i = log_²(1/N)= log_²4= 2 бита т.е.

при бросании симметричной пирамидки. Когда события равновероятны, мы  получаем большее количество  информации(2 бита), чем при бросании  несимметричной(1,75), когда события  неравновероятны.

 

 

 

 



 

МЕТОД  БИНАРНОГО  ПОИСКА

 

        Правила игры: Требуется угадать задуманное число из данного диапазона целых чисел. Игрок, отгадывающий число, задает вопросы, на которые можно ответить только «да» или «нет». Если каждый ответ отсекает половину вариантов (уменьшает выбор в 2 раза), то он несет 1 бит информации. Тогда общее количество информации (в битах), полученной при угадывании числа, равно количеству заданных вопросов.

 

Игра, использующая  метод  бинарного  поиска

 

Требуется  угадать  задуманное  число  из  диапазона  чисел  от  1  до  8

 

Это  число  равно  5 ?

 

Число  меньше  7 ?

 

Число  меньше  5 ?

 

Вопросы

 



 

3

 



 

2

 



 

1

 

нет

 

да

 

№ вопроса

 

8  вариантов  возможных  событий    3  вопроса   3  бита  информации

 

1

 

2

 

3

 

4

 

5

 

6

 

7

 

8

 

5

 

6

 

7

 

8

 

5

 

6

 

3