Иное дело, например, результат забега на скачках. Кто придет первым? Исход здесь трудно предсказать.

Чем больше интересующее нас событие имеет случайных исходов, тем ценнее сообщение о его результате, тем больше информации.

Сообщение о событии, у которого только два одинаково возможных исхода, содержит одну единицу информации, называемую битом

. Выбор единицы информации не случаен. Он связан с наиболее распространенным двоичным способом ее кодирования при передаче и обработке.

Попытаемся хотя бы в самом упрощенном виде представить себе тот общий принцип количественной оценки информации, который является краеугольным камнем всей теории информации.

Мы уже знаем, что количество информации зависит от вероятностей тех или иных исходов события. Если событие, как говорят ученые, имеет два равновероятных исхода, это означает, что вероятность каждого исхода равна 1/2. Такова вероятность выпадения «орла» или «решки» при бросании монеты. Если событие имеет три равновероятных исхода, то вероятность каждого равна 1/3. Заметьте, сумма вероятностей всех исходов всегда равна единице: ведь какой-нибудь из всех возможных исходов обязательно наступит.

Событие, как вы сами понимаете, может иметь и не равновероятные исходы. Так, при футбольном матче между сильной и слабой командами вероятность победы сильной команды велика - например, 4/5. Вероятность ничьей намного меньше, например 3/20. Вероятность же поражения совсем мала.

Выходит, что количество информации - это мера уменьшения неопределенности некоторой ситуации

. Различные количества информации передаются по каналам связи, и количество проходящей через канал информации не может быть больше его пропускной способности

. А ее определяют по тому, какое количество информации проходит здесь за единицу времени.

Один из героев романа Жюля Верна «Таинственный остров», журналист Гедеон Спиллет, передавал по телефону главу из Библии, чтобы его конкуренты не могли воспользоваться телефонной связью. В этом случае канал был загружен полностью, а количество информации было равно нулю, ибо абоненту передавались известные для него сведения. Значит, канал работал вхолостую, пропустив строго определенное количество импульсов, ничем их не нагрузив.

А между тем, чем больше информации несет каждый из определенного числа импульсов, тем полнее используется пропускная способность канала. Поэтому нужно разумно кодировать информацию, найти экономный, скупой язык для передачи сообщений.

Информацию «просеивают» самым тщательным образом. В телеграфе часто встречающиеся буквы, сочетания букв, даже целые фразы изображают более коротким набором нулей и единиц, а те, что встречаются реже, - более длинным. В случае, когда уменьшают длину кодового слова для часто встречающихся символов и увеличивают для редко встречающихся, говорят об эффективном кодировании информации

.

Но на практике довольно часто случается, что код, возникший в результате самого тщательного «просеивания», код удобный и экономный, может исказить сообщение из-за помех, которые всегда, к сожалению, бывают в каналах связи: искажения звука в телефоне, атмосферные помехи в радио, искажение или затемнение изображения в телевидении, ошибки при передаче в телеграфе. Эти помехи, или, как их называют специалисты, шумы, обрушиваются на информацию. А от этого бывают самые невероятные и, естественно, неприятные неожиданности.