Слово «информация» латинское. За долгую жизнь его значение претерпевало эволюции, то расширяя, то предельно сужая свои границы. Вначале под словом «информация» подразумевали: «представление», «понятие», затем-«сведения», «передача сообщений».

В последние годы ученые решили, что обычное (всеми принятое) значение слова «информация» слишком эластично, расплывчато, и дали ему такое значение: «мера определенности в сообщении».

Теорию информации вызвали к жизни потребности практики. Ее возникновение связывают с работой Клода Шеннона «Математическая теория связи», изданной в 1946г. Основы теории информации опираются на результаты, полученные многими учеными. Ко второй половине XX века земной шар гудел от передающейся информации, бегущей по телефонным и телеграфным кабелям и радиоканалам. Позже появились электронные вычислительные машины - переработчики информации. А для того времени основной задачей теории информации являлось, прежде всего, повышение эффективности функционирования систем связи. Сложность при проектировании и эксплуатации средств, систем и каналов связи в том, что конструктору и инженеру недостаточно решить задачу с физических и энергетических позиций. С этих точек зрения система может быть самой совершенной и экономичной. Но важно еще при создании передающих систем обратить внимание на то, какое количество информации пройдет через эту передающую систему. Ведь информацию можно измерить количественно, подсчитать. И поступают при подобных вычислениях самым обычным путем: абстрагируются от смысла сообщения, как отрешаются от конкретности в привычных всем нам арифметических действиях (как от сложения двух яблок и трех яблок переходят к сложению чисел вообще: 2+3).

Ученые заявили, что они «полностью игнорировали человеческую оценку информации». Последовательному ряду из 100 букв, например, они приписывают определенное значение информации, не обращая внимания, имеет ли эта информация смысл и имеет ли, в свою очередь, смысл практическое применение. Количественный подход - наиболее разработанная ветвь теории информации. В соответствии с этим определением совокупность 100 букв - фраза из 100 букв из газеты, пьесы Шекспира или теоремы Эйнштейна - имеет в точности одинаковое количество информации.

Такое определение количества информации является в высшей степени полезным и практичным. Оно в точности соответствует задаче инженера связи, который должен передать всю информацию, содержащуюся в поданной телеграмме, вне зависимости от ценности этой информации для адресата. Канал связи бездушен. Передающей системе важно одно: передать нужное количество информации за определенное время. Как же вычислить количество информации в конкретном сообщении?

Оценка количества информации основывается на законах теории вероятностей, точнее, определяется через вероятности событий. Это и понятно. Сообщение имеет ценность, несет информацию только тогда, когда мы узнаем из него об исходе события, имеющего случайный характер, когда оно в какой-то мере неожиданно. Ведь сообщение об уже известном никакой информации не содержит. Т.е. если вам, допустим, кто-то позвонит по телефону и скажет: «Днем бывает светло, а ночью темно», то такое сообщение вас удивит лишь нелепостью высказывания очевидного и всем известного, а не новостью, которую оно содержит.