Кибернетические системы действуют на базе сбора, переработки и передачи информации. Развитие все более совершенных средств оценки измерения информации было одним из важных факторов, определяющих прогресс кибернетики. Однако, что интересно, никто не выдвинул достаточно удовлетворительного определения информации. Норберт Винер однажды заметил, возможно без особого намерения, что «информация - это не материя или энергия», это просто «информация». У.Р. Эшби также предостерегал против попыток рассматривать информацию как материальную или индивидуальную «вещь»: «Всякая попытка трактовать информацию как вещь, которая может содержаться в другой вещи, обычно ведет к трудным «проблемам», которые никогда не должны были бы возникать».

Диалектический материализм утверждает, что объективная реальность состоит из материи и энергии в различных формах. Если информация не есть материя или энергия, тогда что же это? В начале 60-х годов /279/ внимание советских философов переместилось, пусть относительно, с более широких вопросов природы кибернетики и жизни к более узким проблемам природы информации. Они выдвигали несколько причин этого переноса внимания. Во-первых, более ограниченный вопрос о природе информации можно рассматривать более строго, чем вопрос «Могут ли машины мыслить?». Во-вторых, исследования проблемы информации есть ключ ко многим более общим вопросам, поставленным ранее.

Проблема философской интерпретации понятия информации была подлинной и трудной. Если информацию можно измерять, считали некоторые советские ученые, тогда она должна обладать объективной реальностью. Еще в 1927 г. Р. В. Л. Хартли отмечал, что количество информации, заключенной в любом сообщении, тесно связано с количеством возможностей, сообщением исключающихся. Таким образом, фраза «яблоки красные» несет намного больше информации, чем фразы «фрукты красные» или «яблоки цветные», так как первая фраза исключает все фрукты, кроме яблок, и все цвета, кроме красного. Это исключение других возможностей повышает информационное содержание. Позднее основной принцип, предложенный Хартли, был улучшен и разработан на математической основе. В 1949 г, в фундаментально важном труде «Математическая теория связи» Клод Шеннон и Уоррен Уивер представили формулу вычисления количества информации, в которой информация возрастала с уменьшением вероятности отдельного сообщения. В этом методе информация определяется как мера свободы чьего-либо (или какой-либо системы) выбора в выделении сообщения. Таким образом, в ситуации, когда количество возможных сообщений, из которых можно выбирать, большое, количество информации, производимое этой системой, тоже большое, Если быть более точными, количество информации определяется (в простых ситуациях) как логарифм доступных выборов. Формула Шеннона и Уивера 1949 г. имела следующий вид: