1п. Вывод формулы К. Шеннона для энтропии

Если принять аксиому о существовании в природе вероятностных явлений (о точках бифуркации), то легко выводятся формулы, связанные с естественным процессом нарастания энтропии. Это, конечно, формула Шеннона (в теории информации). Выведем ее, исходя из самых общих предпосылок, следуя известной идее, изложенной в [1П, и др.]. Эти предпосылки несколько отличаются от принятых К. Шенноном для информационной энтропии, но сущность вывода при этом не меняется.

Сделаем три исходные предпосылки:

– энтропия должна быть функцией вероятностей любого из возможных состояний системы и их числа (n);

– значение энтропии не должно зависеть от способа постановки задачи, физической сущности системы и языка описания.

– все состояния системы полностью определенны, дискретны.

Рассмотрим сначала систему, у которой все вероятности переходов из состояния в состояние одинаковы, (точки бифуркации идут подряд) и сделаем еще две предпосылки:

– энтропия (Sp), в этом случае, должна быть монотонной функцией числа возможных состояний системы;

– энтропия должна обладать свойством аддитивности.

Все пять предпосылок достаточно очевидны и не нуждаются в дополнительных комментариях.

Так как вероятности переходов приняты одинаковыми, то энтропия будет зависеть только от числа возможных состояний. Предположим, в течение некоторого времени система переходила из одного состояния в другое m раз. Если обозначить число возможных состояний при каждом переходе через N и иметь в виду первую и пятую предпосылки, то получим,

очевидно, n=Nm (n – число всех возможных состояний системы) и

Приравняем правые части этих выражений

Теперь продифференцируем это выражение по m и по n

Основание логарифма – a принято произвольным.

Исключим сложную производную из двух последних формул

Учитывая уравнения (2А) и (3А) линейной зависимости S p от m и упрощая выражение (7А), получим дифференциальное уравнение

После разделения переменных и интегрирования, имеем

где ln k – произвольная постоянная интегрирования. Отсюда

Так как вероятности переходов приняты одинаковыми, то вероятность каждого i-го состояния равна Pi =1/n и

Обобщим теперь эту формулу на произвольные вероятности переходов.

Представим себе последовательность переходов с, каждый раз, разным числом возможных равновероятных состояний. При каждом отдельном переходе значение S p дает меру неопределенности всех возможных состояний системы или, в терминах теории вероятностей, общую неопределенность опыта. Но каждый отдельный исход опыта (одно из возможных состояний) имеет вероятность P i , и, следовательно, вносит долю неопределенности P i S p . Суммируя теперь эту величину по всем возможным состояниям, получим формулу Шеннона

где n – число возможных состояний системы, а P i – вероятность каждого из них, k и a – произвольные постоянные.

Анализ этой формулы показывает, что рост энтропии максимален при равной вероятности возможных состояний; при увеличении n энтропия растет.

При выводе формулы мы не вводили ограничений на обмен энергией между системой и окружающей средой. Следовательно, энтропия всегда и естественно растет в любых материальных системах.

2п. Пример расчета энтропии

Расчет проведем для рис. 1. Для удобства он и формула повторены ниже. Примем произвольные постоянные в формуле. Как обычно, в кибернетике k=1, a=2. Тогда формула будет выглядеть так

Считаем, состояние В осуществилось с вероятностью равной единице, т.е. это достоверное событие. Тогда энтропия нашей системы в этом состоянии равна нулю, так как логарифм от единицы равен нулю. Вероятности Р 1 и Р 2 примем одинаковыми и равными 0,5. Так как возможных состояния только два то N=2. Вычисляем сумму. S= – (Р 1 log 2 Р 1 + Р 2 log 2 Р 2 ) = – (0.5(-1)+0.5(-1))=1. Энтропия увеличилась. Так что вероятность состояния С2, в которое перешла система, равна 0,5, и её придется учитывать при дальнейшем развитии событий. Назначим вероятности перехода в состояния D. Р 3 = 0,4; Р 4 = 0,3; Р 5 = 0,3. В сумме должна быть единица. Тогда вероятности событий D вычисляются перемножением вероятности состояния С 2 на назначенные вероятности переходов. Имеем для состояния D 1 вероятность 0,4×0,5 =0,2; для состояний D 2 и D 3 – 0,15. Теперь энтропия определится так: S= – (0,2log 2 0,2+ 0,15log 2 0,15++ 0,15log2 0,15)=1,285. Логарифм по основанию два легко переводится в десятичный или натуральный алгоритм.

Видно, что энтропия нарастает. И этому нет альтернативы при вероятностной картине событий.

Литература к этому приложению

Tribus M. Thermostatics and Thermodinamics, D. Van Nostrand Company, Princeton, New Jersey, 1976.