САНКТ ПЕТЕРБУРГ 1999

ГЛАВА 2 

Принцип максимума энтропии в физике, технике связи и экологии. 
Первая  вариационная задача равновесной статистической термодинамики.

2.2 

ПРЕЛЮДИЯ

Рассмотренные выше физические системы типа источников сообщений и каналов связи предполагают, что "хорошие" источники сообщений и каналы связи должны обеспечивать СООБЩЕНИЯ (состояния) наиболее неожиданные, т.е. с наибольшей энтропией, но при этом естественно, что существуют технические (в том числе и энергетические) ограничения на процесс генерации и передачи сообщений. Таким образом, снова встает первая вариационная - задача поиска распределения, которое максимизирует энтропию в присутствии ограничений. В качестве ограничений могут выступать штрафы или ограничения на энергетику системы связи. Такое распределение, максимизирующее энтропию при ограничениях и задает наилучший канал связи.

ОСНОВНАЯ ТЕМА

Пусть имеется дискретный канал без помех Y c ограничениями c(y)<a . Назовем пропускной способностью канала связи С, то максимальное значение энтропии, которое может быть достигнуто с учетом ограничений C= sup H(y)= max S(y) . Назовем c(y) функцией штрафов (функцией потерь). Состояния y имеют распределение вероятностей P(y). Усредняем теперь функцию штрафов по всем состояниям и их распределениям. Такого рода величина R называется средние потери или риск. Ограничения тогда приобретают вид:

Требуется максимизировать энтропию при этих ограничениях, выбирая соответствующее распределение P(y) :

Таким образом технический смысл первой вариационной задачи состоит в определении пропускной способности канала связи С в условиях ограничений на риск.

Как уже отмечалось, в случае отсутствия ограничений, решение вариационной задачи дает равномерное распределение для источника сообщений или канала связи. В случае наличия ограничений решение вариационной задач и дает в общем случае распределение Гиббса (в более частных случаях техники связи это нормальное распределение). Этот факт означает, что существуют методы физической реализации таких каналов связи. Подобные утверждения и составляют предмет практически важной и фундаментальной теоремы. 

Первая асимптотическая теорема термодинамики и теории информации. Первая теорема Шеннона. 

 В задачах дистанционного зондирования эта теорема используются для экономного представления огромных цифровых массивов изображений, благодаря специальным алгоритмам свертки этих изображений.

ГЛАВА 1 
1.1
1.2
1.3
1.4
1.5
1.6
1.7

ГЛАВА 2
2.1
2.2
2.3