САНКТ ПЕТЕРБУРГ 1999

ГЛАВА 1  Термодинамическое описание равновесных изолированных (закрытых) макросистем

ПРЕЛЮДИЯ

 Состояние системы, зафиксированное посредством задания макроскопических параметров, определяют в термодинамике как макро состояние. Однако состояние системы можно, например, описать с помощью задания набора координат и составляющих импульса частиц системы. Состояния, задаваемые таким образом, называются микро состояниями.

Для системы состоящей из N частиц, микросостояние задается с помощью 3N координат и 3N составляющих импульса. Каждый набор микросостояний системы соответствует определенному макро состоянию. Эти наборы микросостояний можно описать на языке комбинаторики и теории вероятностей. На этих же языках можно осуществить связь между макро описанием и микро описанием термодинамических систем.

 ПРИМЕР 1 

РАССМОТРИМ КЛЮЧЕВУЮ КОМБИНАТОРНУЮ ЗАДАЧУ

Надо вычислить число способов, которыми можно реализовать данное макро состояние. Однако, число способов (М), которыми может быть реализовано данное макро состояние может быть достаточно велико и в физике оно получило условное название термодинамической вероятности М (термодинамический вес).

Так рассмотрим простой пример: N молекул размещены между двумя частями сосуда таким образом, что в одной части сосуда имеем N1 молекул, а в другой части сосуда имеем N2 молекул (N=N1+N2). Число способов, которыми можно получить данное состояние системы, равно, согласно, биномиальной схемы,

 В общем, случае имеется не две ячейки, а число таких ячеек n. Число частиц, которые распределяются по этим ячейкам равно N. Число частиц в каждой ячейке Ni , i=1,...,n. Тогда число состояний M:

Эксперимент показывает, что при большом числе частиц наибольшее число способов, которым достигается данное макро состояние, получается для таких микро состояний, при которых распределение частиц по объему приближается к равномерному.

ВЕРОЯТНОСТНЫЙ ПОДХОД

 Если рассмотреть данную задачу как вероятностную, то исходя из классического определения вероятности можно сделать вывод аналогичный, полученному выше, чисто экспериментальным путем.

И так, исходя из классического определения вероятности, можно сделать вывод о том, что составное событие (17) (макроскопическое состояние), которое можно получить множеством способов, будет появляться гораздо чаще, чем составное событие, которое можно получить редким сочетанием элементарных событий.

 ПРИМЕР 2

 Если бросать игральную кость много раз (серия испытаний n) и в качестве одного составного события (макро состояние) взять событие - выпадение хотя бы одного четного числа в этой серии испытаний (бросков). В качестве другого составного события взять выпадение всех шестерок в серии испытаний.

Если рассмотреть данный пример, то понятно (интуитивно и экспериментально), что частота (или вероятность) последнего составного события очень мала при повторении серии испытаний. Между тем вероятность (или частота) первого составного события весьма велика при повторении той же серии испытаний. Очевидно, что при каждом отдельном броске вероятность выпадения четного числа должна быть одинаковой, если мы хотим достичь наибольшего числа случаев выпадения четных чисел в серии испытаний.

Возвращаясь к задаче распределения частиц в объеме можно сказать на вероятностном языке, что наиболее вероятными (наиболее естественными) являются равномерные распределения частиц по объему.

 ОСНОВНАЯ ТЕМА

 Вернемся к случаю двух ячеек и фиксированного множества случайно перемещаемых частиц. Предположим, что случайно реализовалось состояние, когда в одной ячейке находится одна частица, а в другой ячейке все остальные. Очевидно, что такое макро состояние может быть реализовано лишь одним способом. (Если считать все частицы принципиально неразличимыми.) Но, если взять макро состояние, при котором, число частиц в обеих ячейках велико, то этот случай можно получить многими способами. Это и означает, что второе макро состояние будет встречаться гораздо чаще, чем первое (оно более естественно, более вероятно).

На этом языке можно сформулировать и задачу поиска такого распределения частиц, при котором достигается максимальное число способов получения состояния N1,N2. Это первая вариационная задача статистической термодинамики. Ее решение, в данном конкретном случае (когда нет дополнительных ограничений на механизм распределения частиц), это равномерное распределение частиц по объему.

Учитывая, что мы реально существуем в средах, где реализуется эта закономерность, нам такой вывод кажется естественным. Другими словами, данное утверждение формулируется в виде принципа равновесности.

 ПРИНЦИП РАВНОВЕСНОСТИ

 Если система замкнута и предоставлена самой себе, то она будет стремиться к состоянию с максимумом термодинамической вероятности (максимумом числа способов, максимумом числа микросостояний, приводящих данную систему к наиболее вероятному состоянию).

 Но такое наиболее равномерное распределение частиц (такое наиболее вероятное состояние) называется в макроскопической термодинамике равновесным состоянием системы.

Таким образом, если такое равновесное состояние не достигнуто, то система будет изменяться, стараясь достигнуть этого состояния. Это неравновесный процесс. При этом параметры термодинамической системы будут являться функциями времени. Если система закрыта (замкнута), то этот процесс закончиться и система окажется в равновесном состоянии. Но если система открыта, т.е. существует взаимодействие с окружающей средой, то процесс будет принципиально неравновесным.

Заметим, что нами уже отмечена физическая величина, максимизация которой, приводит к наиболее вероятному (наиболее естественному, происходящему самопроизвольно) равновесному состоянию системы. Это физическая величина - энтропия S. Эта величина характеризует по сути дела степень отклонения системы от состояния равновесия.

 Людвиг Больцман впервые отождествил термодинамическую вероятность М (число микросостояний) с термодинамической энтропией S.

 Ибо эти физические величины характеризуют одно и тоже явление со стороны макроскопического описания и со стороны микроскопического описания термодинамической системы и обе величины склонны к возрастанию в закрытых термодинамических системах.

Однако величина М обладает важным недостатком, который мешает ее использованию в физике и технике. Термодинамическая вероятность не обладает свойством аддитивности, которое принципиально необходимо для физических величин. Поэтому Больцман ввел физическую величину, которая называется статистической энтропией и которая физически тождественна термодинамической энтропии, введенной ранее. Для придания свойств аддитивности вычисляется логарифм М:

 где , k - константа Больцмана, ln - натуральный логарифм. 

ПРИМЕР 3

 Рассмотрим еще одну разновидность термодинамических систем, в которой в каждой ячейке (подсистеме) появляется одна частица одного типа из возможного набора (алфавита) типов. Всего в алфавите m типов частиц. Такие системы встречаются в технике связи и называются ИСТОЧНИКИ СООБЩЕНИЙ И КАНАЛЫ СВЯЗИ.

Другими словами, в ряде физических задач термодинамическая система состоит из n подсистем, которые в свою очередь имеют собственный набор m состояний. Рассмотрим более подробно несколько наглядных представителей таких физических систем

Итак, физическая система под названием СООБЩЕНИЕ состоит из набора знаков (физических объектов, частиц) - числом n (набор состояний системы). Знаки выбираются из алфавита объемом m. Физическое явление, порождающее сообщение естественно назвать ИСТОЧНИКОМ СООБЩЕНИЙ. Для количественного описания источника сообщений и отдельных сообщений используется физическая величина - энтропия. Энтропия характеризует неопределенность состояния сообщения выдаваемого источником.

 КРЕЩЕНДО

 Напомним - сообщение физически фиксируется в виде знаков, а знак это конкретный физический объект, который используется в качестве указателя на другой объект (денотант). При этом денотант представляет интерес своим свойством, которое называется концептом. Другими словами для обозначения концепта используют другой физический объект называемый знаком, ибо обычно сам исходный физический объект-носитель свойства (денотант) бывает неудобен для практического использования в качестве знака.

Итак, сообщение это совокупность знаков (совокупность конкретных физических объектов указателей на денотанты)

НАГЛЯДНЫЙ ПРИМЕР 4

 Рассмотрим еще один пример физической системы, с помощью которой осуществляется передача сообщений. Эта система называется КАНАЛ СВЯЗИ. Канал связи - это такой физический объект (система), который обладает физической возможностью передавать свои состояния на большие расстояния. Для этого в канале связи сообщения преобразуются в специальные физические объекты называемые СИГНАЛАМИ (такой физический процесс преобразования называется модуляцией). Смысл такого преобразования состоит в том, что такие физические объекты-сигналы более удобны для передачи по каналам связи.

При этом состояния канала X связи тоже описываются набором знаков-символов длиной n. Символ выбираются из алфавита объемом m. Такой набор символов фиксированной длины и называется дискретным каналом без помех.

Источник сообщений и канал связи без помех могут быть описаны с помощью энтропии S. Здесь энтропия характеризует априорную неопределенность сообщений генерируемых источником сообщений и передаваемых по дискретному каналу без помех.

Энтропия источника, нормированная единицу времени, необходимого для генерации одного сообщения, называется производительностью источника. Аналогичным образом вводится понятие пропускной способности канала.

Интуитивно очевидно, что чем неожиданней (неопределенней) сообщение тем оно ценнее. С точки зрения термодинамики неожиданность это равнораспределенность состояний системы. А равнораспределенность микросостояний это более естественное макро состояние. Поскольку в природе реализуется наиболее естественное поведение макросистем, в них предполагается равнораспределенность (максимальная неожиданность) микросостояний.

 ПРИМЕР 5

 В качестве источника сообщений или в роли канала связи может выступать система дистанционного зондирования. Для оценки ее качества работы можно использовать принцип максимума энтропии. Природные образования на больших объемах подчиняются принципу наибольшей энтропии. Этот же принцип можно использовать для оптимизации обработки определенных природных изображений. Примеры природных изображений, для которых работает принцип максимизации энтропии, показан на Рис1. Пример обработки изображений использующий принцип максимальной энтропии показан на Рис 2. Здесь используется тот факт, что обнаруживаемый объект отличается своими текстурными особенностями от природных подстилающих поверхностей, которые подчиняются принципу наибольшей энтропии. Это и позволяет выделить его на фоне подстилающей поверхности.

 ИНТЕРЛЮДИЯ

 Источник сообщений по существу является "окном мир" микро состояний и чем неожиданней микросостояние, выдаваемое источником тем оно "интереснее" и "полезнее" для наблюдателя потребителя сообщений, ибо его существование зависит от возможности предсказать поведение макрообъектов. Поэтому более "качественный" источник обладает большей энтропией.

 ОСНОВНАЯ ТЕМА

 Для количественного описания рассмотренных выше физических систем общее число состояний M термодинамической системы в целом равно числу состояний в подсистемах m в степени n (n -число подсистем). Отсюда (используя (19)) энтропия H такой термодинамической системы:

   

где: K= 1/ln m. Отсюда видна роль константы K. Возможно рассмотрение более сложной системы. Допустим, имеется сообщение из N букв. Всего в алфавите m букв. Всего в сообщении содержится N1 букв типа А, N2 букв типа Б т.д. Общее число различных последовательностей из букв m-буквенного алфавита равно M формула (17)

Отметим, что возможны другие значения константы, принятые в теории информации. Так если К=1 , то энтропия измеряется в натах, если К=1/ln2, то энтропия измеряется в битах. В случае макроскопической термодинамики имеем, так называемую, физическую шкалу K=k. Где k - это есть постоянная Больцмана k=1,38 *10 ^-23 Дж/град.

 НАГЛЯДНЫЙ ПРИМЕР 1

 Представим термодинамическую систему как набор игральных костей. Каждая кость имеет m состояний (m=6). Число костей в наборе равно n. Тогда число состояний M данной сложной термодинамической системы равно m в степени n. Если число костей n, в системе равно двум (n=2) , тогда общее число состояний равно 36 (М=36) . Другим примером термодинамической системы, в которой части системы, имеют свои наборы состояний, может служить коллектив монет. Так если число монет равно n, то общее число состояний может равняться два в степени n. 

НАГЛЯДНЫЙ ПРИМЕР 2

 Имеем слово, состоящее из n букв. Всего букв в алфавите m. Каждая буква может появляться с равной возможностью. Тогда число возможных слов, которые можно организовать равно M.

 НАГЛЯДНЫЙ ПРИМЕР 3

 Это пример самых простых динамических систем. Бросание одной кости, здесь число состояний равно m=6. При этом n=1. Еще одна система - это положения ферзя на пустой шахматной доске. Здесь число состояний системы равно m.

 ОСНОВНАЯ ТЕМА

 Теперь перейдем к вероятностному описанию энтропии. Указанные выше возможности выпадения конкретной грани одной кости выражается числом, написанным на грани X. Тогда случайная величина X принимает одно из m значений. Отсюда вероятность случайной величины X равна P(X)=1/m. (Пример 3).

Если совершается n бросков, то в качестве случайной величины X выступает последовательность случайных чисел длиною в n , при этом вероятность P(X)=1/M. Где М возможное число таких последовательностей (на термодинамическом языке это число состояний системы). (Пример1-2).

Прежде всего, отметим, что приведенное описание предполагало, что система может принимать фиксированное число состояний. Эти состояния в наиболее общем случае может задаваться случайными величинами X = (xi); i=1,M, где M - число состояний системы. В данной конкретной физической ситуации все состояния являются равновероятными. То есть вероятность находиться в данном i состоянии равна: Pi=1/M=P. Используя соотношение lnM=-ln(1/M) можно вычислить статистическую энтропию: 

 

Иногда эту энтропию называют случайной энтропией.

 ИНТЕРЛЮДИЯ

 Часто математики и связисты (А.А.БОРОВКОВ, А.Г.КЛОВСКИЙ, Л.М.ФИНК, Б.Р.ЛЕВИН, А.А..ХАРКЕВИЧ) аналогичным образом определяют S в формуле (20) как информацию. При этом математическое среднее H=-#Pilog Pi для совокупности вероятностей состояний связистами и математиками называется энтропией сообщения. В случае энтропии со знаком минус, эта величина иногда названа Л Бриллюэном количеством информации или негоэнтропией (Л.Бриллюэн). Далее данная физическая величина будет называться количеством информации по Бриллюэну.

ГЛАВА 1 
1.1
1.2
1.3
1.4
1.5
1.6
1.7

ГЛАВА 2
2.1
2.2
2.3