Энтропия Печать

Вернуться к оглавлению

Энтропия в теории информации это мера неопределенности какого-либо опыта (испытания), который может иметь разные исходы.
entropy

Чтобы разобраться в вопросах энтропии, понадобится прежде всего терпение: трудно сразу уловить все оттенки сложного понятия. Тем более, что еще великий математик А. Пуанкаре заметил: понятие энтропии «чудовищно абстрактно».

Слово «энтропия» впервые употребил немецкий ученый Рудольф Клаузиус сто с лишним лет назад - в 1865 году, когда объяснял невозможность перехода теплоты от более холодного тела к более теплому. В переводе с греческого «энтропия» означает «поворачиваюсь внутрь», то есть «ухожу в себя».

Этот «уход в себя» очень заинтересовал австрийского ученого Людвига Больцмана. В результате его глубоких работ появилось в 1872 году такое истолкование энтропии.

Представим себе какую-либо систему, например газ, заключенный в сосуд. Что эту систему в данном случае характеризует? Определенный объем, давление, температура - то, что принято называть макросостоянием. А чем оно вызвано? Микросостояниями: положением и скоростью частиц в тот или иной момент. В некоторый момент состояние одно, в другой - другое, в третий - третье и т. д.

Макросостояние системы представляет собой набор всех ее микросостояний. Очевидно, одно и то же макросостояние может быть результатом множества наборов микросостояний.

Все ли наборы микросостояний, приводящие к одному и тому же макросостоянию, равноправны?

Всякая система, предоставленная самой себе, стремится к неорганизованности, стремится увеличить свою энтропию. Поэтому, согласно Больцману, энтропию можно рассматривать как меру вероятности набора микросостояний.

Известно, что система (точнее, ее макросостояние) стремится к равновесному значению. Но все ли микрообъемы, на которые может быть разбита система, будут в равновесии в любой момент времени?

Нет, вероятность такого набора микросостояний весьма мала, причем тем меньше, чем выше температура системы. В среднем определенное число микрообъемов должно находиться на определенном удалении от равновесия. Таким образом, макросистема как целое в любой момент времени характеризуется равновесными макропараметрами (точнее, отклонения от этих значений хотя и не равны нулю при температуре выше абсолютного нуля, но относительно невелики).

Каждый данный микрообъем также, в среднем по времени, имеет равновесные значения параметров, но в любой момент времени параметры любого микрообъема отличаются от равновесных. Можно сказать, что каждый параметр колеблется вокруг своего равновесного значения. Амплитуда таких колебаний тем больше, чем выше температура системы и чем меньше микрообъем. Значит, говорит Больцман, энтропия связана с вероятностью микросостояния тела.

Нагляднее представление о новом для нас понятии даст нам «демон» Максвелла - при мер, ставший классическим.

«Демон» знаменитого английского ученого максвелла поселился не в одном десятке научных и научно-популярных книг. Суть «демона» в них, естественно, одна и та же, только выражена разными словами. Чтобы не пересказывать пример еще раз, возьмем его в готовом виде – так, как он описан Норбертом Винером.

Предположим, что в резервуаре находится газ, температура которого везде одна и та же, и что некоторые молекулы этого газа будут двигаться быстрее, чем другие. Предположим далее, что в резервуар имеется маленькая дверца, через которую газ поступает в ведущую к тепловому двигателю трубу, и что выпускное отверстие теплового двигателя при помощи другой трубы соединено через другую дверцу с газовой камерой. У каждой дверцы находится маленькое существо - «демон»,- наблюдающее за приближающимися молекулами и открывающее или закрывающее дверцу в зависимости от движения молекул.

В первую дверцу «демон» пропускает выходящие из резервуара молекулы только с высокой скоростью движения и не пропускает молекул с низкой скоростью. У второй дверцы роль «демона» совершенно противоположна: он открывает дверцу только для молекул, выходящих из резервуара с малой скоростью, и не пропускает молекул с большой скоростью. В результате этого на одном конце резервуара температура повышается, на другом конце понижается.

Чтобы упростить понимание примера, Вингер предлагает аналогию, поясняя идею на при мере толпы, пробивающейся в метро через два турникета. Один из них пропускает людей, если они движутся довольно быстро, а другой - если они движутся медленно. Случайное движение людей в метрополитене предстанет как поток людей, быстро движущихся от первого турникета, в то время как второй турникет пропускает только медленно движущихся людей. Если оба эти турникета соединены проходом с топчаком в нем, то поток быстро движущихся людей будет быстрее поворачивать топчак в каком-то направлении, чем поток медленно движущихся людей будет поворачивать его в обратном, и мы получим источник полезной энергии в случайном движении. Получается, и турникет в метро, и «демон» Максвелла могут снижать энтропию.

Итак, мы получили вывод о связи информации и энтропии: информация находится в обратной зависимости от энтропии. Американский ученый Клод Шеннон так и определяет информацию: это то, что устраняет неопределенность выбора.

Вспомним микросостояния и макросостояния системы Больцмана. Там информация может подсказать нам, как, по какому определенному руслу движутся молекулы, оценить их движение. Таким же образом можно оценить и любую другую категорию, например различное значение букв. На этом основании Клод Шеннон вводит для учета информации формулу энтропии; математике неважно, какие значения стоят за буквами ее формул.

Вывод о глубокой аналогии энтропии и информации настолько интересен, что знаменитый французский физик Луи де Бройль считал его «наиболее важной и наиболее красивой из идей, подсказанных кибернетикой».

Обратите внимание, как много ссылок ученых на аналогии. У энтропии физической и энтропии информационной очень разные характеры. Из-за них они и ведут себя по-разному.

Действительно, если при взаимодействии двух тел одно из них увеличивает энтропию, то это всегда бывает за счет другого тела. Но ничего подобного не случается с информацией. Очень остроумно сказал по этому поводу Луи де Бройль: «Если я посылаю вам телеграмму, чтобы известить о падении министерства, я доставляю вам информацию, но в то же время не теряю ее сам».

Тщательному и глубокому анализу подверг содержательность информации и энтропию Норберт Винер. Его интересовал вопрос, почему количество информации и энтропия связаны. И ученый пришел к ошеломляюще простому выводу: потому что они характеризуют реальность, действительность со своеобразных позиций, со своей собственной точки зрения энтропия и информация рассматривают мир в соотношении хаоса и упорядоченности. Винер так и говорит: энтропия - мера хаоса, количество информации - мера упорядоченности. Теперь некоторая доля ясности внесена в понятие энтропии в физике и теории информации: мы узнали их «индивидуальные особенности», их «черты характера».

Но дальнейший анализ ведет к совсем непонятному на первый взгляд.

Стоило упорно проводить водораздел между ними, чтобы, как выяснится сейчас, опять идти к единству? В чем заключается этот «обратный ход»?

Вернемся к знакомому нам примеру - сосуду с газом. Но теперь анализ его будем проводить, основываясь на положениях, высказанных уже другим известным ученым - Леоном Бриллюэном.

Перед нами снова сосуд с газом. Газ состоит из непрерывно движущихся молекул, и мы просто не знаем, не можем знать ни точного их положения в системе, ни их скорости. Но мы знаем макроскопические характеристики системы: давление, объем, температуру, химический состав. Хотя эти величины мы и можем измерить, но они не дают нам подробного описания местоположения молекул. А чтобы вычислить энтропию, мы обязаны учитывать все микросостояния, которые соответствуют именно данному состоянию нашей системы - газа в сосуде. Поэтому естественно: чем меньше мы знаем, как себя ведут молекулы, тем больше неопределенность, тем больше число возможных внутренних состояний.

Правда, не всегда полностью отсутствуют данные о системе. Иногда некоторые сведения есть. Например, как система образовалась, момент ее возникновения. Это очень нужные данные, они - ключ к получению других, например к распределению плотности и скоростей.
Такие дополнительные сведения очень ценны, помогают полнее охарактеризовать систему, а значит, снизить энтропию. Тогда энтропию мы можем рассматривать как меру недостатка информации, а информацию как отрицательное слагаемое энтропии, ее негатив? Именно так говорит Бриллюэн, определяя информацию как негэнтропию.

Но так ли это важно, как назвать информацию - собственно информацией или негэнтропией? Оказывается, важно. Негэнтропийный принцип информации объединяет на новой основе энтропию и информацию, говорит, что нельзя их трактовать порознь, они всегда должны исследоваться вместе. И это положение верно для различных, невыразимо далеких одна от другой областей применения - от теоретической физики до примеров из повседневной жизни.

Итак, круг замкнулся. Мы узнали о Клаузиусе, нашедшем для названия нового понятия слово «энтропию». Познакомились с учением Больцмана о связи энтропии и вероятностного микросостояния тела. Узнали о воззрениях Винера на энтропию как меру хаоса. Мы прошли по трудной дороге - от различия к сходству. Мы выяснили, какую ответственную роль сыграла энтропия в науке, как помогла она понять многие законы природы. Выяснили и то, как недавно теория информации повернула энтропию и заставила науку по-новому взглянуть на нее.

- Продаю билеты на футбол!