КОГНИТИВИСТИдейное ядро²Узелки на распуткуУзел 1. Причина степенных распределений
Узел 1.4 Максимум специальных энтропий
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
Узел 1. Причина степенных распределений
Узел 1.2 Механизмы развитияУзел 1.3 Причины и экстремальные принципы
Узел 1.4 Максимум специальных энтропий
Узел 1.5 Мультипликативный закон сохраненияУзел 1.6 Когнитивные фракталыУзел 1.7 Вязкость сознания и число eУзел 1.8 Модель БернуллиУзел 1.9 Принцип микро-причинностиУзел 1.10 Случайно блуждающие ландшафтыУзел 1.11 Субстанции формы и содержанияУзел 1.12 Размерность Хаусдорфа и метрическая связностьУзел 1.13 Вне-пространственные фракталыУзел 1.14 Фракталы на графахУзел 1.15 Фрактальная размерность графов и сетейУзел 1.16 Фрактальность древовидных графовУзел 1.17 Фрактальная размерность и степенная статистикаУзел 1.18 Локальные и глобальные размерности графовУзел 1.19 Локальные и глобальные размерности графов (II)Узел 1.20 Локальные и глобальные размерности графов (III)Узел 1.21 Критические графы как фракталыУзел 1.22 Критические графы как фракталы (II)Узел 1.23 Возвращение к БернуллиИнтерлюдия. Две простые задачиУзел 1.24 Зоопарк критических графовУзел 1.25 Зоопарк критических графов (II)Узел 1.26 Режим стохастической самоподдержкиУзел 1.27 Растущие кластеры и размерность решетокУзел 1.28 Фрактальные и не-фрактальные решеткиУзел 1.29 Энтропия ростаУзел 1.30 Энтропия графов и пространствУзел 1.31 Игра в инверсию
Узел 2. Опус о числах и формах
.
Прологи
.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Узел 1.4 Максимум специальных энтропий
 
Роман Уфимцев
5 июня 2014 года, Калининград
Мы завершили третью нить Узла гипотезой о смысле экстремальной величины KLD, стремление которой к минимальному значению обуславливает развитие экспоненциальных распределений. Она достигает минимума в случае баланса двух других величин, стремящихся к экстремальным значениям. Во-первых, это среднее значение случайной величины A, которое стремится к минимуму, а во-вторых, это энтропия случайной величины H, которая, наоборот, стремится к максимуму.
В простейшем виде (к которому можно перейти при соответствующем выборе единиц измерения случайной величины) выражение для величины KLD выглядит как простая сумма энтропии H и среднего A:
Она достигает минимального, нулевого значения в случае, если распределение опытной случайной величины является стандартным экспоненциальным распределением. В этом случае
поэтому мы и говорим о достижении баланса, равновесия, между "давлением среднего", которое стремится снизить среднее значение случайной величины, и "давлением энтропии", которое стремится "раздуть" форму распределения, сделать распределение более разбросанным, а случайную величину - менее упорядоченной.
Эта картина - в которой экспоненциальное распределение является резльтатом борьбы и баланса двух противостоящих сил - отличается от традиционной. Нам будет полезно познакомиться с классической трактовкой, чтобы лучше уяснить красивое своеобразие нашей "антагонистической" точки зрения.
Принцип максимума энтропии: традиционный взгляд
Этот почти легендарный экстремальный принцип был предложен в середине 20-го века американским физиком Эдвином Джейнсом. В соответствии с ним, любая закрытая система самопроизвольно стремится к состоянию, которое характеризуется распределениями, обладающими максимальной шенноновской или дифференциальной энтропией с учетом условий, которые должны выполняться в системе. Разберемся с этим утверждением подробнее.
Пусть мы наблюдаем в некотором коллективном явлении совокупность индивидуальных параметров, которое мы документируем как распределение случайной величины G(x). Если мы обладаем достаточной опытной базой и используем не дискретные, а непрерывные распределения, то для вычисления их энтропии мы будем использовать выражение дифференциальной энтропии, которая вычисляется как интеграл
В соответствии с утверждением Джейнса, в закрытая система стремится к состоянию, в котором распределения обладают максимально возможной энтропией. Пусть мы наблюдаем систему, в которой минимально возможное значение индивидуального параметра равно 0, а максимально возможное - M. В этом случае мы должны увидеть распределение, при котором максимален интеграл
Применяя традиционный метод решения подобных задач, метод лагранжиана, установим, что максимум энтропии достигается в случае, если распределение G(x) является однородным:
Мы говорили, что "давление энтропии" заставляет распределение расплываться как блинное тесто по сковороде, и роль ее бортов играет ограничение на возможные значения случайной величины - она не может принимать значения менее 0 и более M:
Но это однородное распределение имеет не максимально возможную энтропию, а только максимальную с учетом установленных границ распределения. Если взять "сковороду" побольше и, например, увеличить диапазон возможных значений до 2M, то распределение однородно расплывется на новый диапазон - и это приведет к дополнительному увеличению энтропии:
Тут границы "сковороды" - те самые условия, которые должны выполняться в системе, и случайная величина, в соответствии с Джейнсом, стремится к распределению максимальной энтропии с учетом этих условий.
Но жесткие границы возможных значений случайной величины - только одно из возможных условий. Условием может быть некоторое определенное среднее значение, которому должна соответствовать случайная величина в системе. Классический пример - молекулы идеального газа в сосуде с упругими стенками. Каждая молекула обладает некоторой кинетической энергией, в результате случайных столкновений и обменов эта энергия может перераспределяться между молекулами. Однако, при любых обменах общее количество энергии молекул, как и их общее число, остается неизменным. В этих условиях сохраняется неизменной средняя энергия молекул - ведь она определяется как суммарная энергия, деленная на количество молекул.
В этом случае, в соответствии с принципом максимума энтропии, система приходит к распределению максимальной энтропии, но только среди тех, которые обладают заданным средним значением. Если средняя энергия молекул равна λ, то таким распределением окажется экспоненциальное
Так выглядит традиционный взгляд, который собственно и именуется принципом максимума энтропии: к экстремуму стремится энтропия, но это стремление ограничивается некоторыми жесткими условиями, наложенными на систему. Сравним две точки зрения:
Антагонистический взгляд не наделяет энтропию исключительным статусом. Стремление энтропии к максимуму выглядит только одной из сил, формирующих натуральные распределения. Ей могут противостоять другие силы - например, "давление среднего" - и устойчивое равновесие достигается для распределения, для которого противостоящие силы уравновешиваются.
Но с традиционной точки зрения никакого "давления среднего" не существует. Есть жесткое требование определенного среднего: среднее значение случайной величины неизменно из-за изолированности системы и какого-нибудь подходящего закона сохранения. Например, в сосуде с молекулами газа сохраняется количество молекул и, благодаря закону сохранения энергии, их суммарная энергия. Заметим, что нам приходится предполагать изолированность системы - только благодаря этому мы можем опираться на законы сохранения.
Какой из взглядов обладает большей общностью, более фундаментален? Мы бы могли бы это установить однозначно, если бы смогли обратить ситуацию и увидеть систему, в которой жестко фиксировано не среднее значение случайной величины, а ее энтропия:
В этом случае мы убедились бы в том, что "давление среднего" существует, а значит, большей общностью обладает антагонистическая точка зрения. Трудность в том, что мы знаем как фиксировать среднее значение случайной величины в системе (для этого ее надо изолировать и обеспечить действие законов сохранения), но нам, кажется, неизвестны способы фиксации энтропии. (Тривиальный способ - полное замораживание структуры системы, любых изменений в ней. Тогда ее энтропия остается неизменной, но нам такой способ, разумеется, не подходит.)
Можно ли найти такие способы - оставим вопрос пока открытым, а прежде заметим еще одну существенную черту этой гипотетической системы - она, скорее всего, является не замкнутой, открытой. Чтобы "давление среднего" могло эффективно влиять на форму распределений, оно должно иметь возможность меняться. Для этого система должна изменять количество индивидуумов и/или изменять их суммарную энергию (или другого параметра играющего роль наблюдаемой случайной величины).
Кажется, пример именно такой системы мы видели совсем недавно, обсуждая простейшие механизмы развития экспоненциальных распределений...
Антагонизм в действии
Это механизм δA(1), который был нами подробно исследован в "Прологах". В простейшем своем варианте он выглядит так: у нас есть система, состоящая из единственного объекта единичной массы. Затем на систему начинают налетать частицы единичной массы (ресурсы). При этом с фиксированной вероятностью 1/2 налетающая частица присоединяется к одному из уже имеющихся в системе объектов (к любому из объектов равновероятно). И с вероятностью 1/2 частица становится новым объектом единичной массы.
В этих условиях в пределе развивается система, в которой объекты обладают геометрическим распределением по массам:
где масса x может принимать значения от 1 до бесконечности. Геометрическое распределение - дискретный аналог экспоненциального, так что вся логика, использованная нами выше, остается справедливой. Мы хотим внимательнее приглядеться, что по мере эволюции модели происходит со средним значением массы объектов и с энтропией их распределения. Во-первых, заметим, что эта система не замкнутая - в ней нарастает и количество объектов и их общая масса. Это значит, что среднее значение массы объектов A не фиксировано жестко. Меняется ли оно и как именно? Обратимся к числовому эксперименту.
Типичная картина изменения среднего значения массы объектов выглядит примерно так:
С течением времени случайные флуктуации среднего уменьшаются и оно стягивается к своему теоретическому пределу - 2. Тем не менее, мы не можем говорить, что в этом механизме среднее значение A жестко фиксировано - оно случайно изменяется. Сравним теперь эту картину с тем, что происходит с энтропией H:
В соответствии с традиционно трактуемым принципом максимума энтропии она должна нарастать, но эта динамика, если она тут и присутствует, маскируется гораздо более выраженными флуктуациями, которые очевидно синхронны флуктуациям среднего значения A. Прямая зависимость величин A и H становится очевидна, если построить график их взаимной зависимости:
Крестиком обозначена точка, к которой в пределе стремятся значения энтропии H и среднего A. Но в процессе эволюции состояние системы колеблется вдоль почти линейной траектории, на которой "давление энтропии" прямо и пропорционально противостоит "давлению среднего".
Но как ведет себя величина KLD? В соответствии с антагонистической точкой зрения она должна устойчиво уменьшаться - именно эта величина, а не энтропия стремится к экстремуму. Не трудно выяснить, что для нашего механизма она определяется выражением:
И вот как выглядит опытный график эволюции величины KLD:
В отличие от энтропии, подверженной существенным флуктуациям, величина KLD быстро и относительно устойчиво устремляется к нулю. В сумме, которую представляет собой выражение для KLD, флуктуации среднего значения A и энтропии H взаимно уничтожаются, так что кривая оказывается существенно более систематичной. Глядя на этот результат, трудно оставаться при мнении, что эволюцией системы управляет стремление к максимуму энтропии H - мы видим, что величина KLD стремится к эстремуму (к минимуму) быстрее и устойчивее.
Интересен следующий факт: стремление величины KLD к минимуму, к нулю, имеет степенной вид, что становится очевидным при представлении графика в двойных логарифмических координатах:
Время тут измеряется в налетающих на систему частицах, так что ось "Время" можно переименовать в ось "Общая масса системы".
Это интересный и потенциально важный результат, значение которого мы, может быть, оценим позже.
Итак, анализ работы простого стохастического механизма дает нам веские основания считать, что более обобщенной и фундаментальной является антагонистическая точка зрения на экстремальные причины развития экспоненциального распределения. Принцип максимума энтропии в классической трактовке оказывается менее адекватным при сопоставлении с опытом. По видимому, не энтропия, а специальная форма расстояния Кульбака-Лейблера (KLD) является величиной, стремление которой к экстремуму управляет эволюцией системы. Лишь тогда, когда мы можем обеспечить жесткую фиксацию среднего значения случайной величины A (замкнутая система + законы сохранения) мы получаем принцип максимума энтропии в качестве частного случая.
Прежде, чем мы продолжим, стоит договориться о терминах. Говорить о какой-то "величине KLD" или о "специальной форме расстояния Кульбака-Лейблера" не очень удобно. Поэтому мы, имея в виду традиционную терминологию, будем называть величину KLD специальной энтропией и, чтобы, вслед за традицией, полагать ее стремление к максимуму, возьмем величину KLD со знаком минус. Например, для последнего механизма специальная энтропия выглядит (и обозначается) теперь так:
Как и положено "порядочной энтропии", специальная энтропия HKL стремится к максимуму - конкретно, к нулю из отрицательных значений. Тем не менее, не будем забывать, что мы используем термин "специальная энтропия" только из-за удобства, и вообще-то в данном, например, случае у нас столько же оснований называть величину HKL "специальным средним значением" - мы не видим за энтропией особого статуса.
Энтропийные иероглифы
Кажется, мы сумели развить и уточнить принцип максимума энтропии Эдвина Джейнса, но автор пока воздержится от торжеств по этому поводу. Ценность экстремальных принципов не в том, что они предлагают некий последний ответ на вопрос "почему", а в том, что они помогают предугадывать поведение явлений только исходя из знания ответ на этот вопрос. В первую очередь, они обладают эвристической ценностью.
Вспомним сосуд с молекулами. Нам достаточно только предположения о сохранении общей энергии молекул в нем, чтобы принцип максимума энтропии привел нас к гипотезе об экспоненциальном распределении энергии молекул (и эта гипотеза подтверждается опытом). Но как бы мы могли воспользоваться для этого классического примера нашим новым принципом? Как, исходя только из общих сведений о системе, составить для нее выражение специальной энтропии HKL? Если средняя энергия молекул равна λ, мы должны каким-то образом догадаться, что специальная энтропия для сосуда с молекулами выглядит как
Или дискретный вариант того же механизма: пусть у нас имеется множество объектов, которые в среднем имеют по λ частиц энергии. Затем они начинают случайно взаимодействовать, случайно же обмениваясь дискретными частицами энергии. Тогда специальная энтропия для этого механизма:
Или еще пример - механизм с растущим множеством, описанный выше. Если обозначить как p вероятность того, что очередная частица присоединится к одному из уже имеющихся в системе объектов (а не станет новым объектом), то специальная энтропия:
Как мы могли бы догадаться об этом, глядя только на общие принципы работы данного механизма?
Это чрезвычайно интересный вопрос. Если ответ на него существует, то оказывается возможным прямо переводить механику, принципы работы того или иного механизма или алгоритма на язык слагаемых специальной энтропии - каждое слагаемое в выражении для HKL описывает какую-то существенную черту механизма. Выражение специальной энтропии становится чем-то вроде кода или иероглифа, в сжатом виде представляющего суть механизма и предсказывающего его статистическое поведение.
Интуиция подсказывает автору, что ответ существует, и правила написания "энтропийного иероглифа" когда-нибудь будут открыты (речь, конечно, идет о том, чтобы записывать выражение для HKL не после того, как мы какими-то другими способами вычислили распределение, к которому стремится система, а до того). "Чутье статистического ландшафта", о котором мы упоминали, может и быть неявным предчувствием таких "иероглифов", когда наша интуиция замечает в явлении некие существенные черты, которые нам подсказывают, какой класс статистики мы должны в нем увидеть.
"Энтропийные иероглифы" и правила их построения - тема, заслуживающая особого разговора. Она, конечно, имеет прямое отношение к причинам степенных распределений, но все же значительно шире по содержанию. Мы пока отвлекемся от нее, набросав лишь ряд соображений, чтобы их не забыть.
Возьмем актуальный для России образ: между двумя деревнями заасфальтировали дорогу длиной M километров. Но прошло несколько лет, и почему-то она начала покрываться многочисленными выбоинами. Вопрос: как скорее всего распределяются выбоины по длине дороги?
Естественный ответ - и если дела обстоят иначе, у этого должно быть особые причины - выбоины распределяются по длине дороги однородно, то есть, распределение отвечает уравнению
Соответствующая специальная энтропия:
Выражение имеет всего два слагаемых, причем изменяющимся является только первое, энтропия H. Применительно к нашей антагонистической точке зрения, слагаемое H выражает "давление энтропии", чистую стихию случая - и заметим, между прочим, что это слагаемое входит во все выражения специальных энтропий в неизменном виде. Это слагаемое - часть иероглифа, обозначающая присутствие в механизме случая как одного из ключевых агентов.
Второе слагаемое неизменно - оно определяется длиной дороги. В приведенных выше примерах других специальных энтропий подобные постоянные слагаемые также присутствуют. На первый взгляд, они характеризуют масштаб механизма или системы. Например, какой бы ни была длина дороги в метрах или километрах, мы можем изменить единицу измерения ее длины M таким образом, что она оказалось равной 1 единице. В этом случае уравнение распределения приобретает вид
И специальная энтропия для него:
Также - масштабируя единицу измерения - мы можем поступить и для распределения молекул по энергиям. Выбрав в качестве единицы измерения энергии среднюю энергию молекул λ, мы избавимся в выражении специальной энтропии от последнего постоянного слагаемого:
Но посмотрим на специальную энтропию механизма растущего множества:
Тут, для того, чтобы обнулить последнее слагаемое, нужно принять вероятность присоединения налетающих частиц к одному из уже существующих объектов p = 1/2. Но как это понимать, ведь изменение вероятностей, управляющих механизмом, уже не является простым изменением масштаба единиц измерения?
Увы, даже трактовка вроде бы простого по смыслу постоянного слагаемого в выражениях специальной энтропии оказывается совсем не простой. Пока лучшее, что мы нашли - представление о двух противостоящих силах, "давлении энтропии" и "давлении среднего", представленных слагаемыми H и A. Может быть, когда мы обратимся к анализу степенных распределений с точки зрения их специальной энтропии, что-то прояснится?
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER