КОГНИТИВИСТИдейное ядро²Узелки на распуткуУзел 1. Причина степенных распределений
Узел 1.30 Энтропия графов и пространств
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
Узел 1. Причина степенных распределений
Узел 1.2 Механизмы развитияУзел 1.3 Причины и экстремальные принципыУзел 1.4 Максимум специальных энтропийУзел 1.5 Мультипликативный закон сохраненияУзел 1.6 Когнитивные фракталыУзел 1.7 Вязкость сознания и число eУзел 1.8 Модель БернуллиУзел 1.9 Принцип микро-причинностиУзел 1.10 Случайно блуждающие ландшафтыУзел 1.11 Субстанции формы и содержанияУзел 1.12 Размерность Хаусдорфа и метрическая связностьУзел 1.13 Вне-пространственные фракталыУзел 1.14 Фракталы на графахУзел 1.15 Фрактальная размерность графов и сетейУзел 1.16 Фрактальность древовидных графовУзел 1.17 Фрактальная размерность и степенная статистикаУзел 1.18 Локальные и глобальные размерности графовУзел 1.19 Локальные и глобальные размерности графов (II)Узел 1.20 Локальные и глобальные размерности графов (III)Узел 1.21 Критические графы как фракталыУзел 1.22 Критические графы как фракталы (II)Узел 1.23 Возвращение к БернуллиИнтерлюдия. Две простые задачиУзел 1.24 Зоопарк критических графовУзел 1.25 Зоопарк критических графов (II)Узел 1.26 Режим стохастической самоподдержкиУзел 1.27 Растущие кластеры и размерность решетокУзел 1.28 Фрактальные и не-фрактальные решеткиУзел 1.29 Энтропия роста
Узел 1.30 Энтропия графов и пространств
Узел 1.31 Игра в инверсию
Узел 2. Опус о числах и формах
.
Прологи
.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Узел 1.30 Энтропия графов и пространств
 
Роман Уфимцев
7 апреля 2015 года, Калининград
В предыдущей нити автор пустился в разработку своей старой "авантюрной" идеи, в соответствии с которой непрерывные пространства и дискретные регулярные решетки той или иной размерности можно рассматривать как реализацию принципа максимума энтропии. Однако для этого с пространством или дискретным графом необходимо связать какое-то распределение вероятности или плотности вероятности, ведь в своем исходном виде принцип максимума энтропии применяется для объяснения происхождения тех или иных вероятностных распределений.
На роль распределений, вполне характеризующих пространства или дискретные графы, мы выдвинули так называемые распределения по длине следа. Их формальный смысл проще показать на примере дискретных графов. Возьмем узлы графа, находящиеся на расстоянии s от некоторого центрального (тут у нас s = 3):
Ровно на расстоянии R=s находится 12 узлов. Каждый из них имеет свою "родословную", которая выглядит как собственный след в растущем кластере: три узла ведут свою родословную от исходного, и длина их следа равна s=3 (красные следы), еще три узла имеют длину следа 2 (зеленые), остальные 6 - длину следа 1 (синие). Ясно, что как бы мы не проводили следы, распределение 12 узлов по длине следа останется неизменным - оно является (с некоторыми оговорками) однозначным свойством структуры графа и избранного горизонта s.
Применительно к непрерывным пространствам мы можем говорить о длине следа его точек - рассматривая их как узлы бесконечно мелкого графа.
И все же, распределениям по длине следа не хватает интуитивно содержательного смысла. Приблизиться к нему нам поможет одна "старинная" простая модель, которая заодно нам откроет существование в особом смысле комплиментарных пар распределений.
"Анти-Зипф", "анти-Юл" и комплиментарность распределений
Когда автор только начинал свои изыскания на тему степенных распределений и загадочного закона Зипфа, источником вдохновения для него послужила очень простая стохастическая модель, которой даже было дано особое название: тау-модель. При своей простоте она способна порождать распределения Юла с любыми показателями (а они являются дискретными аналогами непрерывных степенных распределений), а также генерировать еще более загадочный, чем закон Зипфа, розовый шум.
Тау-модель действительно очень проста, она является модификацией модели радиоактивного распада. Как мы знаем, если вероятность распада радиоактивной частицы за некоторый период времени является постоянной и неизменной величиной, времена жизни совокупности таких частиц подчиняются геометрическому распределению. Если же вероятность распада частицы уменьшается с ее возрастом T в соответствии с уравнением
то распределение времен жизни частиц оказывается распределением Юла
то есть, дискретным аналогом степенного распределения с показателем θ. В простейшем варианте, порождающем степенное распределение с показателем θ=2 (закон Зипфа), вероятность распада частицы уменьшается просто как
Однако, сейчас мы вспомнили эту модель потому, что у нее есть любопытная "обратная" вариация. Ее смысл удобно пояснить схемой. Сперва изобразим простейшую исходную тау-модель:
Пусть текущий возраст частицы равен T. Вероятность, что в следующий момент времени она распадется (то есть, не "дотянет" до момента времени T+1) равна отношению 1 и T+1, что имеет наглядный смысл, если изображать периоды времени отрезками.
А вот другая схема:
Теперь вероятность распада частицы управляется не ее возрастом как периодом времени от начального момента до текущего, а оставшимся периодом времени до некоторого момента s - говоря фигурально, неким "антивозрастом". С возрастом частицы "антивозраст" сокращается, и вероятность распада частицы не уменьшается, а нарастает. При этом возраст ни одной частицы не может превышать s: если частица достигает возраста T=s, то в следующий момент с вероятностью 1 она распадается.
Каким же окажется распределение времен жизни частиц в этой "перевернутой" версии тау-модели? Оказывается - и это не очевидный факт - распределение времен жизни частиц оказывается однородным: они равновероятно распадаются в любой момент времени от 1 до s.
Вот что получается с распределениями времен жизни частиц:
Как следует из родственности прямого и обращенного варианта тау-модели, в особом смысле антиподом закона Зипфа оказывается однородное распределение - оно будто является "законом анти-Зипфа", эти распределения оказываются комплиментарными. Далее мы еще поговорим об этой интересной паре.
В обобщенной "перевернутой" тау-модели вероятность распада частицы определяется вероятностью
Заметим, что роль параметра θ в прямом варианте тау-модели совершенно аналогична роли параметра d в обращенном варианте - эти параметры управляют степенью влияния возраста и "антивозраста" на вероятность распада частицы.
Распределение времени жизни частиц в прямой модели является распределением Юла, а в обращенной - "распределением анти-Юла":
Но почему мы вообще вспомнили тау-модель? Дело в том, что в идеально фрактальных графах, в которых рост кластеров подчиняется уравнению
распределение узлов по длине следа оказывается ничем иным как распределением "анти-Юла":
при параметре d равном размерности графа D.
Это совпадение позволяет взглянуть на распределения узлов графа по длине следа в новом свете. Вообразим себе множество узлов/точек, расположенных на расстоянии s от центра - они словно встали в плотный хоровод. Затем они делают шаг к центру. Но в результате некоторые из них не вмещаются в новый, более тесный хоровод и выбывают из игры:
Далее оставшиеся участники делают еще один шаг к центру - и вновь некоторые из участников выбывают, и т.д. Распределение участников по длительности участия в игре и есть распределение узлов/точек по длине следа. Рассмотрим дело на конкретном примере. Пусть участники игры могут передвигаться только по связям двухмерного графа с шестиугольными ячейками. В игре участвует 18 участников, расположенных на расстоянии s=6 от центра:
Они делают первый шаг по направлению к центру, и сразу из игры выбывает три самых нерасторопных игрока. На втором шаге из игры выбывает еще три игрока, на третьем - снова трое, и т.д. В конечном итоге окажется, что распределение игроков по длительности пребывания в игре является однородным Ф(R) = 1/6. Этот результат соответствует общей форме "распределения анти-Юла" при D=2 (двухмерный граф) и s=6. С точки зрения модели распадающихся частиц участники хоровода подобны частицам, вероятность распада/выбывания которых равна 1/(6-T+1), где T - длительность пребывания в игре.
Чем выше размерность графа D, тем больше участников игры выбывает на каждом шаге (при минимальном значении D=1 игроки все игроки доходят до центра), и тут размерность можно понимать как меру "упругости" или "сжимаемости" графа. Или иначе: граф подобен лимону, из которого при сжатии в руке начинает сочиться сок (из игры выбывают узлы-неудачники). Чем больше сока выжимается - тем выше размерность графа. Образно говоря, размерность характеризует "сочность" графа. А соответствующее ему распределение узлов по длине следа характеризует динамику "истечения сока" при равномерном сжатии.
Итак, еще раз обозрим идеально фрактальные изотропные графы различных размерностей с точки зрения их энтропии.
В одномерных графах D=1 распределение узлов по длине следа имеет вид p(s) = 1:
Это вырожденный случай распределения "анти-Юла", и с точки зрения тау-модели ему соответствует ситуация, в которой в прямом ее варианте частицы вообще не распадаются, а в обратном - все распадаются в момент времени T=s. Это распределение имеет минимально возможную энтропию среди всех распределений, нулевую. В этом смысле изотропные графы D=1 можно считать предельно упорядоченными. Самый ажурный среди них - граф, образованный одной стройной нитью узлов - является тут интуитивно содержательной иллюстрацией.
Тем удивительнее, что с точки зрения энтропии наименее упорядоченной противоположностью являются изотропные двухмерные графы. При D=2 распределение "анти-Юла" превращается в однородное распределение Ф(R) = 1/s:
Оно обладает максимальной энтропией среди всех прочих дискретных распределений, определенных на диапазоне от 1 до s, так что соответствующие двухмерные изотропные графы оказываются графами максимальной энтропии. Это действительно неожиданный факт, но его не следует понимать прямолинейно. Это не значит, что в структуре этих графов меньше всего "порядка". Имея в виду что мы оцениваем энтропию распределения узлов по длине следа (а не, например, их распределения по количеству связей), наименьшая упорядоченность тут относится не к фактической структуре графа, а к чему-то более тонкому - об этом мы далее поговорим особо.
При D=3 распределение "анти-Юла" приобретает линейно спадающий вид:
Мы знаем единственный идеально фрактальный трехмерный изотропный граф - это граф, повторяющий структуру алмаза. И только в нем длина следа узлов распределяется именно так:
С точки зрения принципа максимума энтропии это распределение максимальной энтропии при действии некоторого ограничивающего условия, хотя его смысл не очевиден. Мы попробуем приблизиться к нему, переложив все вышесказанное со случая дискретных графов на случай непрерывных пространств различной размерности.
Энтропийные коды непрерывных пространств
Хотя в последних нитях мы говорим о графах, не следует забывать и об их непрерывных родственниках. Особенно эта родственность очевидна между непрерывными пространствами целочисленных размерностей и изотропными регулярными пространственными решетками соответствующей размерности. Так, "квадратно-гнездовой" плоский граф является дискретным аналогом непрерывного двухмерного пространства - он также имеет фрактальную размерность, равную 2.
Исследуя изотропные графы с точки зрения принципа максимума энтропии, рассматривая характеризующие их распределения по длине следа как реализацию принципа максимума энтропии, мы получаем возможность выделять "энтропийный код" изотропного графа. Например, в бесконечных древовидных графах, в которых все узлы имеют по три связи, распределение узлов по длину следа является геометрическим. Геометрическое распределение - это распределение максимальной энтропии при условии фиксированного среднего значения - в нашем случае это фиксированная средняя длина следа узлов. Конкретно, граф, в котором все узлы имеют по три связи, является графом максимальной энтропии при средней длине следа узлов, равной 2. Последнее условие и можно считать "энтропийным кодом" этого графа.
Но если мы можем говорить об "энтропийных кодах" изотропных графов, то почему бы не взглянуть с этой точки зрения на непрерывные пространства - хотя бы целочисленной размерности? Скажем, каков "код" одномерного пространства - то есть, линии? Или двухмерного - то есть, плоскости? А каков "энтропийный код" трехмерного пространства, в котором обитает физический мир? Какой экстремальный принцип вплетен в ткань трехмерного пространства?
Эти вопросы будоражат воображение.
Будем двигаться по тропе, уже нами проторенной для дискретных графов. Как известно, рост кластера в пространстве размерности D (например, рост площади окружности в зависимости от ее радиуса, D=2, или рост объема шара в зависимости от его радиуса, D=3, и т.д.) отвечает общему уравнению:
Исходя из него мы сначала получим уравнение L(R) = S'(R), а затем, используя
получим уравнение распределения плотности вероятности для длин следа точек пространства размерности D:
Это непрерывное распределение, определенное для R от 0 до s - непрерывный аналог распределения "анти-Юла". Прежде, чем мы его исследуем с точки зрения принципа максимума энтропии, заметим, что горизонт s играет в распределении роль простого масштабирующего фактора. Поэтому мы можем принять его любым - от этого картина качественно не изменится. Примем s=1, и получим простейшую форму распределения
где R определено в промежутке от 0 до 1.
В случае D=1 мы получаем дельта-распределение Ф(R) = δ(R-1), которое является непрерывным аналогом дискретного распределения с нулевой энтропией - длина следа имеет строго определенное значение 1. Это непрерывное распределение с абсолютно минимально возможной энтропией (правда в непрерывном случае этот минимум равен не 0, а минус бесконечности). В дискретном случае ему соответствует одномерный нитевидный граф. В непрерывном - это одномерное пространство, линия. Одномерное пространство обладает минимально возможной энтропией среди прочих. - это и есть его "энтропийный код".
В случае D=2 мы получаем однородное распределение Ф(R) = 1, которое является распределением абсолютно максимально возможной энтропии среди всех непрерывных распределений на диапазоне от 0 до 1. Точно также, как изотропные двухмерные графы, двухмерное пространство обладает максимально возможной энтропией среди прочих. Это замечательное свойство двухмерного пространства - образно говоря, оно подобно чистому листу, открывающему максимальную свободу для творчества.
При D=3, также как и в дискретном случае, мы получаем однородно спадающее распределение:
Предположим, что это распределение является распределением максимальной энтропии при наличии некоторого условия. Каково же это условие?
Чтобы выяснить это, построим выражение специальной энтропии для этого распределения, используя метод расстояния Кульбака-Лейблера:
Специальная энтропия HKL достигает абсолютного максимума в том случае, если распределение G(x) = 2(1-x). В выражении три слагаемых. Первое - шенноновская энтропия H. Последнее слагаемое является постоянной и не представляет интереса. Нас интересует второе слагаемое, представленное в интегральной форме. Именно оно зашифровывает искомое дополнительное условие.
Скажем, если бы этот интеграл имел вид
мы бы знали, что дополнительное условие касается среднего арифметического значения случайной величины, заданной распределением G(x) - этот интеграл как раз ему равен. Но он имеет вид
Вообще величины вида
называют моментами распределения G(x) по функции f(x). Скажем, момент по функции f(x)=x имеет смысл среднего значения случайной величины с распределением G(x). Наш интеграл - момент распределения по функции ln(1/1-x). Формально мы вполне можем сформулировать дополнительное условие к принципу максимума энтропии, которое характеризует трехмерное пространство:
То есть, трехмерное пространство обладает максимально возможной энтропией с учетом этого условия - но каков смысл момента по функции ln(1/1-x)? Это нетривиальный вопрос, для ответа на который автор обдумывает пару соображений. Какое из них дает шансы найти ответ, пока неизвестно. Но опишем их для ясной постановки проблемы.
Соображение 1. "Анти-геометрическое среднее"
Заметим: поскольку мы рассматриваем распределения G(x), определенные на промежутке от 0 до 1, выполняется:
или
где G'(x) - распределение, являющееся зеркальным отражением распределения G(x):
Смысл момента по функции ln(x) хорошо известен - это логарифм среднего геометрического значения распределения G'(x). Таким образом, момент G(x) по функции ln(1/1-x) может пониматься как логарифм среднего геометрического значения зеркально отраженной функции распределения G(x). То есть, момент E[ln(1/1-x)] является в особом смысле антиподом момента E[ln(x)].
С первого взгляда, довольно затейливо.
Соображение 2. Комплиментарные распределения и моменты-антиподы
По аналогии с дискретным случаем, в котором мы сопоставляем распределение Юла и распределение "анти-Юла", в непрерывном случае мы можем сопоставить степенное распределение с "анти-степенным":
где Ф(x) имеет область определения от a до бесконечности, а Ф(R) - от 0 до s. Величины a и s играют роль масштабирующих коэффициентов, приняв их равными единице, получим комплиментарную пару
Второе распределение в паре, как мы видели выше, является распределением максимальной энтропии при фиксированном моменте E[ln(1/1-x)], а первое - степенное - распределение максимальной энтропии при фиксированном моменте E[ln(x)]. Этот момент равен логарифму среднего геометрического значения случайной величины. Мы опять видим связь момента E[ln(1/1-x)] с моментом E[ln(x)] - они тут снова выступают как антиподы друг друга, хотя кажется в другом смысле, нежели мы видели в первом соображении.
Оба соображения так или иначе "роятся" вокруг одной и той же идеи о значении момента E[ln(1/1-x)] как чего-то родственного, но прямо противоположного моменту E[ln(x)]. И хотя тут пока нет ясности, момент E[ln(1/1-x)], пожалуй, действительно можно связать с "анти-геометрическим средним".
Тут еще требуется поразмыслить, а пока обсудим выявленную нами связь между законом Зипфа и однородным распределением в свете принципа максимума энтропии.
Закон Зипфа и максимум энтропии
Одной из движущих сил нашего исследования степенных распределений является загадка закона Зипфа - широчайшая распространенность степенной статистики с показателем θ=2 - в феноменах самой разной природы, включая наш любимый пример и пробный камень для проверки гипотез - статистику распределения населения по городам. Более того, если мы видим, что какое-то явление демонстрирует степенную статистику, можно смело предполагать, что показатель равен 2 - и в большинстве случаев это предположение окажется верным (хотя, конечно, и не всегда).
Даже сам факт присутствия степенной статистики в явлении бывает не просто объяснить. Но еще непонятнее, почему среди прочих возможностей природа обычно выбирает показатель θ=2. Тут не может не возникнуть мысль, что этот показатель является в каком-то отношении экстремальным, особым: если природа выбирает какой-то другой показатель степенного распределения, у нее должна быть особая причина. Словно показатель θ=2 - ее выбор по умолчанию.
Если так, то у нас есть очень схожий пример: среди всех прочих статистических возможностей природа по умолчанию выбирает однородное распределение. И если статистика явления отличается от однородной, когда все возможные значения случайной величины равновероятны, у природы для этого должна быть особая причина. Это суть принципа максимума энтропии: именно однородное распределение является при прочих равных условиях наименее упорядоченным, и именно поэтому природа по умолчанию выбирает именно его.
Однако, степенное распределение с показателем θ=2 вовсе не является распределением максимальной энтропии. Точнее, оно им является, но только при действии дополнительного условия, которое касается среднего геометрического значения случайной величины - оно должно быть равно основанию натуральных логарифмов, числу e. Каков смысл этого дополнительного условия? Почему природа старается его соблюдать во многих и многих разнородных примерах стаститики Зипфа? - мы уже пробовали понять это.
Однако, наша текущая нить разговора неожиданно дает возможность посмотреть на проблему совершенно иначе: степенные распределение с показателем 2 оказывается в особом смысле антиподом или обращением однородного распределения - выше мы даже его в шутку назвали "законом анти-Зипфа". То есть, закон Зипфа оказывется "перевертышем" однородного распределения, которое природа выбирает по умолчанию. Но что, если это и есть главная причина универсальной распространенности зипфовской статистики?
Конечно, все дело в связи "прямого" и "обратного" распределений: их отношения иллюстрируются тау-моделью и ее обратным вариантом, но есть и еще один способ показать комплиментарность степенного распределения с показателем 2 и однородного распределения. Для этого нам нужно обратиться к их ранговым формам. Вообще, степенному частотному распределению с показателем θ
соответствует ранговое распределение вида
где n - общее количество замеров/экземпляров случайной величины, включенных в распределение.
Для "анти-степенного" распределения
ранговая форма:
Приняв масштабные коэффициенты a и s равными 1, и приняв θ=D (а они имеют одинаковый смысл) мы увидим простую связь между ранговыми формами "прямого" и "обратного" распределений:
Применительно к случаю закона Зипфа и обратного ему однородного распределения данная связь выглядит элементарно. Ряд чисел, соответствующих идеальному зипфовскому ранговому распределению - это гармонический ряд:
Простое обращение членов этого ряда дает натуральный ряд, который является идеализированной ранговой формой однородного распределения (при обращенном порядке следования членов - не от большего к меньшим, а наоборот, от меньшего к большим):
И если считать, что натуральный ряд является идеальной реализацией принципа максимума энтропии, то его обращение - гармонический ряд - выглядит как идеальная реализация обратного или инверсного варианта этого принципа.
Как тут не вспомнить одну занятную геометрическую забаву?..
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER