КОГНИТИВИСТИдейное ядро²Узелки на распуткуУзел 1. Причина степенных распределений
Узел 1.29 Энтропия роста
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
Узел 1. Причина степенных распределений
Узел 1.2 Механизмы развитияУзел 1.3 Причины и экстремальные принципыУзел 1.4 Максимум специальных энтропийУзел 1.5 Мультипликативный закон сохраненияУзел 1.6 Когнитивные фракталыУзел 1.7 Вязкость сознания и число eУзел 1.8 Модель БернуллиУзел 1.9 Принцип микро-причинностиУзел 1.10 Случайно блуждающие ландшафтыУзел 1.11 Субстанции формы и содержанияУзел 1.12 Размерность Хаусдорфа и метрическая связностьУзел 1.13 Вне-пространственные фракталыУзел 1.14 Фракталы на графахУзел 1.15 Фрактальная размерность графов и сетейУзел 1.16 Фрактальность древовидных графовУзел 1.17 Фрактальная размерность и степенная статистикаУзел 1.18 Локальные и глобальные размерности графовУзел 1.19 Локальные и глобальные размерности графов (II)Узел 1.20 Локальные и глобальные размерности графов (III)Узел 1.21 Критические графы как фракталыУзел 1.22 Критические графы как фракталы (II)Узел 1.23 Возвращение к БернуллиИнтерлюдия. Две простые задачиУзел 1.24 Зоопарк критических графовУзел 1.25 Зоопарк критических графов (II)Узел 1.26 Режим стохастической самоподдержкиУзел 1.27 Растущие кластеры и размерность решетокУзел 1.28 Фрактальные и не-фрактальные решетки
Узел 1.29 Энтропия роста
Узел 1.30 Энтропия графов и пространствУзел 1.31 Игра в инверсию
Узел 2. Опус о числах и формах
.
Прологи
.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Узел 1.29 Энтропия роста
 
Роман Уфимцев
28 марта 2015 года, Калининград
В предыдущей нити мы внесли необходимые уточнения в наши представления о фрактальных графах, очертив круг идеально-фрактальных регулярных решеток, которых оказалось не так много, как мы полагали раньше. Мы укрепились во мнении, что условием фрактальности графа является выполнение условия
из которого следует уравнение объема растущего кластера в идеальных графах:
Однако, в этой нити мы обратимся к (с первого взгляда) совершенно иной теме. Предмет, о котором мы поразмышляем, довольно давно появился на горизонте наших исследований степенных феноменов, однако до его внимательного изучения как-то не доходили руки. И вот теперь мы им займемся, тем более что он имеет непосредственное отношение к проблеме роста кластеров в графах различного типа.
Законы распада и законы роста
Возьмем простейшую стохастическую модель радиоактивного распада: у нас есть N0 частиц, и в каждый следующий шаг времени каждая из них с одинаковой для всех и не изменяющейся вероятностью 1-p исчезает - распадается (и с вероятностью p сохраняется). В этих условиях скорость исчезновения частиц будет пропорциональна числу остающихся: чем их больше, тем больше частиц рискуют исчезнуть в следующий момент времени. Не трудно подсчитать, что в некоторый момент времени t ожидаемое количество еще не распавшихся частиц:
Это уравнение описывает элементарный закон геометрического (и, в непрерывном варианте, экспоненциального) распада, при котором частицы или другие объекты распадаются 1) независимо друг от друга, и 2) с одинаковой и постоянной вероятностью.
Теперь мысленно обратим время вспять - мы наблюдаем не процесс исчезновения частиц, а наоборот, мы видим, как они появляются. Если начать наблюдения в момент, когда имеется только N0 частиц, то мы увидим следующий закон роста их количества:
Он очевидно также имеет геометрическую/экспоненциальную форму, представляя собой, по сути, простое обращение закона распада во времени: мы будто отзеркалили кривую распада и получили кривую роста:
В уравнении распада p - это вероятность для частицы сохраниться в следующий момент времени - а что она значит в случае роста? Разберемся в этом.
При распаде если в предыдущий момент времени было n частиц, то в следующий их останется n*p. Обращая ход времени, если в предыдущий момент времени было m частиц, в следующий их станет m/p. Это можно толковать следующим образом: при росте каждая частица в следующий момент времени в среднем превращается в 1/p частиц. Заметим интересную разницу: в случае распада мы полагаем, что все частицы совершенно независимы и никак не связаны между собой. В случае роста нам приходится считать, что частицы связаны родительскими отношениями: одна частица превращается в 1/p частиц. Кроме одной исходной, остальные можно считать ее ветвями или отпрысками - то есть, новая частица не может появиться без родительского участия другой:
Обратим внимание на это различие между распадом и ростом - возможно, оно имеет более глубокий смысл, чем кажется.
Энтропия распада и энтропия роста
Начиная распутывать узелок вопросов, связанных со степенными распределениями, мы уделили внимание принципу максимума энтропии - экстремальному принципу, который в нашем представлении раскрывает ультимативную, фундаментальную причину развития тех или иных статистических распределений, наблюдающихся в различных явлениях мира. Суть этого принципа заключается в постулате, что натуральные феномены, которые характеризуются некоторой случайной величиной (например, определенным параметром индивидуальных объектов в коллективном феномене) самопроизвольно являются сразу или постепенно дрейфуют к такому состоянию, в котором шенноновская энтропия распределения вероятностей случайной величины максимальна - с учетом ограничений, накладываемых структурой и правилами системы.
Блестящее применение этого принципа - предсказание экспоненциального распределения энергий молекул идеального газа в замкнутом сосуде с упругими стенками. В такой системе действует закон сохранения энергии - то есть, суммарная энергия молекул, а значит, и средняя энергия молекул, остается неизменной. Предполагая случайность перераспределения энергии между молекулами во время их столкновений, принцип максимума энтропии подсказывает, что после прихода системы в стационарное состояние мы увидим распределение максимальной энтропии с учетом требования: средняя энергия молекул должна оставаться неизменной. Именно таким распределением является экспоненциальное - это распределение, обладающее максимальной энтропией при фиксированном среднем значении случайной величины.
Если бы молекулы могли обмениваться энергией только дискретными порциями, мы бы увидели не непрерывное экспоненциальное, а дискретное геометрическое распределение молекул по энергиям - и тут мы возвращаемся к модели радиоактивного распада. С течением времени количество остающихся частиц снижается геометрически. Из этого следует, что распределение частиц по временам их жизни также является геометрическим:
Среднее время жизни частиц в соответствии с этим распределением равно 1/(1-p) шагов времени. Очевидная идея - рассматривать распределение времен жизни частиц как реализацию принципа максимума энтропии при фиксированном среднем значении случайной величины - у нас это время жизни индивидуальной частицы. (Есть только одно отличие от ситуации с молекулами газа в сосуде - фиксация среднего значения случайной величины тут выполняется не жестко, каким-то "законом сохранения", а статистически: если частица за один шаг времени распадается с вероятностью 1-p, то в среднем частицы должны существовать 1/(1-p) шагов времени. Чем больше частиц в системе, тем точнее это условие будет выполняться.)
Итак, геометрическое распределение времен жизни частиц мы рассматриваем как реализацию принципа максимума энтропии при действии дополнительного условия (фиксация среднего значения). Ясно, что исходный закон геометрического/экспоненциального распада
связан с распределением времен самым прямым образом - он, по сути, просто описывает траекторию, по которой система приходит к окончательному распределению времен жизни. Значит, и сам закон распада является проявлением принципа максимума энтропии в той же степени, что и распределение, с одним только отличием: если уравнение распределения нам показывает финальное состояние системы, когда принцип максимума энтропии вполне уже реализован, то закон распада показывает нам действие этого принципа "в движении".
И вот тут мы подходим к вопросу, который и стал поводом для этого разговора. Как мы видели выше, простым обращением времени и правил мы можем превратить закон распада в закон роста. Означает ли это, что закон экспоненциального роста также является особой реализацией принципа максимума энтропии при условии фиксации среднего значения случайной величины? И если да, то какое распределение случайной величины связано с законом роста?
Впрочем, ответ на второй вопрос мы уже знаем: мы должны рассмотреть рост системы начиная с одной-единственной частицы. Затем мы должны наблюдать ее, скажем, s шагов времени. В течение периода наблюдения количество частиц будет геометрически нарастать. К моменту s в системе будет N частиц, и распределение их по возрасту и будет искомым распределением. То есть, если с распадом связано распределение чаcтиц по временам жизни, то с ростом - их распределение по возрасту как оно видится в некоторый момент времени s.
Небольшое терминологическое уточнение: по причинам, которые станут ясны позже, вместо "распределения частиц по возрасту" будем говорить о распределении по длине следа. В данном случае речь идет о возрасте частиц как о "длине их следа во времени".
Не трудно установить, что если закон роста количества частиц отвечает уравнению
то в момент времени s распределение частиц по возрасту/длине следа будет следующим:
при этом возраст частиц x может принимать значения от 1 до s. Это - геометрическое распределение, "недоразвернутое" в области больших значений: мы не увидим частиц с возрастом больше самого периода наблюдений s. Возраст s имеет только исходная частица. Устремляя s к бесконечности, мы получим распределение, совпадающее с распределением времен жизни частиц при распаде:
Таким образом, с геометрическим ростом связано геометрическое распределение по возрасту/длине следа - в пределе больших s точно такое же, как и при геометрическом распаде. Значит, если мы можем связывать динамику геометрического распада с реализацией принципа максимума энтропии при фиксированном среднем значении, точно также мы можем это делать и с геометрическим ростом. Это рост, обеспечивающий максимум энтропии при фиксированном среднем значении возраста/длины следа частиц.
Теперь мы готовы вернуться к основной теме, который мы занимаемся в последнее время - к изотропным графам.
Энтропия роста кластеров
Изотропные графы - это графы, в которых узлы нельзя отличить друг от друга никаким образом: они все имеют одинаковое количество связей, одинаковое количество соседей на различных расстояниях, одинаковое положение в топологической структуре графа. Ясно, что для абсолютной изотропности граф должен быть бесконечным (иначе в нем будут узлы, находящиеся "на краю" - они будут отличаться от узлов "в центре").
Любопытно, что абсолютно изотропные графы, кажется, делятся всего на два ясно различимых класса. Первый большой класс, им мы в последнее время много занимались - регулярные пространственные решетки. Как мы знаем, они могут быть идеально фрактальными (как двухмерная "квадратно-гнездовая" решетка или трехмерная "алмазная" решетка) и не идеально-фрактальными (как трехмерная кубическая решетка). Однако, их сближает то обстоятельство, что при больших расстояниях R от некоторого узла во всех этих решетках рост кластера S(R) приобретает степенной вид. Это изотропные графы со степенной асимптотикой S(R) - мы подробнее поговорим о них чуть позже.
Начиная в свое время заниматься темой фрактальных свойств графов и сетей в качестве основного инструмента их анализа мы избрали закон роста кластеров S(R). Возьмем некоторый узел графа и будем следить, как с ростом расстояния от него R (а расстояние от узла A до узла B определяется как минимальное число связей, которые нужно пройти при движении от A до B) изменяется количество доступных узлов - то есть, узлов, которые находятся на расстоянии не больше R от исходного. Эти узлы образуют растущий кластер, в который входит S(R) узлов. Он именуется растущим, поскольку обычно с увеличением R S(R) тоже увеличивается - хотя и не всегда. Исходный узел находится на расстоянии R=0 от самого себя, так что для любого узла принимаем S(0) = 1.
Разумеется, если не все узлы графа одинаковы, то закон растущего кластера S(R) выглядит для разных его узлов по разному. Исследуя такие графы нам приходится или усреднять S(R) по всем узлам графа или наоборот, изучать только рост кластера от одного особого узла. Но если мы говорим о регулярных решетках и/или о графах, в которых все узлы симметричны и неотличимы друг от друга, закон S(R) одинаков для всех узлов - это и есть изотропные графы.
Примером принципиально иного типа изотропных графов является бесконечный древовидный граф, в котором все узлы имеют одинаковое количество связей, например, 3:
Если каждый узел имеет по C+1 связей, то уравнение роста кластера
Если C > 1, асимптотически рост кластера происходит в соответствии с простым геометрическим/экспоненциальным законом:
Такого рода бесконечные графы с экспоненциальной асимптотикой S(R) составляют второй класс изотропных графов.
Существуют ли изотропные графы, не входящие в эти два класса, асимптотическое поведение S(R) в которых отличалось бы от степенного и экспоненциального? Это интересный вопрос, и пока автору не удалось придумать какого-то примера. Пока мы видим только два класса, и они соответствуют двум функциям, которые мы противопоставляли с самого начала. Первые нити нашего исследования были посвящены описанию двух основных классов статистики, которые можно встретить в статистических ландшафтах различных феноменов - степенной класс и экспоненциальный класс. Но точно такую же пару мы видим и в асимптотических формах зависимостей S(R) в изотропных графах - совпадение ли это?
Мы изначально пробовали определять два основных альтернативных класса статистики с точки зрения принципа максимума энтропии. Однако, теперь у нас для этого появляется дополнительная причина: два альтернативных класса изотропных графов. И у нас уже готов подход, позволяющий связать тот или иной закон роста кластеров с действием принципа максимума энтропии. Разберем его сначала на графах с экспоненциальным/геометрическим поведением S(R).
Выберем некоторый узел графа и двинемся по одной из исходящих от него связей:
На расстоянии R=1 от исходного узла находится 1 узел, на расстоянии R=2 - два узла, на расстоянии R=3 - четыре, и т.д. Количество узлов с расстоянием нарастает геометрически, и это ясно соответствует геометрическому росту количества частиц, который мы выше обсуждали. Для удобства нам нужно только перейти от уравнения роста кластера S(R), к уравнению L(R), которое указывает, сколько именно узлов находится на расстоянии R от исходного: L(R) = S(R)- S(R-1). В данном случае
Сопоставим его с уравнением геометрического роста:
Аналогом времени t у нас является расстояние R от исходного узла. Уравнения полностью совпадают, если принять
Из этого мы по аналогии установим, что распределение длин следов в данном графе в пределе (устремляя горизонт наблюдения s к бесконечности) отвечает уравнению
Это геометрическое распределение, которое является распределением максимальной энтропии при фиксированном среднем: средняя длина следов в данном графе равна C/(C-1).
Для ясности и наглядности еще раз о том, что такое распределение длин следов в графе. Возьмем узлы, находящиеся на расстоянии s от некоторого (тут у нас s = 3):
Ровно на расстоянии R=s находится 12 узлов. Каждый из них имеет свою "историю", которая выглядит как собственный след в растущем кластере: три узла ведут свою историю от исходного, и длина их следа равна s=3 (красные следы), еще три узла имеют длину следа 2 (зеленые), остальные 6 - длину следа 1 (синие). Ясно, что как бы мы не проводили следы, распределение 12 узлов по длине следов останется неизменным - оно является однозначным свойством структуры графа и избранного горизонта s.
Вывод, который выражает суть двигавшей нами идеи, звучит так: изотропные графы экспоненциального класса - это графы максимальной энтропиии в распределении длин следов при условии фиксированной средней их длины.
А как с этой точки зрения выглядят изотропные графы степенного класса? Мы найдем ответ и на этот вопрос, но сначала познакомимся с изотропными графами, уникальными с точки зрения энтропии.
Изотропные графы минимальной и максимальной энтропии
С точки зрения энтропии, два распределения случайных величин имеют уникальную роль. Одно из них является распределением минимально возможной энтропии. Если величина X может принимать только одно конкретное значение B, ее распределение можно записать в виде p(B) = 1, и оно обладает нулевой энтропией. Это имеет простую трактовку с позиций теории информации: в значении величины X нет никакой неопределенности, она обязательно и всегда равна B.
Противоположный смысл имеет распределение, обладающее максимально возможной энтропией при отсутствии дополнительных условий - это однородное распределение: если случайная величина X может принимать значения от 1 до A, то при однородном распределении все эти значения равновероятны: p(1) = p(2) = ... = p(A) = 1/A. В этом случае значение величины X является максимально неопределенным: все возможные ее значения встречаются равновероятно.
Очень интересный вопрос: какие изотропные графы соответствуют этим уникальным случаям. Какой граф является графом нулевой энтропии, и наоборот, какой граф имеет максимальную возможную энтропию?
Случай нулевой энтропии очевиден - ему соответствует нитевидный изотропный граф:
На расстоянии s от некоторого узла в нем находится только два узла, каждый из которых имеет след длиной s. Таким образом, распределение длин следов в этом графе является распределением с нулевой энтропией p(s) = 1.
Теперь противоположный случай. Найти граф максимальной энтропии нам поможет общее выражение, позволяющее из уравнения L(R) найти распределение длин следов Ф(R):
Анализируя его, можно выяснить, что если уравнение L(R) имеет вид линейной функции
распределение длин следов оказывается однородным
Так в каком же изотропном графе выполняется условие L(R) = A*R? Ответ совершенно неожиданный и по-своему интригующий. Этому условию отвечают регулярные двухмерные решетки, в которых рост кластера отвечает уравнению
Например, это двухмерный "квадратно-гнездовой" граф:
Интрига полученных результатов состоит в следующем: единственный пример строго одномерного изотропного графа - нитевидный граф - является графом минимальной, нулевой, энтропии. А все примеры изотропных регулярных двухмерных решеток оказываются, наоборот, графами максимальной энтропии. Что бы это значило?
И что насчет изотропных графов более высокой размерности - например, трехмерных решеток? Это интересно, потому что, как мы знаем, пространственные графы являются дискретными подобиями непрерывных пространств соответствующей размерности. Наш мир развернут в трехмерном пространстве - а чем оно особенно с точки зрения принципа максимума энтропии?
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER