КОГНИТИВИСТИдейное ядро²Узелки на распуткуУзел 1. Причина степенных распределений
Узел 1.9 Принцип микро-причинности
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
Узел 1. Причина степенных распределений
Узел 1.2 Механизмы развитияУзел 1.3 Причины и экстремальные принципыУзел 1.4 Максимум специальных энтропийУзел 1.5 Мультипликативный закон сохраненияУзел 1.6 Когнитивные фракталыУзел 1.7 Вязкость сознания и число eУзел 1.8 Модель Бернулли
Узел 1.9 Принцип микро-причинности
Узел 1.10 Случайно блуждающие ландшафтыУзел 1.11 Субстанции формы и содержанияУзел 1.12 Размерность Хаусдорфа и метрическая связностьУзел 1.13 Вне-пространственные фракталыУзел 1.14 Фракталы на графахУзел 1.15 Фрактальная размерность графов и сетейУзел 1.16 Фрактальность древовидных графовУзел 1.17 Фрактальная размерность и степенная статистикаУзел 1.18 Локальные и глобальные размерности графовУзел 1.19 Локальные и глобальные размерности графов (II)Узел 1.20 Локальные и глобальные размерности графов (III)Узел 1.21 Критические графы как фракталыУзел 1.22 Критические графы как фракталы (II)Узел 1.23 Возвращение к БернуллиИнтерлюдия. Две простые задачиУзел 1.24 Зоопарк критических графовУзел 1.25 Зоопарк критических графов (II)Узел 1.26 Режим стохастической самоподдержкиУзел 1.27 Растущие кластеры и размерность решетокУзел 1.28 Фрактальные и не-фрактальные решеткиУзел 1.29 Энтропия ростаУзел 1.30 Энтропия графов и пространствУзел 1.31 Игра в инверсию
Узел 2. Опус о числах и формах
.
Прологи
.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Узел 1.9 Принцип микро-причинности
 
Роман Уфимцев
18 июля 2014 года, Калининград
В предыдущей нити нашей неторопливой беседы о первопричинах степенных распределений мы начали рассматривать варианты "модели Бернулли" - очень простого механизма, который в зависимости от правил работы может порождать и степенные распределения (с любыми показателями) и геометрические/экспоненциальные и даже равномерные распределения. И есть причина, по которой нам интересно продолжить исследование этой модели: она, возможно, поможет в расшифровке "энтропийных иероглифов" - выражений специальной энтропии для различных типов распределений. (Автор рассчитывает, что читатель не оказался на этой странице минуя предыдущие, иначе придется повторяться.)
Нам полезно будет описать эту модель в максимально общем виде, охватывающем все возможные ее варианты. Пусть у нас есть объекты трех уровней: 1) микро-объекты, 2) макро-объекты, которые являются объединением того или иного количества микро-объектов, и 3) супер-объект, который является объединением некоторого количества макро-объектов. Пример такой трех-уровневой системы - "страна-населенные пункты-жители". Модель рассматривает развитие такой системы, начиная с какого-то стартового момента, в котором супер-объект содержит только один макро-объект, в свою очередь содержащий какое-то стартовое число микро-объектов. Например, страна, в которой есть только один населенный пункт, в котором обитает только один житель.
Далее, развитие системы предполагает постепенное увеличение количества макро-объектов и увеличение количества микро-объектов, из которых они сложены - то есть, количество городов в стране нарастает, и нарастает количество жителей в этих городах. При этом источником с одной стороны городов (макро-объектов) и, с другой стороны, их жителей (микро-объектов) может альтернативно являться 1) страна, 2) города, 3) жители.
Пусть, например, источником городов является страна, а источником жителей - города. Тогда за некоторый определенный период времени страна может породить еще один город с вероятностью pmacro. И за тот же период времени каждый город может породить еще одного своего жителя с вероятностью pmicro. Или источником городов могут быть другие города - и тогда каждый город порождает другой с вероятностью pmacro - а источником людей - другие люди, и тогда за тот же период времени каждый житель какого-нибудь города порождает еще одного с вероятностью pmicro.
Каждый из вариантов модели Бернулли - а их всего 8 (имеется 9 возможных комбинаций источников городов и людей, но две из них тождественны по результатам) приводит к развитию характерного распределения макро-объектов по количеству содержащихся в них микро-объектов, причем форма этих распределений зависит от отношения вероятностей R=pmicro/pmacro.
Мы уже рассмотрели три варианта модели:
I: Источник городов - другие города, источник людей - другие люди.
Этот вариант приводит к степенному распределению, при этом показатель степени θ и среднее геометрическое значение населения городов γ определяется выражением:
В случае, если pmicro=pmacro (R=1) мы получаем закон Зипфа - степенное распределение с показателем θ=2 - и это мы рассматриваем как перспективный путь к пониманию распространенности таких распределений в мире.
II: Источник городов - страна, источник людей - страна.
Или источник городов - другие города, источник людей - города.
Тут мы получаем геометрическое/экспоненциальное распределение городов по населению, причем среднее арифметическое значение населения (параметр λ в экспоненциальном распределении) равен отношению R:
III: Источник городов - страна, источник людей - города.
В этом случае мы получаем равномерное распределение городов по числу жителей, при этом с течением времени оно "расползается" - в системе появляются города со всем большим числом жителей, но при этом вероятность встретить город с любым числом жителей от 1 до максимального на данный момент остается равной.
Еще пара вариантов
Теперь мы рассмотрим еще пару вариантов, которые интересны для нас в контексте разговора о степенных распределениях.
IV: Источник городов - люди, источник людей - тоже люди
Этот вариант также приводит к развитию степенного распределения (точнее, его дискретного аналога, распределения Юла, о котором мы еще будем говорить). Однако, показатель степени θ связан с отношением вероятностей R иначе, чем в первом варианте:
Заметим, что в простейшем случае, когда pmicro=pmacro, мы получаем показатель θ=3, который характерен для уже обсуждавшейся нами модели масштабно-инвариантной сети:
Эволюция модели начинается с одного одинокого узла. Далее в системе появляется еще один узел, который связывается с первым. Затем появляется третий узел, который равновероятно присоединяется к одному из двух уже имеющихся. Каждый следующий узел присоединяется к одному из уже существующих, при этом предпочтение оказывается узлам, к которым уже подходит больше связей. То есть, старые узлы тем вероятнее приобретают новые связи (с новыми узлами), чем больше они уже их имеют. В этих условиях в пределе развивается сеть, в которой распределение узлов по количеству связей является степенным с показателем θ=3:
Легко понять, что правила построения масштабно-инвариантной сети вполне описываются в рамках данного варианта модели Бернулли. Действительно, в масштабно-инвариантной сети роль макро-объектов играют узлы, а микро-объекты - это связи у каждого узла. Каждый шаг развития сети привносит в систему 1 новый узел и 2 новых связи. Одна из них относится к новоявленному узлу (то есть, является его микро-объектом), а вторая добавляется к какому-то из уже существующих. Таким образом, отношение количества новоявленных узлов к количеству новоявленных связей постоянно и равно 1:1 (связь, которая относится к новоявленному узлу в расчет не принимается - она образует "стартовое население" нового узла). Иными словами, можно говорить, что в данной системе pmicro=pmacro. Далее, источник узлов и источник связей явно один и тот же - пропорция между количеством появляющихся макро-объектов и количеством появляющихся микро-объектов остается неизменной на всех этапах развития системы. Но каков он? Им могут быть макро-объекты (узлы) или микро-объекты (связи). Определиться тут позволяет правило "богатый становится богаче": новая связь появляется более вероятно у узла, имеющего уже много связей. Если бы источником были узлы, новые связи у них появлялись бы одинаково вероятно вне зависимости от их текущего количества. Таким образом, и источником связей и источником узлов являются микро-объекты, то есть, связи - это и есть данный вариант модели Бернулли.
Интересно было бы "примерить" этот вариант к объяснению известного эмпирического примера степенных распределений с показателем θ=3 - распределения научных статей по числу их цитирований другими статьями: микро-объекты (ссылки на статьи) и макро-объекты (статьи) происходят из одного источника с одинаковой частотой или вероятностью. И этим источником, как ни странно, являются не статьи, а ссылки на них. Что бы это значило? Если бы каждая научная статья могла ссылаться строго на одну другую научную статью, мы получили бы полную аналогию с ростом масштабно-инвариантной сети. Но, как мы знаем, иногда списки ссылок на другие статьи включают не один десяток пунктов... Тут есть о чем поломать голову.
Следует отметить, что теоретически мы можем получить с помощью этого варианта и показатель θ=2: для этого нужно, чтобы вероятность, с которой каждый человек страны мог породить другого человека, была на много порядков выше, чем вероятность порождения им нового города. Это выглядит разумным условием - так, может быть, причину распространенности закона Зипфа следует искать в этом варианте модели?
Однако, вспомним, что в реальности мы встречаем статистику Зипфа, которая часто несколько откланяется от показателя θ=2. Например, для распределений городов по числу жителей типичным показателем степени является именно θ=2, но встречаются и несколько более высокие показатели и несколько более низкие. И если более высокие показатели можно легко получить с помощью данного варианта модели, то более низкие - невозможно. Из этого следует, что этот вариант по сути не годится для понимания причин степенных распределений в популяционной статистике и в большинстве других натуральных примеров закона Зипфа.
V: Источник городов - страна, источник людей - люди
В этом варианте при всех отношениях вероятностей pmicro и pmacro развивается распределение, которое по своей форме является степенным, однако с показателем, невозможным для "нормального" степенного распределения θ=1:
Степенное распределение с таким показателем вообще-то не сходится, но в данном случае в уравнение входит компонент 1/N, который решает эту проблему. N - общее количество объектов в распределении.
"Энтропийный иероглиф" для этого распределения:
Он сходен с иероглифом для равномерного распределения, которое получается в третьем варианте модели, но в нем дополнительно присутствует компонент, связанный со средним геометрическим значением распределения ln(G).
Энтропийный иероглиф: смысл компонента ln(G)
Итак, мы имеем три варианта модели Бернулли, порождающей степенные распределения, "энтропийные иероглифы" которых все содержат компонент ln(G):
С точки зрения метода построения выражений специальной энтропии для тех или иных распределений наличие в них слагаемого ln(G) говорит о том, что в уравнении распределения присутствует степенной множитель с каким-то показателем θ:
где Y(x) - некоторая функция от x. Но с точки зрения модели Бернулли, наличие слагаемого ln(G) говорит о том, что источником микро-объектов являются сами микро-объекты - это общая черта всех трех вариантов модели, приводящих к развитию степенных распределений:
Говоря о растущих системах макро-объектов - как в модели Бернулли - мы могли бы говорить, что во всех трех вариантах действует правило "богатый становится богаче" - это правило выполняется тогда и только тогда, когда источником прироста массы макро-объектов являются сами частицы массы: например, если источником прироста населения городов являются сами жители. (Или "Деньги делают деньги" - этого достаточно, чтобы распределение богатства среди членов общества отвечало уравнению, в котором обязательно присутствует степенной компонент - и как мы знаем, распределение действительно является степенным.) Однако, следует предпочесть менее выразительную, но более общую формулировку: слагаемое ln(G) входит в энтропийный иероглиф системы если причиной появления и исчезновения микро-объектов в ней являются сами микро-объекты.
В этой формулировке говорится не только о том, что источником, то есть, причиной появления микро-объектов являются сами микро-объекты, но и о том, что причиной исчезновения микро-объектов являются также они сами. Модель Бернулли не предусматривает возможность исчезновения объектов, поэтому в качестве иллюстрирующей модели нужно взять ту, которую мы обсуждали в связи с факторами привлекательности населенных пунктов и "мультипликативным законом сохранения". Припомним ее вкратце. Вначале мы имеем множество макро-объектов, каждый из которых содержит γ микро-объектов (или проще говоря, имеет массу γ). Затем макро-объекты начинают вступать в случайные парные коллизии, во время которых количество микро-объектов у одного в паре уменьшается, а у другого - увеличивается. При этом выполняется "мультипликативный закон сохранения": произведение масс объектов до коллизии равно произведению после коллизии. В этих условиях, если минимально возможная масса макро-объекта равна 1, система эволюционирует к степенному распределению макро-объектов по массам со средним геометрическим γ.
Центральный пункт этого механизма - относительное изменение масс макро-объектов в результате коллизий. Например, если в результате коллизии один объект ("прибывающий") увеличил свою массу на 10%, то ровно на 10% должна уменьшиться масса второго объекта ("убывающего"). Но тот же результат можно описать иначе: в результате взаимодействия каждый из микро-объектов "прибывающего объекта" с вероятностью p+=1/10 дал отпрыска, и с той же вероятностью p-=1/10 каждый из микро-объектов "убывающего объекта" или исчез сам или уничтожил своего соседа. Если вероятности p+ и p- равны, в целом будет соблюдаться "мультипликативный закон сохранения", а значит, развиваться степенное распределение. (На эту тему см. далее "Домашнее задание".)
Итак, условием развития степенного распределения (или, как минимум, возникновения степенного множителя в уравнении распределения), а значит, и компонента ln(G) в "энтропийном иероглифе", является источник причинности появления или исчезновения микро-объектов системы: им должны являться сами микро-объекты.
Это утверждение - пока гипотетическое, хотя и правдоподобное - указывает на ту самую причину степенных распределений, поискам которой мы посвятили этот Узел. Мы говорили также, что "ультимативная" причина степенных распределений должна выражаться в форме принципа максимума некоторой величины. И теперь мы можем предположить, что ею является специальная энтропия, компонентом которой является среднее геометрическое случайной величины ln(G). Возможно, именно он указывает на то, что источником причинности для микро-объектов системы являются сами микро-объекты.
Впрочем, не будем забегать вперед. Попробуем проверить наши выводы на вроде бы совершенно другом механизме, нежели модель Бернулли.
Тау-модель
Пусть у нас есть ряд одинаковых объектов. За каждый шаг времени каждый объект с некоторой постоянной вероятностью P=const может прекратить свое существование. Как в этих условиях будут распределяться эти объекты по времени жизни? Ответ хорошо известен - мы получим геометрическое/экспоненциальное распределение:
со средним значением времени жизни λ=1/P.
Теперь положим, что вероятность прекращения существования для каждого объекта (назовем ее "терминальной вероятностью") с течением времени t снижается:
В этом случае распределение объектов по времени жизни окажется степенным (вновь уточним - строго говоря мы увидим распределение Юла) с показателем степени θ=2.
Этот простой способ механизм развития степенного распределения подробно обсуждался нами в Прологах и назывался тау-моделью. Он интересен тем, что на его основе можно создать самый простой алгоритм генерации загадочного розового шума. При соответствующем изменении правила снижения терминальной вероятности тау-модель может порождать и степенные распределения с другими показателями θ:
Попробуем сопоставить тау-модель в обоих ее вариантах (экспоненциальном и степенном) с моделью Бернулли. Ясно, что объекты тау-модели, прекращающие в тот или иной момент времени свое существование - это в терминах модели Бернулли макро-объекты. А микро-объекты - это моменты существования макро-объектов: например, если объект просуществовал 3 цикла времени, к моменту прекращения существования он содержал 3 микро-объекта. Если в модели Бернулли микро-объекты напоминали частицы массы, то тут они больше похожи на "частицы возраста" макро-объектов. Развитие системы во времени можно представить как рост нескольких ожерелий, в которых каждая бусина - это новый микро-объект в составе того или иного макро-объекта:
Если в какой-то момент времени объект прекращает свое существование, соответствующее ожерелье перестает расти, и его финальная длина равна времени жизни данного объекта.
Рассмотрим сначала первый вариант тау-модели: постоянная вероятность прекращения существования объектов. В этом случае в каждый момент времени с вероятностью P еще существующий объект может исчезнуть - и тогда происходит исчезновение макро-объекта. И с вероятностью 1-P он может продолжить существование - и тогда происходит появление нового микро-объекта. Заметим, что в этой модели макро-объекты могут только исчезать, а микро-объекты - только появляться. И отношение частот между этими событиями остается в течение всей эволюции модели постоянным, оно равно (1-P)/P вне зависимости от текущего остатка объектов и хода времени. Это означает, что источник событий с макро- и микро-объектами один и тот же. Их частота в каждый момент времени определяется количеством остающихся "живых объектов", а значит, этим общим источником являются макро-объекты.
Мы видим в этом варианте тау-модели полный аналог второго варианта модели Бернулли (источник городов - города, источник людей - тоже города), в котором также развивается геометрическое/экспоненциальное распределение.
Если же терминальная вероятность снижается со временем в соответствии с приведенными выше уравнениями, мы получим полный аналог первого, основного варианта модели Бернулли, приводящего к степенным распределениям. Действительно, в этом варианте для некоторого макро-объекта количество порождаемых им событий (отпочковываний новых макро-объектов) соотносится с количеством событий, порождаемых содержащимися в нем микро-объектами (возникновения новых микро-объектов) в пропорции pmacro:pmicro*N, где N - текущее количество микро-объектов. В тау-модели вероятность события с объектом (прекращение его существования) соотносится с вероятностью события с микро-объектом (появление нового микро-объекта) в пропорции P:1-P. Сопоставляя пропорции получим:
Как мы знаем, для первого варианта модели Бернулли R = 1/(θ-1). Количество микро-объектов N в тау-модели имеет смысл возраста объекта, так что получим окончательно
То есть, степенной вариант тау-модели в математическом смысле точно совпадает с первым вариантом модели Бернулли, и это интересно, принимая во внимание, какие это с виду разные механизмы.
Домашнее задание
Итак, наша главная рабочая гипотеза говорит о том, что степенные распределения (или степенные компоненты в уравнении распределений) развиваются там, где источником появлений и исчезновений микро-объектов являются сами микро-объекты - назовем это для красоты и лаконичности "принципом микро-причинности". Мы должны подтвердить эту гипотезу, и следует это сделать двумя разными путями. Во-первых, мы попробуем опираясь на этот принцип придумать какой-нибудь совершенно новый механизм развития степенных распределений, желательно не похожий на все те, о которых мы говорили выше (а еще лучше не похожий и на другие известные механизмы). Так мы убедимся, что принцип обладает эвристической ценностью - а это первое требование к хорошей гипотезе. Во-вторых, опираясь на него мы должны осмыслить какой-нибудь интересный эмпирический пример степенных распределений - да так, чтобы мы могли увидеть в явлении нечто новое.
Тут автор берет некоторый тайм-аут, а пока "домашнее задание". Выше мы вкратце коснулись степенного механизма, в котором макро-объекты вступают в парные коллизии, во время которых в одном объекте происходит размножение микро-объектов, а в другом - наоборот, "вымирание". Рассмотрим вариацию на тему.
Пусть в стартовом состоянии системы мы имеем множество макро-объектов, которые все содержат некоторое одинаковое и достаточно большое количество микро-объектов (то есть, имеют одинаковую массу). Затем они совершенно случайно вступают в парные коллизии, при этом во время каждой
В одном макро-объекте все микро-объекты с некоторой вероятностью P дают отпрыска.
Во втором, наоборот, с той же вероятностью P каждый микро-объект "вымирает".
Если в макро-объекте при этом "вымер" последний микро-объект, макро-объект выбывает из системы.
Ясно, что с ходом эволюции модели количество макро-объектов начнет уменьшаться - вплоть до момента, когда останется один-единственный. Однако, перед тем, как это происходит, когда в системе еще остается некоторое количество макро-объектов, развивается степенное распредление макро-объектов по массам. При этом, насколько показывают числовые опыты, показатель этого "около-предельного" распределения вне зависимости от начальной массы объектов, их стартового количества и вероятности P стремится к некоторому определенному значению.
Вопрос: можем ли мы теперь, вооруженные "уникальными" знаниями о причинах степенных распределений, обоснованно догадаться, чему равен этот показатель?
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER