КОГНИТИВИСТИдейное ядро²Степенные законы, распределения Парето и закон Зипфа
IV. Способы получения степенных законов
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
.
Прологи
.
Степенные законы, распределения Парето и закон Зипфа
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
IV. Способы получения степенных законов
 
В этом разделе мы познакомимся с возможными способами получения степенных распределений, которые могут объяснить их возникновение в натуральных и искусственных системах. Некоторые из предлагаемых вариантов объяснения степенных законов довольно сложны - в частности, это относится к физике критических феноменов и инструментов группы ренормализации, которые применяются для их анализа. Но мы начнём с очень простых алгебраических методов генерации степенных функций, и постепенно будем двигаться к более сложным механизмам.
A. Комбинация экспонент
Гораздо более часто встречающимся распределением, нежели степенное, является экспоненциальное. Оно возникает во многих обстоятельствах, таких как время жизни распадающихся атомных ядер или больцмановское распределение энергий в статистической механике. Пусть некоторая величина y имеет экспоненциальное распределение:
Константа a тут может принимать отрицательные или положительные значения. Если она положительна, тогда у распределения должен существовать обрез, планка максимального значения y - лишь в этом случае распределение поддаётся нормировке.
Пусть величина, которая нас интересует, это не сама y, а некоторая величина x, которая экспоненциально зависит от y, так что
тут b - ещё одна константа, тоже положительная или отрицательная. Тогда вероятностное распределение величины x:
Это степенной закон с показателем α = 1 − a/b.
Этот механизм был предложен Миллером [37] для объяснения степенного распределения частоты слов (см. также [38]). Предположим, что мы случайно стучим по клавишам печатной машинки, нажимая на пробел с вероятностью qs на одно нажатие, а на буквы - с одинаковой вероятностью ql. Если в алфавите имеется m букв, то ql = (1 − qs)/m. (В этом простейшем варианте аргументации мы не печатаем знаков препинания, цифр и других не-буквенных знаков.) Тогда частота x, с которой будет появляться какое-то конкретное слово, состоящее из y букв (за которым следует пробел) равна:
где b = ln(1 − qs) − ln m. Количество (или доля) различных слов, имеющих длину от y до y + dy возрастает экспоненциально как p(y) ∼ my = eay где a = ln m. Таким образом, следуя приведенным аргументам, распределение частот слов имеет форму p(x) ∼ x−α, где
В типичном случае, когда m достаточно велико, а qs достаточно мало, получаем α ≈ 2, что приблизительно соответствует опытным результатам, приведённым в таблице 1.
В целом это стройная теория, но реальные тексты не состоят из случайных букв. Большинство теоретически возможных комбинаций букв вообще не встречаются в натуральных языках, некоторые даже нельзя произнести. Мы должны вообразить, что какая-то постоянная доля возможных буквенных последовательностей каждой длины соответствует настоящим словам, и изложенная аргументация отлично бы работала применительно к этой доле слов, но по здравому размышлению это предположение абсолютно ложное. Например, очевидно, что очень длинные слова попросту не встречаются в большинстве языков, хотя существует экспоненциально много возможных комбинаций букв, из которых они могут быть составлены. Это соображение возвращает нас к опытным данным. На рис.7а показана гистограмма числа различных слов по их длине в тексте романа "Моби Дик", и нужно чрезмерно развитое воображение, чтобы счесть, что гистограмма соответствует экспоненте, которую предсказывает аргументация Миллера. (На самом деле кривая примерно соответствует логнормальному распределению [32])
Рис.7 (а) Гистограмма уникальных слов по их буквенной длине в тексте романа "Моби Дик". (b) Гистограмма информационной насыщенности слов романа "Моби Дик" по Шеннону. Первая гистограмма совершенно не соответствует экспоненциальному распределению, втоая, напротив, хорошо ему соответствует. (Обртим внимание, что вертикальные шкалы логарифмические.)
Тем не менее, в аргументации Миллера может быть здравое зерно. Может быть проблема связана с тем, что мы измеряем "длину" слов негодными единицами. Буквы на самом деле не являются базовыми единицами языка. Некоторые базовые единицы - это буквы, другие - группы букв. Например, комбинация "th" встречается в английском языке очень часто, и составляет один звук. Может быть, её следует рассматривать как один знак и считать, что она удлиняет слова не на 2 единицы, а на одну?
Развивая эту идею до логического завершения, можно представить замещение каждой базовой единицы языка - какой бы они ни была - особым символом, а затем измерение длин слов по числу таких символов. Поиски в этом направлении привели в 1940 году Клода Шеннона к развитию теории информации, которая даёт точное основание для расчета количества знаков, необходимого для передачи слов или любых других данных [39,40]. Единицами информации являются биты, и настоящей "длиной" слова может считаться количество бит информации, которое оно несёт. Шеннон показал, что если мы рассматриваем сообщение как состоящее из частей-слов, количество информации, которую содержит какое-нибудь конкретное слово равно
где x - частота слова, а k - константа. (Читателю, которому интересно узнать, как было получено это простое соотношение, мы рекомендуем превосходное введение в теорию информации Ковера и Томаса [41].)
Но это именно та форма, которая нам нужна. Из него мы получаем x = e−y/k, и если вероятностное распределение "длин" слов, измеренное в терминах содержащихся в них бит, также эксмопненциальное (43), то в итоге мы получим степенное распределение. На рис.7b показано это распределение, и оно прекрасно соответствует экспоненциальному - гораздо лучше, чем на рис.7а.
Тем не менее, и это не вполне удовлетворительное объяснение. Перейдя от простой длины слов в буквах к количеству содержащейся в них информации, простой подсчет количества слов длины y - которое увеличивается как my - более не является достоверным, и нам требуется какое-то обоснование, почему в языке должно быть экспоненциально больше слов, содержащих много информации, чем слов, содержащих мало информации. Этот факт опытно подтверждается диаграммой на рис.7b, но причины такого положения дел до сих пор являются предметом споров. Например, некоторые возможные объяснения были предложены Мандельбротом [42], а недавно - Митценмахером [19].
Другой пример комбинации экспонент предложен Ридом и Хьюисом [43]. Они рассмотрели процесс, в котором объекты, их множества или группы растут экспоненциально со временем, так что их размер x ∼ ebt, где b > 0. Например, популяция свободно размножающихся организмов, не испытывающих ресурсные ограничения, нарастает экспоненциально. Кроме того, каждый объект с некоторой фиксированной вероятностью погибает за единицу времени (популяции могут иметь стохастически постоянную вероятность гибели отдельной особи), так что время, в течение которого особь погибает, распределено экспоненциально как p(t)∼eat, где a<0.
Эти функции соответствуют форме уравнений (43) и (44), и в результате мы получаем степенное распределение размеров x отдельных объектов или групп в моменты их гибели. Рид и Хьюис предположили, что вариации этого механизма могут объяснить распределение количественного состава биологических видов, величин личных доходов, размеров городов, и другие вещи.
B. Обратные величины
Пусть мы имеем величину y, распределение которой p(y) охватывает нуль, то есть, состоит и из отрицательных, и из положительных значений. Положим нас интересует другая величина x, и она является обратной к y: x = 1/y. Величина x будет иметь распределение
Большие значения x, которые расположены в хвосте распределения, соответствуют малым, близким к нулю значениям y, поэтому хвост распределения, образованный большими значениями x отвечает свойству
где коэффициент пропорциональности равен p(y=0).
Рассматривая более общий случай, любая величина x = y−γ для некоторых значений γ будет иметь распределение со степенным хвостом, отвечающим уравнению p(x) ∼ x−α, где α = 1+1/γ. Не вполне ясно, кто первым описал этот механизм появления степенных законов, но внятное его описание было недавно дано Боучудом [44], Джаном [45] и Сорнеттом [46].
Можно возразить, что этот механизм порождает степенной закон просто на основе другого: степенные отношения между x и y порождают степенное распределение x. Это верно, но суть в том, что этот механизм использует какие-то физические степенные отношения между x и y, а не стохастическое вероятностное распределение - и из них производит степенное вероятностное распределение. Это не тривиальный результат.
Один из примеров, в которых присутствует этот механизм - измерения парциальных изменений величины. Например, Джан [45] рассмотрел одну из самых знаменитых систем теоретической физики, магнитную модель Айзинга. В парамагнетической фазе модель Айзинга имеет намагниченность, которая флуктуирует около нуля. Предположим мы измеряем намагниченность m через равные интервалы и вычисляем парциальное, то есть, относительное изменение δ = (∆m)/m между каждым последующим замером. Изменения ∆m распределены примерно нормально, и они имеют типичное значение, определяемое шириной нормального распределения. Величина 1/m с другой стороны порождает степенной хвост, когда маленькие значения m сочетаются с большими значениями ∆m, так что хвост распределения δ по причинам, указанным выше соответствует выражению p(δ) ∼ δ−2.
Рис.8 Кумулятивная гистограмма флуктуаций намагниченности, полученная на симуляции модели Айзинга на квадратной решетке. Модель симулировала температуру, при которой происходит 2,5 спаривания спинов на 100000 шагов времени с применением кластерного алгоритма Сведсена и Ванга [47]. Намагниченность на каждый спин измерялась на интервалах в 10 шагов. Флуктуации рассчитывались как отношение δi = 2(mi+1 − mi)/(mi+1 + mi).
На рис.8 приведена кумулятивная гистограмма значений δ, полученных на симуляции модели Айзинга на основе квадратной решетки - степенное распределение вполне очевидно. Используя формулу (5), мы получим значение показателя α = 1.98 ± 0.04, что хорошо согласуется с предполагаемым значением 2.
C. Случайное блуждание
Многие свойства случайных блужданий распределяются соответственно степенному закону, и это может быть основанием для некоторых степенных распределений, наблюдаемых в природе. В частности, случайно флуктуирующий процесс, который проходит точку "разорения игрока", то есть, который завершается, когда достигает нуля, отвечает степенному распределению возможных времён жизни. (Точка "разорения игрока" названа так, потому что для игрока ночь азартной игры заканчивается, когда его средства достигают нуля - предполагая, что казино отказывается предоставлять игрокам кредитную линию.)
Рассмотрим случайное блуждание в одном измерении, когда блуждающая частица совершает один шаг за единицу времени случайно в том или ином направлении. Пусть частица начинает движение с точки с координатой 0. Поставим вопрос: с какой вероятностью в момент времени t после начала блуждания частица первый раз вернется в точку с координатой 0 (то есть, ровно через t шагов)? Это так называемое время первого возвращения случайного блуждания и оно соответствует времени жизни процесса разорения игрока. Идея, которая позволяет ответить на этот вопрос, проиллюстрирована на рис.9. Сперва мы рассмотрим менее строгую задачу, в которой блуждающая частица может возвращаться в точку 0 сколько угодно раз - лишь бы в момент времени t она тоже там оказалась. Обозначим вероятность этого события как ut. Также обозначим как ft вероятность, что время первого возвращения будет равно t. Заметим, что обе эти вероятности не равны нулю только при четных значениях аргументов, поскольку для частицы не существует способа вернуться в 0 за какое-то нечётное число шагов.
Рис.9 Положение частицы, блуждающей в одном измерении (вертикальная ось) как функция времени (горизонтальная ось). Вероятность u2n, с которой частица возвращается к нулю в момент времени t = 2n равна вероятности f2m, с которой она возвращается к нулю в первый раз в какой-то более ранний момент времени t = 2m, помноженная на вероятность u2n−2m, с которой частица возвращается к нулю снова в более поздний момент врмемени 2n − 2m, просуммированную по всем возможным значениям m. Мы можем использовать этот факт для того, чтобы записать выражение (51), которое можно решить относительно ft, (59).
Как иллюстрирует рис.9, вероятность ut = u2n, где n - целое число, можно записать как
тут m тоже является целым числом. Также мы задаём f0 = 0 и u0 = 1. Это уравнение удобно решать относительно f2n используя метод генерирующей функции. Определим:
Тогда, умножая уравнение (51) на zn и суммируя, получим
Так что
Функцию U(z) оказывается довольно просто вычислить. Вероятность того, что через 2n шагов частица окажется в точке 0:
поэтому
(Заинтересованный читатель легко может вывести этот результат раскрывая (1 − z)−1/2 с помощью биномиальной теоремы.)
Отсюда
Раскрывая функцию, применяя биномиальную теорему, то есть
и сравнивая это выражение с выражением (52), видим, что
Этот результат - распределение времён первого возвращения частицы.
Теперь рассмотрим форму f2n при больших n. Записав биномиальные коэффициенты как
берем логарифм обеих частей выражения, и получим
Далее используем формулу Стирлинга
и получим
или
В пределе, когда n стремится к бесконечности, получим f2n ∼ n−3/2, или, что то же самое:
Таким образом, распределение времен возвращения блуждающей частицы соответствует степенному закону с показателем a=3/2. Обратим внимание, что это распределение имеет расходящееся среднее (поскольку α ≤ 2). Как было показано в разделе III.С, это означает, что среднее значение является ограниченным для любого ограниченного опытного промежутка времени, но может принимать очень разные значения в разные опытные промежутки, так что среднее значение, посчитанное для одного промежутка несёт мало или вообще не несет информации о среднем значении любого другого промежутка.
В качестве примера, случайное блуждание может рассматриваться как простая модель времени жизни биологических таксонов. Таксон - это ветвь эволюционного древа, группа биологических видов, происходящих от общего предка через механизмы повторяющегося видообразования.1 Уровни классификации Линнея - царство, тип, класс, порядок, род и т.д. - разные типы таксонов. Если таксон случайно приобретает или теряет виды с течением времени, тогда число видов выполняет случайное блуждание. Таксон исчезает, когда число образующих его видов достигает нуля (в первый и единственный раз). Таким образом, времена существования таксонов должны иметь то же самое распределение, что и времена возвращений частицы к точке 0 при случайном блуждании.
На самом деле имеются сведения, что времена жизни биологических родов по анализу ископаемых отложений действительно соответствуют степенному распределению [48]. Лучшее приближение имеющихся ископаемых данных дает значение показателя степени α = 1,7 ± 0,3, что неплохо согласуется с моделью случайного блуждания [49].2
1 Современный филогенетический анализ, численное сравнение генетического материала биологических видов, даёт общую картину эволюционного древа и, таким образом, позволяет точно приписывать виды к тому или иному таксону. Однако, для доисторических видов биологический материал для генетического анализа обычно недоступен, определение эволюционных предков затруднено, поэтому классификация по таксонам опирается на морфологию, то есть, на сходство форм организмов. Широко признается, что такая классификация достаточно субъективна, и что таксономические отнесения древних видов, чьи останки находятся в ископаемых отложениях, могут быть не всегда верными.
2 Говоря откровенно, автор рассматривает степенной закон распределения времени жизни биологических видов как недостаточно достоверный. Поэтому изложенная теория должна приниматься с осторожностью.
1
Замечательная статья, прекрасный перевод, спасибо большое!
"Джан [45] рассмотрел одну из самых знаменитых систем теоретической физики, магнитную модель Айзинга"
Все же устоявшая транскрипция фамилии Изинга, а не Айзинга.
druggist (15.02.2013 23:09)
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER