КОГНИТИВИСТИдейное ядро²Степенные законы, распределения Парето и закон Зипфа
III. Математика степенных законов
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
.
Прологи
.
Степенные законы, распределения Парето и закон Зипфа
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
III. Математика степенных законов
 
Непрерывная переменная, имеющая степенное распределение, с вероятностью p(x) dx принимает значение в интервале от x до x+dx, так что:
где α > 0. Как мы видели в разделе II.А, должно существовать какая-то минимальная планка xmin, ниже которой степенной закон не выполняется, и мы рассматриваем лишь статистику значений x, находящихся выше этой планки.
A. Нормировка
Значение константы C в уравнении (7) задаётся требованием нормировки вероятностного распределения:
Очевидно, что это требование может быть выполнено лишь при α > 1, поскольку в ином случае правая часть уравнения расходится. Степенные законы с показателем менее 1 не могут быть нормированы и обычно не встречаются в натуральных явлениях. При α > 1 из уравнения (8) получаем:
и тогда полное нормированное выражение для степенного распределения:
Некоторые распределения соответствуют степенному закону в части своего диапазона, но отклоняются от него при больших значениях x. То есть, выше некоторой планки они отклоняются от степенного закона и быстро спадают до нуля. В этих обстоятельствах распределение может быть нормировано вне зависимости от значения показателя α. Тем не менее, показатель степени меньше единицы встречается редко, если вообще встречается.
B. Моменты
Среднее значение величины x, имеющей степенное распределение, равно:
Заметим, что среднее стремится к бесконечности при α ≤ 2. Степенные законы с низким показателем α не имеют конечного среднего значения. Распределения интенсивности вспышек на Солнце и интенсивности военных конфликтов - примеры таких случаев.
Что это значит: среднее значение, равное бесконечности? Например, какой результат мы получим, если возьмем данные реальных солнечных вспышек и посчитаем их среднюю интенсивность? Разумеется, при этом мы получим какое-то конкретное число, поскольку каждая конкретная вспышка имеет не-бесконечную интенсивность и наш набор данных тоже не бесконечен. Лишь если бы мы взяли действительно бесконечный набор данных, мы бы увидели, что их среднее значение действительно расходится.
Повторим наш ограниченный по длительности эксперимент с измерением интенсивности солнечных вспышек много раз и посчитаем среднее значение интенсивности в каждом повторе. В этом случае среднее значение средних результатов в отдельных экспериментах должно расходиться, поскольку оно по сути равно среднему по всем измерениям рассмотренных как один большой эксперимент. Это означает, что среднее по каким-то отдельным экспериментам может получаться относительно маленьким, но при этом должны быть и эксперименты, в которые среднее вдруг оказывается очень большим - это необходимо для того, чтобы общее среднее расходилось по мере увеличения числа повторных экспериментов - именно так должно происходить в соответствии с уравнением (11). То есть, наши расчеты говорят о том, что среднее значение - это плохо определённая величина, поскольку она может в огромном диапазоне варьировать от одного эксперимента к другому, и даже может оказаться какой угодно большой. Формальная расходимость среднего 〈x〉 указывает на то, что, хотя мы и можем вычислить среднее для некоторого набора замеров, это число не позволяет предсказывать типичные, средние результаты замеров в следующей серии опытных замеров той же величины.
Но при α > 2 среднее значение вполне определено и равно, в соответствии с формулой (11):
Мы также можем рассчитать моменты распределения p(x) более высокого порядка. Например, второй момент, средний квадрат величины, равен:
Средний квадрат величины x расходится при α ≤ 3. То есть, почти все натуральные степенные распределения, которые мы рассматривали, не имеют определенного средне-квадратического значения, а значит, и определенного средне-квадратического, то есть стандартного отклонения. Если же α > 3, второй момент имеет хорошо определенное ограниченное значение:
Эти результаты легко могут быть распространены и на моменты более высоких порядков: для m < α − 1 у распределения существует момент 〈xm, но не существует моментов более высокого порядка. Момент 〈xm при этом равен:
C. Максимальное значение
Предположим, мы взяли n измерений из некоторого степенного распределения. Каким вероятнее всего окажется максимальное значение? Или, точнее, какова вероятность того, что максимальное значение окажется в интервале между x и x+dx?
Основное свойство максимального значения заключается в том, что в наборе нет значений, больше максимального. Вероятность, что значение некоторого измерения будет больше, чем x задано уравнением (3):
при α > 1. Значит, вероятность, что значение измерения окажется не больше, чем x равна 1 − P(x). Следовательно, вероятность того, что результат некоторого конкретного измерения i окажется в промежутке x и x+dx, и при этом все остальные значения будут меньше него равно
Далее, есть n способов выбрать номер i, так что итоговая вероятность:
Теперь мы можем посчитать среднее значение 〈xmax максимального измерения:
Используя уравнения (10) и (16), получим:
тут мы произвели замену y = 1-(x/xmin)-α+1. B(a,b) - бета-функция Лежандра (её также именуют интегралом Эйлера первого рода). Она определяется как
Тут Γ(a) - стандартная гамма-функция:
Бета-функция имеет интересное свойство: при больших значениях одного из своих аргументов она приближается к степенной функции1. Например, для большого a и фиксированного b, B(a,b) ∼ a−b. В большинстве интересующих нас случаев, число измерений n в наборах, соответствующих степенному распределению, является достаточно большим (то есть, гораздо большим единицы), так что:
и
То есть, если α > 1, когда число измерений в наборе n увеличивается, максимальное значение ⟨xmax⟩ также увеличивается2.
1 Это можно показать, используя приближение гамма-функций в уравнении (20) по формуле Стирлинга.
2 Выражение (23) можно получить более простым, хотя и менее строгим, эвристическим способом. Если P(x) = 1/n для какого-то значения x, тогда мы можем ожидать, что в среднем в диапазоне от x до бесконечности будет иметься только одно значение, оно же максимальное. Тогда грубо оценить 〈xmax можно приравнивая выражение для P(x) (16) к 1/n. Решая получившееся уравнение относительно x, прямо получаем 〈xmaxn1/(α−1).
D. Крутые распределения и правило 80/20
Ещё один интересный вопрос – какому промежутку принадлежит большинство значений x. Для любого степенного закона с α > 1 существует определённая медиана. То есть, имеется точка x1/2, которая делит распределение на две половины, так что половина точек имеет значения x меньше x1/2, другая половина - больше x1/2. Медиана определяется из уравнения:
так что
Например, если мы рассматриваем распределение богатства, мы можем установить медиану богатства, которая разделяет богатейшую половину населения от беднейшей. Но мы также можем установить суммарную величину богатства, лежащую в каждой из половин. Ясно, что богатейшей половине населения принадлежит более половины общего богатства. Эта доля равна:
при α > 2 (это необходимо для сходимости интегралов). Если, например, распределение богатства имеет показатель α = 2,1, как в рассмотренных нами данных Форбс за 2003 год, то доля 2−0,091, то есть, около 94% совокупного богатства находится в руках богатейшей половины населения США - распределение имеет массивный начальный участок и затем круто спадает, образуя длинный хвост.
В более общем случае, доля населения, личное богатство представителей которой превышает x определяется из уравнения P(x) (16), а их доля в общем богатстве определяется из
предполагая, что α > 2. Подставляя x/xmin из (16) в (27), мы получим, что доля богатства W в руках доли богатейших представителей общества P составляет:
Уравнение (26) является частным случаем этого результата. Мы снова получили выражение, имеющее степенную форму, но с положительным показателем. На рис.6 показана форма кривой W в зависимости от P при различных значениях α. При всех значениях α кривая имеет более-менее плавный подъем, за исключением значения показателя чуть более 2, когда кривая имеет очень резкий подъем - это означает, что большая доля богатства сосредоточена в руках небольшой части населения. Кривые такого типа называются кривыми Лоренца, поскольку они были впервые изучены Максом Лоренцом на рубеже 20-го века [34].
Рис.6 Доля W общего богатства страны, находящаяся в руках богатейшей доли P общего населения при степенном распределении богатства с показателем α. Например, при α = 2,1, как это выглядит для США (см. таблицу 1), 20% богатейших жителей страны держат около 86% общего богатства (пунктирная линия).
Используя значение показателей степени, приведённых в таблице 1, мы, например, можем выяснить, что около 80% богатства находится в руках 20% богатейших людей (это и есть правило "80/20", которое подтверждается более детальным исследованием распределения богатства), 20% наиболее популярных веб-сайтов получают около 2/3 всех веб-хитов, а в 10% крупнейших городах США живёт около 60% всего населения страны.
При α ≤ 2 ситуация становится ещё более экстремальной. В этом случае интегралы в уравнении (27) расходятся в своих верхних пределах. Это значит, что их значение зависит от величины максимального значения в распределении, как описано в разделе III.B. Но при α > 1 в соответствии с уравнением (23) ожидаемое значение xmax стремится к бесконечности по мере роста n, и в пределе доля богатства богатейшей половины населения, вычисляемая по формуле (26), стремится к единице. Более того, доля богатства любой богатейшей части населения, даже всего лишь 1%, стремится к единице, как следует из (27). Другими словами, в распределениях с показателем α < 2 по сути всё богатство (или другие распределенные величины) находится в хвосте распределения. Распределение фамилий в США, которое имеет показатель α = 1,9 - пример именно этого рода. Около 75% населения США имеют фамилии, входящие в первые 15000 наиболее распространенных. Оценка общего числа уникальных фамилий дает цифру порядка 1,5 млн. Таким образом, 75% населения имеют фамилии, относящиеся к 1% наиболее распространенных - это очень крутое распределение. Таким образом, рубеж α = 2 разделяет режим, в котором люди с редкими фамилиями иногда с какой-то вероятностью встречаются, от режима, в котором такие люди встречаются очень редко.
Е. Масштабно-инвариантные распределения
Степенные распределения иногда именуются масштабно-инвариантными распределениями. Почему? Потому что степенные распределения - это единственный тип распределений, которые выглядят одинаково вне зависимости от того, в каком масштабе мы их рассматриваем. Разберемся, что это значит.
Предположим, мы имеем какое-то вероятностное распределение величины х, обозначенное как p(x). Пусть также мы обнаружили, что оно обладает следующим свойством:
для произвольного b. То есть, если мы увеличим шкалу или единицу измерений величины x в b раз, форма распределения p(x) не изменится, не считая общего множителя-константы. Пусть, например, мы обнаружили, что компьютерные файлы размером 2kB встречаются в 4 раза реже, чем файлы размером в 1kB. Переключаясь к измерению размеров файлов в мегабайтах, мы также обнаружим, что файлы размером в 2Mb встречаются в 4 раза реже, чем файлы размером в 1Mb. То есть, форма кривой распределения размеров файлов (по крайней мере для некоторых размеров) не зависит от шкалы, от масштаба, в котором мы измеряем размеры файлов.
Подобной масштабной инвариантностью не обладает большинство других распределений. Например, таким свойством не обладает экспоненциальное распределение. Более того, как мы сейчас увидим, единственный тип распределений, обладающих этим свойством - это степенные распределения.
Оттолкнемся от уравнения (29). При x = 1 мы получим p(b) = g(b)p(1). То есть, g(b) = p(b)/p(1) и мы можем записать уравнение (29) как
Поскольку мы полагаем, что это равенство должно быть верным при любом значении b, мы можем продифференцировать обе его части по b, и получим:
тут p' обозначает производную p по аргументу b. Теперь положим b=1:
Это простое дифференциальное уравнение первого порядка, которое имеет решение:
Устанавливая x=1, мы выясним, что константа равна ln p(1). Теперь берём экспоненту обеих частей равенства:
где α = −p(1)/p′(1). Таким образом, как мы и предполагали, степенное распределение - единственный тип распределений, удовлетворяющих требованию масштабной инвариантности (29).
Этот не просто любопытный факт. Как мы увидим далее, в разделе IV.E, существуют системы, которые приобретают масштабно-инвариантные свойства при определенных особых значениях управляющих параметров. Точки, которым соответствуют эти особые значения именуются "непрерывными фазовыми переходами", и судя по проведённому выше анализу, в таких точках наблюдаемая статистика системы должна приходить к степенному распределению. Это действительно наблюдается на практике, и возникающие таким образом распределения являются серьезным мотивирующим фактором для изучения степенных законов в физике (хотя многие опытно наблюдаемые степенные законы вероятно не являются результатом фазовых переходов - мы увидим далее, что имеются и другие механизмы, порождающие степенные законы).
F. Степенные законы для дискретных переменных
До сих пор мы фокусировались на степенных распределениях непрерывных переменных, но многие величины, с которыми мы имеем дело на практике являются на самом деле дискретными - обычно, целочисленными. Например, население городов, число цитирований статьи или число проданных экземпляров книги - целые числа. Во многих случаях эта особенность не очень важна. Часто степенному закону подчиняется только хвост распределения, где величины настолько велики, что во всех практических контекстах такие распределения можэно считать непрерывными. Однако, технически, для целочисленных дискретных величин степенные распределения должны определяться несколько иначе.
Пусть k - целочисленная переменная. Тогда один из возможных способов – заявить, что эта переменная соответствует степенному распределению, если вероятность pk появления значения k в наборе замеров равна
при каком-то постоянном показателе α. Ясно, что это распределение не может охватывать все значения вплоть до k = 0, поскольку оно расходится в этом пределе, но теоретически распределение может продолжаться до k = 1. Если мы отбросим все данные, для которых k = 0, константа C может быть получена из условия нормировки:
Тут ζ(α) - дзета-функция Римана. Преобразуя, мы обнаружим, что C = 1/ζ(α) и
Если, как это часто бывает, степенной закон охватывает только хвост распределения, для значений k ≥ kmin выражение принимает вид:
где
это обобщенная или неполная дзета-функция.
Большинство результатов, полученных в предыдущих параграфах для непрерывных распределений можно обобщить и для дискретных, хотя математика оказывается сложнее и часто опирается на специальные функции вместо легко берущихся интегралов как в непрерывном случае.
Было выдвинуто соображение, что уравнение (35) - не самое лучшее представление степенного закона для дискретных величин. Альтернативная и во многих случаях более удобная форма:
где B(a,b) - это уже упоминавшаяся нами бета-функция Лежандра, см. уравнение(20). Как мы говорили параграфе III.C, бета-функция ведет себя как степенная функция, то есть, B(k, α) ∼ k−α при больших k, так что асимптотически распределение приобретает нужную степенную форму. Саймон [35] предложил, чтобы выражение (39) именовалось распределением Юла, в честь Удни Юла, который вывел его как предельное распределение в стохастических процессах определенного типа [36], и это наименование сегодня часто используется. Результаты, полученные Юлом мы обсудим в разделе IV.D.
Распределение Юла удобно, поскольку суммы, которые получаются при расчете вероятностей на его основе часто принимают закрытый вид, в то время как суммы, порождаемые уравнением (35) могут быть записаны только с использованием специальных функций. Например, константа нормировки C для распределения Юла задается уравнением:
Отсюда C = α−1, и
Первый и второй моменты (то есть, среднее и средний квадрат распределения):
Такие же простые выражения получаются и для многих других результатов, которые мы получали для непрерывного случая.
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER