КОГНИТИВИСТИдейное ядро²Прологи
Пролог 111. Геометрическое среднее и максимум энтропии
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
.
Прологи
Пролог 1. Когнитивный порядок
Пролог 2. Сигнатура характерного масштаба
Пролог 3. Степенной закон
Пролог 4. Три типа степенных распределений
Пролог 5. Закон Зипфа, сигнатура β = 1
Пролог 6. Цветные шумы, сигнатура α = 1
.
Пролог 7. Розовый шум и модель Бака-Снеппена
Пролог 8. Розовый шум и модель релаксации
Пролог 9. Розовый шум: шипелки и фрактальное блуждание
Пролог 10. Население городов и закон Зипфа
Пролог 11. Масштабно-инвариантные сети
Пролог 12. Фракталы и закон Зипфа
Пролог 13. Дробление континуума
Пролог 14. Социально-географические волокна
Пролог 15. Закон Зипфа в случайных текстах
Пролог 16. Тексты как фракталы
Пролог 17. Когнитивные фракталы
Пролог 18. β и размерность Хаусдорфа
Пролог 19. Образы когнитивных фракталов
Пролог 20. Когнитивные волокна
Пролог 21. Математика когнитивных фракталов
Пролог 22. Стохастические когнитивные фракталы
Пролог 23. Сравниваем Россию и Польшу
Пролог 24. От Швейцарии до Афганистана
Пролог 25. Гармониум
Пролог 26. Шум когнитивных фракталов
Пролог 27. Шум когнитивных процессов
Пролог 28. Розовый шум в поведении людей
Пролог 29. Шум в динамике зрительного внимания
Пролог 30. Изображения и двухмерный розовый шум
.
Пролог 31. Физическая и когнитивная релаксация
Пролог 32. Когнитивная релаксация и цветные шумы
Пролог 33. ВТОРОЙ ЦИКЛ. Дробление времени
Пролог 34. Когнитивное дробление времени
Пролог 35. Время как текст
Пролог 36. События и причинность
Пролог 37. Четыре причины Аристотеля
Пролог 38. Экзогенные причины
Пролог 39. Генеративные модели причинности
Пролог 40. Генеративные модели причинности, часть 2
Пролог 41. Гештальт-причинность
Пролог 42. Тау-модель
Пролог 43. Я-состояния и тироны
Пролог 44. Параметры тау-модели
.
Пролог 45. Параметры тау-модели, часть 2
Пролог 46. Параллельный тирон
.
Пролог 47. Параллельный тирон, часть 2
Пролог 48. Свойства тирона
.
Пролог 49. Свойства тирона, часть 2
.
Пролог 50. Семейства тирона
Пролог 51. Эволюция как тирон
Пролог 52. Я-состояния и девиации
Пролог 53. Эволюция и морфогенез
Пролог 54. Волокна и легенды
Пролог 55. Волокна и легенды, часть 2
Пролог 56. ТРЕТИЙ ЦИКЛ. Я-состояния и их структура
Пролог 57. Я-состояния и их структура, часть 2
Пролог 58. Спиральная структура
.
Пролог 59. Информация и её типы
Пролог 60. Информация и симметрия
Пролог 61. Информация и закон Вебера-Фехнера
Пролог 62. Натуральная пропорция
Пролог 63. Апекс Я-состояний
.
Пролог 64. Генеративные модели Я-состояния
Пролог 65. Нейрон
Пролог 66. Критические случайные графы
.
Пролог 67. Блохи и табакерки
Пролог 68. Чаши, табакерки и прочее
.
Пролог 69. Интерлюдия
Пролог 70. Гештальт числа e
.
Пролог 71. Гештальт числа e, часть 2
Пролог 72. ЧЕТВЁРТЫЙ ЦИКЛ. Тиронный рост
Пролог 73. Обобщённые процессы
Пролог 74. Обобщённые процессы, часть 2
Пролог 75. Обобщённые процессы и энтропия Реньи
Пролог 76. Дельта-процессы
.
Пролог 77. Дельта-аддитивные процессы
Пролог 78. Дельта-мультипликативные процессы
Пролог 79. Дельта-мультипликативные процессы, часть 2
Пролог 80. Дельта-мультипликативные процессы, часть 3
Пролог 81. Структурно-временной изоморфизм
Пролог 82. Тау-процесс и время
Пролог 83. Знаки состояний
Пролог 84. Мерные знаки и случайное блуждание
.
Пролог 85. Именные знаки и графы состояний
Пролог 86. ПЯТЫЙ ЦИКЛ. Простые числа
Пролог 87. Числа и их компоненты
Пролог 88. Время и простые числа
Пролог 89. Т-информация
Пролог 90. Новый прототип статистики Зипфа
Пролог 91. Новый прототип и гармоническая информация
.
Пролог 92. Не-целочисленные симметрии
Пролог 93. Спектры симметрии
.
Пролог 94. Преобразования симметрий
Пролог 95. Комплексные симметрии
Пролог 96. Cимметрии и структурные модальности
Пролог 97. Симметрии и характерная динамика
Пролог 98. Симметрия, энергия, излучения
Пролог 99. Симметрия системы
Пролог 100. Симметрия континуумов и траекторий
Пролог 101. Симметрия континуумов, часть 2
Пролог 102. Симметрия и масштаб
Пролог 103. Симметрия и вероятность
Пролог 104. Симметрия и вероятность, часть 2
.
Пролог 105. Преобразование симметрии континуумов
Пролог 106. Cимметрия многомерных континуумов
Пролог 107. Опыты с взаимодействием форм
Пролог 108. Опыты с взаимодействием форм, часть 2
Пролог 109. Омега-преобразование
Пролог 110. Омега-линзы
Пролог 110 (2). Омега-линзы, часть 2
Пролог 111. Геометрическое среднее и максимум энтропии
Пролог 112. Мультипликативные коллизии
Пролог 113. Смысл принципа максимума энтропии
Пролог 114. Варианты модели мультипликативных коллизий
Пролог 115. Свойства модели мультипликативных коллизий
Пролог 116. Геометрическая энтропия
Пролог 117. Специальные энтропии. Последний Пролог.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Пролог 111. Геометрическое среднее и максимум энтропии
 
Роман Уфимцев
9 декабря 2013 года, Калининград
Наше повествовавние в связи с неожиданной и важной находкой совершает очередной "кульбит" или маневр. Мы отвлекаемся от интересной и богатой на наглядные примеры темы преобразований симметрии, чтобы вернуться к истокам этой темы. В этом Прологе мы намерены еще более прояснить смысл обобщенной симметрии как величины, характеризующей непрерывные и дискретные формы, а также познакомимся с принципом максимума энтропии, который добавляет некоторые недостающие элементы в нашу мозаику.
Порядок симметрии и геометрическое среднее распределения
Порядком симметрии S некоторого непрерывного распределения или, по новой терминологии, формы Ф(x), мы называем величину, которая вычисляется как
Существуют ли какие-то известные характеристики непрерывных распределений, сходные с порядком симметрии? Ответ положительный: действительно, существует такая характеристика, которая при своей простоте на удивление мало используется в научных работах и интерес к которой начинает расти только в последнее время. Но будем двигаться по порядку.
Одной из самых простых и важных характеристик любой случайной или изменяющейся величины является среднее значение. Если значение величины подчиняется непрерывному распределению Ф(x), то среднее ее значение вычисляется как
Если речь идет о дискретном множестве, состоящем из n объектов с массами m1, m2, m3,... среднее значение равно средней массе объектов множества и вычиcляется как среднее арифметическое масс объектов:
Но кроме арифметического среднего для анализа дискретных множеств часто применяется также и геометрическое среднее:
Если арифметическое среднее характеризует среднюю аддитивную "способность" объектов множества, то среднее геометрическое - их среднюю мультипликативную "способность". Когда в системе действуют мультипликативные процессы, геометрическое среднее оказывается более релевантной характеристикой, нежели арифметическое среднее.
Стоит подробнее прояснить, что такое средняя аддитивная и средняя мультипликативная "способность". Будем говорить о непрерывных распределениях. Пусть М1 - арифметическое среднее величины x, подчиняющейся непрерывному распределению Ф1(x), а М2 - среднее распределение величины y c распределением Ф2(y). Тогда сумма величин x+y будет иметь арифметическое среднее, равное М1+М2. Доказательство элементарно и мы его приводить не будем.
Иными словами, анализируя аддитивные процессы, в которых какие-то величины складываются (или вычитаются), во многих случаях мы можем заменять эти величины их средними арифметическими значениями, потому что эти значения хорошо отражают аддитивные свойства величин. Точно также, если мы анализируем мультипликативные процессы, во многих случаях мы можем заменять сами перемножающиеся (делящиеся) величины их средними геометрическими значениями.
Естественна мысль об использовании геометрического среднего не только для дискретных множеств, но и непрерывных распределений - ведь для них также мультипликативные свойства иногда выступают на первые роли. Однако, как это ни странно, геометрическое среднее непрерывного распределения до сих пор довольно редко используется в качестве статистической характеристики. Даже уравнение для вычисления этой величины в непрерывном случае трудно встретить в ясном виде. Исправим это. Пусть Ф(x) - непрерывное распределение величины x, которая может принимать положительные значения. Тогда геометрическое среднее этой величины вычисляется в соответствии с выражением:
В случае, если величина x может также принимать и отрицательные значения, возникает некоторая трудность - геометрическое среднее оказывается комплексной величиной. Возможно, это обстоятельство и смущает исследователей, и они пренебрегают геометрическим средним как ценной характеристикой. Эту проблему удобно проиллюстрировать дискретным примером. Пусть у нас имеется две дискретных массы m1 = 1 и m2=-1. Их среднее арифметическое равно 0, и тут все вполне интуитивно ясно. Но их среднее геометрическое оказывается равным мнимой единице:
Хотя это уже не такой интуитивно понятный результат, настоящая проблема заключается в другом. Пусть величины x и y имеют соответственно геометрические средние значения G1 и G2. Кроме того, пусть произведение величин x*y имеет геометрическое среднее G3. Тогда равенство G1*G2 = G3 выполняется только в том случае, если одновременно НЕ обе эти величины x и y могут принимать и положительные и отрицательные значения. Все в порядке, если они обе могут принимать только положительные значения. Все в порядке, если одна из них может принимать также отрицательные значения. Но если они обе могут принимать и положительные и отрицательные значения, равенство не выполняется.
Эта трудность, вероятно, и стала помехой широкому распространению геометрического среднего как характеристики непрерывных распределений, ведь многие из них определены на всей числовой оси. Однако, эта проблема решается, если использовать не простое переменожение геометрических средних, а комплексное, которое мы получили, исследуя преобразования симметрии:
Используя этот способ перемножения геометрических средних, мы можем с пользой вычислять геометрическое среднее и для величин, определенных на всей числовой оси:
Сопоставляя это выражение с выражением порядка симметрии для формы Ф(x), мы обнаружим элементарную связь между порядком симметрии и геометрическим средним некоторого распределения или формы:
То есть, для любого непрерывного одномерного распределения или формы порядок симметрии равен среднему геометрическому значению этого распределения, умноженному на основание натуральных логарифмов, число e. Но, как мы говорили, среднее геометрическое характеризует среднюю "мультипликативную способность" распределения или формы. Порядок симметрии оказывается прямо связанным со средним геометрическим, так что можно уверенно говорить о том, что порядок симметрии как характеристика формы также отражает ее мультипликативные свойства.
Порядок симметрии лишь для непрерывных распределений и форм так непосредственно связан со средним геометрическим. Для дискретных множеств среднее геометрическое и порядок симметрии не связаны никакими простыми отношениями. Например, для множества, состоящего из двух объектов одинаковой массы m=1/2, порядок симметрии равен 2, а среднее геометрическое - 1/2.
Выявленная нами прямая связь между геометрическим средним непрерывно распределенной величины и ее порядком симметрии приобретает особое значение в свете очень интересного обстоятельства, на которое автора навела статья А.Ростовцева On a geometric mean and power-law statistical distributions. В ней говорится о степенных распределениях, которые, как мы знаем, часто встречаются в различной феноменологии, как о результате действия известного принципа максимума энтропии.
Принцип максимума энтропии
Этот принцип утверждает, что наблюдаемые физические характеристики какой-либо системы имеют распределение, которое обладает максимумом энтропии с учетом ограничений, накладываемых системой. Смысл принципа глубок и интуитивно ясен: если энтропия - мера беспорядка, то система произвольно приходит в состояние, которое характеризуется минимальной возможной упорядоченностью (с учетом ограничений, обусловленных неизменной структурой системы.) Пусть, например, некоторая наблюдаемая характеристика системы из-за структурных ограничений может принимать только два альтернативных значения. Тогда принцип максимума энтропии утверждает, что если нет других ограничений, то альтернативные значения будут равновероятными - именно в этом случае достигается максимум энтропии наблюдаемой характеристики. (Мы уже достаточно подробно обсуждали энтропию на элементарном уровне, так что здесь не будем повторяться.)
Обратимся к формальному представлению этого принципа. Пусть Ф(x) - распределение величины x. Энтропия непрерывного распределения вычисляется по формуле дифференциальной энтропии (она есть обобщение формулы Шеннона для непрерывных распределений):
Принцип утверждает, что распределение Ф(x) - то из разрешенных структурой системы, при котором энтропия H - максимальна.
Простейший пример - распределение случайной величины, которая может принимать значения от 0 до 1. Ограничение системы тут - необходимость для величины находиться только в промежутке от 0 до 1. С учетом этого условия какое распределение Ф(x) приводит к максимуму энтропии?
Интуитивно очевидная гипотеза - что максимальной энтропией на любом ограниченном промежутке обладает однородное распределение Ф(x) = U(0,1) - является верной. Однако, формальное доказательство требует некоторой смекалки.
Например, эта смекалка воплощена в так называемом методе множителей Лагранжа, который позволяет решить эту задачу. Не будем разбираться тут в его сути, лишь кратко опишем шаги. Пусть у нас есть функция многих переменных f(x,y,z,...), и мы должны найти координаты точки {xm,ym,zm,...}, в которой эта функция достигает минимального или максимального значения. Найти эту точку не трудно: это точка, в которой все частные производные функции обращаются в 0:
Но пусть дополнительно найденная точка должна удовлетворять некоторому условию, которое формулируется в форме уравнения g(x,y,z,...) = С. Тут и требуется особый метод решения - записывается следующее выражение, которое называется лагранжианом:
где a - неизвестный множитель, который называется множителем Лагранжа. Искомое решение определяется системой уравнений:
То есть, метод заключается в замене самой функции f(x,y,z,...) ее лагранжианом L(x,y,z,...) и поиске его экстремума. Найденный максимум или минимум обычно оказывается экстремумом функции f(x,y,z,...) при соблюдении условия g(x,y,z,...) = С.
Применим метод множителей Лагранжа к определению распределения с максимальной энтропией. Рассмотрим дискретный вариант этой задачи: у нас есть случайная величина, которая с вероятностями p1, p2, p3,... может принимать значения, например, 1,2,3... (собственно, не важно, какие). Найдем, при каком наборе вероятностей энтропия распределения оказывается максимальной, то есть, максимальна сумма:
Представим энтропию функцией многих переменных, в которой роль переменных играют вероятности: H = H(p1, p2, p3,...). Задача сводится к поиску такой комбинации p1, p2, p3,... при котором значение функции H максимально. При этом у нас имеется дополнительное условие: сумма всех вероятностей должна быть равна 1 - ведь мы говорим о распределении вероятностей:
Запишем лагранжиан:
Частная производная лагранжиана по любой из переменных pi имеет вид (приравниваем их нулю, как требует метод):
Отсюда следует, что все вероятности pi равны одной и той же величине:
Значит, искомое распределение вероятностей является однородным.
Максимум энтропии при фиксированном среднем значении
Теперь рассмотрим немного более сложную задачу: какое распределение вероятностей или плотности вероятности Ф(x) обладает максимальной энтропией, если среднее значение случайной величины фиксировано? Ответ интересен: такими свойствами обладает обычное экспоненциальное распределение (или, в дискретном случае, геометрическое):
Среднее значение дискретной величины, которая может принимать значения x1,x2,x3... с вероятностями p1, p2, p3... определяется суммой
Фиксированное среднее значение - это еще одно условие, которое накладывается на решение задачи поиска максимума энтропии. В лагранжиане появляется еще одно слагаемое:
Отсюда, двигаясь по методу множителей Лагранжа, получаем:
Если xi = i, то есть, случайная величина может принимать целые значения 1,2,3..., то максимальной энтропией при фиксированном среднем обладает геометрическое распределение, а если xi может принимать любые положительные значения - экспоненциальное распределение.
Это важный и обладающий глубоким смыслом результат: как мы знаем, экспоненциальные распределения чрезвычайно широко распространены в физическом мире. Эти распределения являются характерным следом действия физического порядка и действия физической эндогенной причинности. Принцип максимума энтропии позволяет взглянуть на него в новом свете: экспоненциальное распределение оказывается результатом жесткого соблюдения только одного условия: в среднем случайная величина должна иметь заданное значение. Если все остальное не имеет значения, если физической системе "безразличны" другие характеристики данной величины, она приходит к экспоненциальному распределению как к распределению при котором упорядоченность величины минимальна. Таким образом, для физического порядка арифметическое среднее значение величин имеет какое-то особое значение. Это обстоятельство говорит о том, что альтернативная запись экспоненциального распределения гораздо лучше отражает его суть:
где М - среднее значение случайной величины.
А что же о когнитивном порядке? Какая характеристика случайной величины важна для него? Вот тут мы и приходим к содержанию заметки А.Ростовцева.
Максимум энтропии при фиксированном геометрическом среднем
Какое распределение обладает максимальной энтропией при условии фиксированного не простого арифметического среднего, а геометрического среднего случайной величины? Полагаю, читатель предвидит ответ - это степенное распределение:
Или, используя в качестве параметра среднее геометрическое случайной величины G:
В общем-то, тот факт, что фиксация геометрического среднего при действии приницпа максимума энтропии приводит к степенным распределениям, известен давно (см. например, книгу "Maximum Entropy Models in Science and Engineering", Kapur, J.N.). Это не удивительно, ведь и само условие - фиксация геометрического среднего - и вывод формы распределения весьма просты. Любопытно, однако, что в обширной массе материалов, посвященных степенным распределениям, этот важный и интересный факт практически не упоминается - исключение редки, как эта статья А. Ростовцева.
Геометрическое среднее дискретной величины, которая может принимать значения x1,x2,x3... с вероятностями p1, p2, p3... определяется суммой
Для того, чтобы воспользоваться методом множителей Лагранжа, удобнее запись
Тогда лагранжиан выглядит так:
Решение имеет степенной вид:
Обобщая на непрерывное распределение и исходя из условия нормировки получим уравнение степенного распределения (при условии, что величина x принимает значения от 1 до бесконечности):
Итак, степенные распределения оказываются результатом действия принципа максимума энтропии при условии, что геометрическое среднее фиксировано - а оно, как мы знаем, характеризует среднюю мультипликативную "способность" величины. При этом, в зависимости от значения геометрического среднего, мы можем получать степенные частотные распределения с показателями степени от 1 (при очень большом значении G) до плюс бесконечности (при среднем геометрическом, приближающимся к единице). Для нас, разумеется, наибольший интерес представляет случай, когда показатель степени равен 2 - это соответствует степенному распределению, отвечающему закону Зипфа:
Ясно, что для получения такого показателя степени должно выполняться условие ln(G) = 1, а для этого среднее геометрическое распределения должно быть равно основанию натуральных логарифмов, числу e.
Так мы обнаружили еще одну неожиданную и при этом глубинную связь между степенными распределениями, отвечающими закону Зипфа, и числом e.
Впрочем, этот результат ясно перекликается с другим: когда-то мы выяснили, что коэффициент дробления гармонического ряда (а гармонический ряд идеально соответствует закону Зипфа) равен числу e. Но коэффициент дробления характеризует процесс каскадного дробления при построении каскадного фрактала, это число, которое равно среднему количеству кусков, на которые при очередном этапе дробления дробится некоторая часть континуума. То есть, коэффициент дробления характеризует мультипликативность, действующую при каскадном дроблении - количество кусков континуума с каждым каскадом увеличивается в e раз. Тут же мы выяснили, что геометрическое среднее как средняя "мультипликативная способность" множества объектов, отвечающего закону Зипфа, также равна числу e. Легко увидеть, что одинаковость результатов связана с тем, что они описывают одну и ту же неявную мультипликативную структуру зипфовского множества.
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER