КОГНИТИВИСТИдейное ядро²Прологи
Пролог 75. Обобщённые процессы и энтропия Реньи
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
.
Прологи
Пролог 1. Когнитивный порядок
Пролог 2. Сигнатура характерного масштаба
Пролог 3. Степенной закон
Пролог 4. Три типа степенных распределений
Пролог 5. Закон Зипфа, сигнатура β = 1
Пролог 6. Цветные шумы, сигнатура α = 1
.
Пролог 7. Розовый шум и модель Бака-Снеппена
Пролог 8. Розовый шум и модель релаксации
Пролог 9. Розовый шум: шипелки и фрактальное блуждание
Пролог 10. Население городов и закон Зипфа
Пролог 11. Масштабно-инвариантные сети
Пролог 12. Фракталы и закон Зипфа
Пролог 13. Дробление континуума
Пролог 14. Социально-географические волокна
Пролог 15. Закон Зипфа в случайных текстах
Пролог 16. Тексты как фракталы
Пролог 17. Когнитивные фракталы
Пролог 18. β и размерность Хаусдорфа
Пролог 19. Образы когнитивных фракталов
Пролог 20. Когнитивные волокна
Пролог 21. Математика когнитивных фракталов
Пролог 22. Стохастические когнитивные фракталы
Пролог 23. Сравниваем Россию и Польшу
Пролог 24. От Швейцарии до Афганистана
Пролог 25. Гармониум
Пролог 26. Шум когнитивных фракталов
Пролог 27. Шум когнитивных процессов
Пролог 28. Розовый шум в поведении людей
Пролог 29. Шум в динамике зрительного внимания
Пролог 30. Изображения и двухмерный розовый шум
.
Пролог 31. Физическая и когнитивная релаксация
Пролог 32. Когнитивная релаксация и цветные шумы
Пролог 33. ВТОРОЙ ЦИКЛ. Дробление времени
Пролог 34. Когнитивное дробление времени
Пролог 35. Время как текст
Пролог 36. События и причинность
Пролог 37. Четыре причины Аристотеля
Пролог 38. Экзогенные причины
Пролог 39. Генеративные модели причинности
Пролог 40. Генеративные модели причинности, часть 2
Пролог 41. Гештальт-причинность
Пролог 42. Тау-модель
Пролог 43. Я-состояния и тироны
Пролог 44. Параметры тау-модели
.
Пролог 45. Параметры тау-модели, часть 2
Пролог 46. Параллельный тирон
.
Пролог 47. Параллельный тирон, часть 2
Пролог 48. Свойства тирона
.
Пролог 49. Свойства тирона, часть 2
.
Пролог 50. Семейства тирона
Пролог 51. Эволюция как тирон
Пролог 52. Я-состояния и девиации
Пролог 53. Эволюция и морфогенез
Пролог 54. Волокна и легенды
Пролог 55. Волокна и легенды, часть 2
Пролог 56. ТРЕТИЙ ЦИКЛ. Я-состояния и их структура
Пролог 57. Я-состояния и их структура, часть 2
Пролог 58. Спиральная структура
.
Пролог 59. Информация и её типы
Пролог 60. Информация и симметрия
Пролог 61. Информация и закон Вебера-Фехнера
Пролог 62. Натуральная пропорция
Пролог 63. Апекс Я-состояний
.
Пролог 64. Генеративные модели Я-состояния
Пролог 65. Нейрон
Пролог 66. Критические случайные графы
.
Пролог 67. Блохи и табакерки
Пролог 68. Чаши, табакерки и прочее
.
Пролог 69. Интерлюдия
Пролог 70. Гештальт числа e
.
Пролог 71. Гештальт числа e, часть 2
Пролог 72. ЧЕТВЁРТЫЙ ЦИКЛ. Тиронный рост
Пролог 73. Обобщённые процессы
Пролог 74. Обобщённые процессы, часть 2
Пролог 75. Обобщённые процессы и энтропия Реньи
Пролог 76. Дельта-процессы
.
Пролог 77. Дельта-аддитивные процессы
Пролог 78. Дельта-мультипликативные процессы
Пролог 79. Дельта-мультипликативные процессы, часть 2
Пролог 80. Дельта-мультипликативные процессы, часть 3
Пролог 81. Структурно-временной изоморфизм
Пролог 82. Тау-процесс и время
Пролог 83. Знаки состояний
Пролог 84. Мерные знаки и случайное блуждание
.
Пролог 85. Именные знаки и графы состояний
Пролог 86. ПЯТЫЙ ЦИКЛ. Простые числа
Пролог 87. Числа и их компоненты
Пролог 88. Время и простые числа
Пролог 89. Т-информация
Пролог 90. Новый прототип статистики Зипфа
Пролог 91. Новый прототип и гармоническая информация
.
Пролог 92. Не-целочисленные симметрии
Пролог 93. Спектры симметрии
.
Пролог 94. Преобразования симметрий
Пролог 95. Комплексные симметрии
Пролог 96. Cимметрии и структурные модальности
Пролог 97. Симметрии и характерная динамика
Пролог 98. Симметрия, энергия, излучения
Пролог 99. Симметрия системы
Пролог 100. Симметрия континуумов и траекторий
Пролог 101. Симметрия континуумов, часть 2
Пролог 102. Симметрия и масштаб
Пролог 103. Симметрия и вероятность
Пролог 104. Симметрия и вероятность, часть 2
.
Пролог 105. Преобразование симметрии континуумов
Пролог 106. Cимметрия многомерных континуумов
Пролог 107. Опыты с взаимодействием форм
Пролог 108. Опыты с взаимодействием форм, часть 2
Пролог 109. Омега-преобразование
Пролог 110. Омега-линзы
Пролог 110 (2). Омега-линзы, часть 2
Пролог 111. Геометрическое среднее и максимум энтропии
Пролог 112. Мультипликативные коллизии
Пролог 113. Смысл принципа максимума энтропии
Пролог 114. Варианты модели мультипликативных коллизий
Пролог 115. Свойства модели мультипликативных коллизий
Пролог 116. Геометрическая энтропия
Пролог 117. Специальные энтропии. Последний Пролог.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Пролог 75. Обобщённые процессы и энтропия Реньи
 
Роман Уфимцев
31 января 2013 года, Калининград
Этот Пролог будет довольно "эзотерическим". В нём пойдет речь о вещах, которые, во-первых, могут быть понятны только внимательным читателям. а во-вторых, владеющим некоторыми математическими навыками. Так уж получилось, что наш разговор об обобщённых процессах привёл к теме энтропий Реньи - довольно экзотическому инструменту теории информации. Но оказалось, что именно этот инструмент позволяет взглянуть на обобщённые процессы с неожиданной, очень любопытной стороны, и автор не смог себе отказать в удовольствии разобраться в этом вопросе. Увы, получилась почти математическая статья, но всему своё время - время для поэзии и время для математики.
Информационное представление обобщённых процессов
Читатель, знакомый с основами теории информации (а предыдущие Прологи позволили нам познакомиться с основными понятиями и уравнениями этой важной теории), знает, что главное уравнение этой дисциплины - уравнение энтропии Шеннона:
Мы уже обсуждали смысл этого уравнения. По сути оно позволяет подсчитать среднюю частную энтропию альтернативных состояний системы. Частная энтропия состояния или события i тем выше, чем меньше его вероятность, она равна
Формула Шеннона суммирует все частные энтропии альтернативных состояний, учитывая их вероятностный вес, так что получается вероятностно средняя величина энтропии по всем альтернативным состояниям системы.
Применительно к альтернативным событиям на растущем множестве, когда очередная частица может присоединиться к любому из его объектов, частная энтропия события i (присоединение частицы к объекту i) в самом важном для нас мультипликативном процессе определяется выражением:
Для простоты эту величину мы будем именовать просто энтропией объекта i.
Мы можем теперь представить правило "богатый становится богаче" в красивой информационной форме:
Такая запись позволяет понять мультипликативные процессы как информационные, то есть, гораздо шире, нежели как процессы на растущем множестве масс. Зная, что мультипликативный процесс не изменяет ни энтропию множества в целом, ни частную энтропию его объектов, мы теперь можем определить его так:
Теперь обратимся к обобщённым процессам. Мы подозревали, что они как-то связаны с энтропией Реньи (это обобщение энтропии Шеннона), и это подозрение оказалось не безосновательным. Для обобщенных процессов выполняется точно такое же отношение между вероятностью события на объекте i и частной энтропией объекта, но последняя должна вычисляться по формуле обобщённой частной энтропии H:
Обратим внимание, что вероятности, входящие в выражение частной энтропии, вычисляются на основе линейного отношения масс. Тот же результат мы получим, если будем использовать обычную шенноновскую частную энтропию, но для этого необходимо вычислять вероятности на основе нелинейного отношения масс, возведённых в степень ω:
Нам пришлось самим найти уравнение обобщенной частной энтропии - в литературе, посвященной энтропии Реньи его не встретишь. Дело в том, что сам вывод обобщенной энтропии Реньи
как его описывал сам Альфред Реньи и другие авторы, не опирается на такую сущность как обобщённая частная энтропия (вместо этого в выводе используется обычная шенноновская частная энтропия). Однако, по мнению автора, обобщённая частная энтропия существует, и выражение для неё выглядит именно так:
В пользу того, что это может быть корректным выражением обобщённой частной энтропии говорит несколько соображений. Простейшее из них заключается в том, что подобно тому, как формула общей обобщённой энтропии Реньи при α=1 превращается в обычное уравнение энтропии по Шеннону, и это выражение при α=1 совпадает с уравнением частной энтропии по Шеннону:
Более тонкая идея заключается в рассмотрении частной энтропии как функции длин массовых векторов. Массовый вектор - это условный вектор, связывающий два объекта и длина которого равна отношению их масс Lij = mj/mi. Тогда каждый объект множества связан с остальными посредством k-1 массовых векторов:
Частная энтропия объекта mi равна логарифму суммы длин массовых векторов этого объекта (+1, поскольку ещё есть вектор единичной длины, протягивающийся от объекта к самому себе).
Тогда обобщенная частная энтропия порядка α понимается как степенное преобразование "массового пространства", изменение его метрики, при котором длины массовых векторов возводятся в степень α:
Наконец, такое выражение для обобщенной частной энтропии - единственное, удовлетворяющее нашей гипотезе о прямой связи между обобщенными процессами и энтропиями Реньи: частная обобщенная энтропия объекта определяет вероятность событий на нём в зависимости от его линейной (а не степенной) массовой доли во множестве.
И всё же, вопрос полной корректности предложенного уравнения обобщённой частной энтропии ещё требует внимательного изучения. В частности, требует прояснения его связь с уравнением обобщённой энтропии Реньи (то есть, как именно частные обобщённые энтропии должны быть скомпонованы, чтобы получилось уравнение Реньи, и каков смысл этой компоновки).
Теперь мы можем представить все обсуждаемые процессы в однообразном виде:
где H - частная энтропия порядка ω. Обратим внимание на условие Hi0 = const. Оно говорит о том, что количество объектов во множестве остаётся постоянным (энтропия порядка 0 зависит только от количества объектов). Если количество объектов во множестве нарастает - как в модели тирона - это условие не соблюдается.
Cпектры Реньи
Но разумеется не только желание представить процессы в эстетичной информационной форме заставило нас заняться связью между обобщёнными процессами и энтропиями Реньи, тут ещё кое-что. Чтобы говорить об этом "кое-чём", мы сперва должны обсудить так называемые спектры Реньи.
Возьмём неоднородное множество объектов (то есть, такое, в каком они имеют разные массы) и посмотрим, как ведёт себя общая энтропия Реньи этого множества при изменении порядка α. Вот что мы получаем для нескольких простых множеств:
Такие диаграммы называются спектрами Реньи. Они имеют характерную форму, которая зависит от степени неоднородности множества - чем больше разница между крупнейшим объектом и малейшим из них, тем выше и отчетливее ступенька при переходе от отрицательных значений α к положительным.
При очень больших значениях α общая энтропия Реньи стабилизируется у уровня, который равен частной шенноновской энтропии крупнейшего объекта множества. Этот интересный факт следует из простого соображения, что если объект m1 является крупнейшим во множестве, то при стремлении α к бесконечности выполняется приближенное равенство:
Точно также легко показать, что, наоборот, при стремлении α к минус бесконечности, общая энтропия стремится к уровню частной шенноновской энтропии малейшего объекта множества.
Более информативными с точки зрения отношений между объектами являются спектры частных энтропий. Например, возьмём простое множество {3,2,1} (красные, зелёные, черные точки соответственно) и построим зависимость частной энтропии каждого объекта от порядка энтропии:
Полезно также представить ту же диаграмму с логарифмической осью Y:
Как мы видим, ветви диаграммы укладываются либо на линейные функции, либо на экспоненциальные (на нижней диаграмме последние выглядят как прямые линии). В общей динамике ожидаемо особо выделяются самый крупный объект и наоборот, самый малый. Только эти объекты имеют экспоненциальные ветви, остальные только линейные. При больших α частная энтропия крупнейшего объекта экспоненциально снижается. Зеркально симметрично ведет себя и частная энтропия малейшего объекта.
Установим уравнения асимптотических кривых, к которым приближаются ветви частных энтропий для различных объектов множества.
Начнём со спадающей экспоненциальной ветви, на которую ложится частная энтропия крупнейшего объекта множества при больших α. Рассортируем объекты множества по номерам, так что m1 - масса крупнейшего объекта, m2 - масса второго по величине, и т.д.. Тогда уравнение частной энтропии крупнейшего объекта:
При росте α слагаемое (m2/m1)α будет становиться гораздо больше слагаемых (m3/m1)α, (m4/m1)α, и т.д. Поэтому мы можем перейти к приближенному выражению:
Обозначим (m2/m1)α как A. С ростом α величина А будет становиться гораздо меньше единицы, так что мы можем воспользоваться известным пределом, справедливым при малых A:
Получим:
Это и есть уравнение искомой экспоненциальной кривой. Интересно, что её форма определяется отношением масс только двух крупнейших объектов множества.
Теперь установим уравнение линейной функции, которой соответствует рост частной энтропии малейшего объекта mk при очень больших α. Записав уравнение частной энтропии, и пользуясь тем, что слагаемое (m1/mk)α гораздо больше остальных, приближенно получим:
В области больших α такому же уравнению соответствуют и линейные ветви всех остальных объектов множества, за исключением крупнейшего, который имеет экспоненциально спадающую ветвь.
По аналогии мы можем получить и уравнение ветвей в области очень малых α - определяющую роль там играет масса малейшего объекта.
Мы установили асимптотическое поведение частных энтропий всех объектов множества.
Наблюдение, которое мы должны вынести из анализа поведения частных энтропий при росте порядка α - особенное поведение частной энтропии крупнейшего объекта. Во-первых, она уменьшается, а не увеличивается, как у остальных объектов. Во-вторых - и это менее тривиальная разница - кривая её изменения соответствует экспоненте, в то время как остальные частные энтропии изменяются линейно. Особое поведение частной энтропии крупнейшего объекта напоминает нам о том, что происходит при обобщенном росте множества при ω > 1 - динамика роста крупнейшего объекта также оказывается резко отличной от роста остальных объектов. Как мы немедленно убедимся, это чуть больше, чем простое сходство.
Изоморфизм физического времени и порядка энтропии
Возьмём самое простое неоднородное множество, состоящее из двух объектов {2,1}. Подвергнем его процессу гипер-мультипликативного роста с ω = 2, и будем наблюдать, как в физическом времени изменяется частная энтропия объектов. Во избежание путаницы мы возьмём частную шенноновскую энтропию. (Будем называть эту контрольную энтропию "измерительной".)
И вот какую динамику мы увидим:
Обратим внимание, что у верхней диаграммы ось Y логарифмическая, а значит, частная энтропия крупнейшего объекта снижается экспоненциально со временем. Частная энтропия малейшего объекта растет во времени линейно.
Нет сомнений - мы только что видели точно такие же диаграммы, но то были диаграммы частных энтропий объектов множества, которое не растёт, остаётся постоянным. Рос только порядок частной энтропии α. Тут же, напротив, α не меняется, остаётся равным единице (поскольку в качестве измерительной мы используем частную энтропию по Шеннону), но увеличивается физический возраст системы, объекты растут - а результат тот же!
Сформулируем это ясно: рост объектов множества приводит к той же динамике изменения частной энтропии объектов при неизменном её порядке, что и рост порядка частной энтропии при неизменном множестве. Или: ход физического времени в процессе роста объектов t изоморфен росту порядка частной энтропии объектов α:
Числовые опыты приводят к однозначному и весьма примечательному результату: асимптотическое уравнение роста измерительной частной энтропии порядка α для растущих в физическом времени объектов множества соответствует уравнению
для крупнейшего объекта множества
где А и B - некоторые величины, зависящие от исходного отношения масс объектов множества, параметра обобщённого процесса ω и порядка энтропии α. Заметим, однако, замечательную вещь: важнейшие параметры кривых - коэффициенты при переменной времени t - во-первых, одинаковы в обоих уравнениях, а во-вторых, зависят только от порядка измерительной энтропии и ни от чего больше. В том числе, они не зависят и от параметра ω обобщенного процесса, лишь бы он был выше единицы (мы сразу подозревали, что все гипер-мультипликативные процессы родственны друг другу, уникальных свойств нет ни у одного).
Эти уравнения находятся в полном согласии с предположением, что для всех гипер-мультипликативных процессов роста асимптотически крупнейший объект становится лидером, рост которого практически совпадает с ростом массы всего множества, а остальные достигают пределов роста. Положим, что масса всего множества в физическом времени растёт в соответствии с уравнением:
Предположим также, что все объекты, кроме первого крупнейшего достигли предельной массы B2, B3, ... Тогда рост массы крупнейшего объекта соответствует уравнению
Тогда изменение частной энтропии порядка α для крупнейшего объекта:
Введем обозначения:
С ходом времени величина Bs становится пренебрежимо малой по сравнению с M(0)et, поэтому мы можем записать приближенное выражение
Наконец, правое слагаемое в сумме с ростом t становится гораздо меньше 1, а значит, мы можем воспользоваться приближением
В результате получим:
То есть, в пределе частная энтропия крупнейшего объекта экспоненциально уменьшается с показателем, равным порядку измерительной энтропии α.
Теперь займёмся остальными объектами множества. Частная энтропия для некоторого объекта i равна:
С ходом времени все слагаемые в сумме становятся гораздо меньше первого, так что мы получим в пределе
Кроме того, в пределе Bs становится пренебрежимо малой по сравнению с M(0)et, так что в конечном итоге получим:
Мы действительно видим линейный рост с коэффициентом α.
Сравним это с результатами, полученными в предыдущем параграфе. Мы выяснили, что обобщенная частная энтропия для объектов статичного неоднородного множества асимптотически изменяется при изменении порядка энтропии α в соответствии с уравнением:
где А' - некоторый коэффициент, зависящий от конкретного распределения масс объектов, а m1 - масса крупнейшего объекта. Для крупнейшего объекта уравнение является экспоненциальным:
где B' - некоторый коэффициент, m1 и m2 - масса крупнейшего и второго по величине объекта соответственно.
Сходство между двумя парами уравнений несомненно. Его подчеркивает и сходство логики их вывода. Но что оно значит? Что значит этот изоморфизм физического времени в одной паре уравнений и порядка обобщенной энтропии в другой? Какая связь между временем и порядком энтропии?
Мы наверняка найдём ответ, и он вероятно окажется весьма интригующим, но уже в следующих Прологах.
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER