КОГНИТИВИСТИдейное ядро²Прологи
Пролог 73. Обобщённые процессы
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
.
Прологи
Пролог 1. Когнитивный порядок
Пролог 2. Сигнатура характерного масштаба
Пролог 3. Степенной закон
Пролог 4. Три типа степенных распределений
Пролог 5. Закон Зипфа, сигнатура β = 1
Пролог 6. Цветные шумы, сигнатура α = 1
.
Пролог 7. Розовый шум и модель Бака-Снеппена
Пролог 8. Розовый шум и модель релаксации
Пролог 9. Розовый шум: шипелки и фрактальное блуждание
Пролог 10. Население городов и закон Зипфа
Пролог 11. Масштабно-инвариантные сети
Пролог 12. Фракталы и закон Зипфа
Пролог 13. Дробление континуума
Пролог 14. Социально-географические волокна
Пролог 15. Закон Зипфа в случайных текстах
Пролог 16. Тексты как фракталы
Пролог 17. Когнитивные фракталы
Пролог 18. β и размерность Хаусдорфа
Пролог 19. Образы когнитивных фракталов
Пролог 20. Когнитивные волокна
Пролог 21. Математика когнитивных фракталов
Пролог 22. Стохастические когнитивные фракталы
Пролог 23. Сравниваем Россию и Польшу
Пролог 24. От Швейцарии до Афганистана
Пролог 25. Гармониум
Пролог 26. Шум когнитивных фракталов
Пролог 27. Шум когнитивных процессов
Пролог 28. Розовый шум в поведении людей
Пролог 29. Шум в динамике зрительного внимания
Пролог 30. Изображения и двухмерный розовый шум
.
Пролог 31. Физическая и когнитивная релаксация
Пролог 32. Когнитивная релаксация и цветные шумы
Пролог 33. ВТОРОЙ ЦИКЛ. Дробление времени
Пролог 34. Когнитивное дробление времени
Пролог 35. Время как текст
Пролог 36. События и причинность
Пролог 37. Четыре причины Аристотеля
Пролог 38. Экзогенные причины
Пролог 39. Генеративные модели причинности
Пролог 40. Генеративные модели причинности, часть 2
Пролог 41. Гештальт-причинность
Пролог 42. Тау-модель
Пролог 43. Я-состояния и тироны
Пролог 44. Параметры тау-модели
.
Пролог 45. Параметры тау-модели, часть 2
Пролог 46. Параллельный тирон
.
Пролог 47. Параллельный тирон, часть 2
Пролог 48. Свойства тирона
.
Пролог 49. Свойства тирона, часть 2
.
Пролог 50. Семейства тирона
Пролог 51. Эволюция как тирон
Пролог 52. Я-состояния и девиации
Пролог 53. Эволюция и морфогенез
Пролог 54. Волокна и легенды
Пролог 55. Волокна и легенды, часть 2
Пролог 56. ТРЕТИЙ ЦИКЛ. Я-состояния и их структура
Пролог 57. Я-состояния и их структура, часть 2
Пролог 58. Спиральная структура
.
Пролог 59. Информация и её типы
Пролог 60. Информация и симметрия
Пролог 61. Информация и закон Вебера-Фехнера
Пролог 62. Натуральная пропорция
Пролог 63. Апекс Я-состояний
.
Пролог 64. Генеративные модели Я-состояния
Пролог 65. Нейрон
Пролог 66. Критические случайные графы
.
Пролог 67. Блохи и табакерки
Пролог 68. Чаши, табакерки и прочее
.
Пролог 69. Интерлюдия
Пролог 70. Гештальт числа e
.
Пролог 71. Гештальт числа e, часть 2
Пролог 72. ЧЕТВЁРТЫЙ ЦИКЛ. Тиронный рост
Пролог 73. Обобщённые процессы
Пролог 74. Обобщённые процессы, часть 2
Пролог 75. Обобщённые процессы и энтропия Реньи
Пролог 76. Дельта-процессы
.
Пролог 77. Дельта-аддитивные процессы
Пролог 78. Дельта-мультипликативные процессы
Пролог 79. Дельта-мультипликативные процессы, часть 2
Пролог 80. Дельта-мультипликативные процессы, часть 3
Пролог 81. Структурно-временной изоморфизм
Пролог 82. Тау-процесс и время
Пролог 83. Знаки состояний
Пролог 84. Мерные знаки и случайное блуждание
.
Пролог 85. Именные знаки и графы состояний
Пролог 86. ПЯТЫЙ ЦИКЛ. Простые числа
Пролог 87. Числа и их компоненты
Пролог 88. Время и простые числа
Пролог 89. Т-информация
Пролог 90. Новый прототип статистики Зипфа
Пролог 91. Новый прототип и гармоническая информация
.
Пролог 92. Не-целочисленные симметрии
Пролог 93. Спектры симметрии
.
Пролог 94. Преобразования симметрий
Пролог 95. Комплексные симметрии
Пролог 96. Cимметрии и структурные модальности
Пролог 97. Симметрии и характерная динамика
Пролог 98. Симметрия, энергия, излучения
Пролог 99. Симметрия системы
Пролог 100. Симметрия континуумов и траекторий
Пролог 101. Симметрия континуумов, часть 2
Пролог 102. Симметрия и масштаб
Пролог 103. Симметрия и вероятность
Пролог 104. Симметрия и вероятность, часть 2
.
Пролог 105. Преобразование симметрии континуумов
Пролог 106. Cимметрия многомерных континуумов
Пролог 107. Опыты с взаимодействием форм
Пролог 108. Опыты с взаимодействием форм, часть 2
Пролог 109. Омега-преобразование
Пролог 110. Омега-линзы
Пролог 110 (2). Омега-линзы, часть 2
Пролог 111. Геометрическое среднее и максимум энтропии
Пролог 112. Мультипликативные коллизии
Пролог 113. Смысл принципа максимума энтропии
Пролог 114. Варианты модели мультипликативных коллизий
Пролог 115. Свойства модели мультипликативных коллизий
Пролог 116. Геометрическая энтропия
Пролог 117. Специальные энтропии. Последний Пролог.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Пролог 73. Обобщённые процессы
 
Роман Уфимцев
24 января 2013 года, Калининград
В предыдущем Прологе мы познакомились с двумя фундаментальными типами роста, которые наблюдаются в явлениях различной природы - аддитивным и мультипликативным. Они тесно связаны с двумя математическими операциями, на которых стоит всё здание математики - на сложении и умножении. Аддитивный рост - это рост, который сохраняет абсолютные отношения между объектами растущего множества, но не сохраняет относительные пропорции. Напротив, мультипликативный рост сохраняет относительные пропорции, но не сохраняет абсолютные. Когда мы говорим не просто о множествах, но о системах, то весьма правдоподобно предположение, что рост системы как организованного множества лишь тогда не сопровождается изменением её структуры, когда система растёт мультипликативно. Напротив, аддитивно растущие системы необходимо подвергаются структурным перестройкам.
Кроме того, мы установили два стохастических механизма роста, соответствующие операциям сложения и умножения. Стохастический аддитивный рост множества обеспечивается, если вероятность прироста каждого объекта множества равновероятна, а стохастический мультипликативный рост происходит, если действует правило "богатый становится богаче", то есть, объект тем вероятнее прирастает, чем выше его массовая доля в массе всего множества.
Наконец, мы обнаружили, что закон роста тирона является странной комбинацией аддитивного и мультипликативного правила, и мы предположили, что "тиронный" рост является третьим фундаментальным типом роста систем.
Фундаментальные типы роста - важная тема. Но дело не только в росте - ведь реальные явления не всегда демонстрируют рост, часто наоборот - уменьшение и деградацию. Но уменьшение и деградация относятся к росту и развитию также, как вычитание и деление - к сложению и умножению. Вычитание - операция, обратная сложению. Точно также кроме собственно аддитивного роста существует и его обратная сторона - аддитивное уменьшение или деградация. То же самое верно и в отношении мультипликативной деградации - ей соответствует операция, которая является обращением операции умножения - деление. Иными словами, следует говорить вообще, об аддитивных и мультипликативных механизмах изменения феноменов, или об аддитивных и мультипликативных процессах.
Но если существует третий фундаментальный тип роста - тиронный рост, значит, вообще существует тиронный процесс, который может выглядеть не только как хорошо знакомый нам тиронный рост, но и как его обращение - тиронный распад или тиронная деградация. И это нечто такое, о чём мы пока вообще не говорили - ведь в модели тирона есть только развитие, рост. Но ведь реальные когнитивные системы могут подвергаться деградации и распаду, или нет?
Впрочем, не будем забегать вперёд. Прежде мы должны ещё раз внимательно приглядеться к аддитивному и мультипликативному процессу, увидеть их общую основу, а также освоить один полезный инструмент для анализа самых разных процессов.
Образы базовых типов динамики
Говоря о фундаментальных вещах, которые могут с первого взгляда показаться незатейливыми и самоочевидными (казалось бы, что может быть проще сложения и умножения?), очень полезно опираться на наглядные образы, которые помогают развить интуитивное понимание предмета. Кроме того, удачный образ наделяет предмет дополнительным смыслом, часто неожиданным, что всегда очень полезно.
Прежде, чем мы продолжим анализировать и обобщать базовые типы роста (и уменьшения) множеств, обратимся к нескольким образам этих процессов. Пожалуй, наиболее интересная и содержательная иллюстрация - представление аддитивного и мультипликативного роста как движения системы точек. Действительно, легко понять, например, аддитивный рост как простое равномерное движение:
Тут растущие следы или траектории точек соответствуют объектам аддитивно растущего множества. Обращая направление движения мы получаем иллюстрацию противоположной динамики - аддитивного уменьшения:
Как движение можно представить и мультипликативные процессы, но движение особенное: мы как наблюдатели приближаемся к системе точек (ну, или она приближается к нам):
Тут также увеличивающиеся следы соответствуют объектам растущего множества, но растущего мультипликативно. Заметим, что следы растут с разной скоростью: точки, дальше отстоящие от центра (ему соответствует точка, к которой мы направляемся) быстрее зрительно удаляются от него, это правило "богатый становится богаче". Поменяв направление движения, то есть, удаляясь от системы точек, мы получаем обратный процесс - мультипликативное уменьшение.
В совокупности эти типы движения можно представить на одной любопытной картинке:
Представим себе наблюдателя двигающегося через мир (а мы все такие наблюдатели в самом широком смысле слова "мир"). Визуальное поле наблюдателя представлено натуральными текстурами, состоящими из множества точек. И из картинки видно, что следы, которые рисуют эти точки в визуальном поле наблюдателя, изменяются мультипликативно прямо по направлению движения и в противоположной точке - там, откуда идёт наблюдатель. Точно справа и слева от наблюдателя (а также сверху и снизу) следы изменяются аддитивно. Неожиданно мы обнаружили ещё одно косвенное свидетельство о базовой роли аддитивных и мультипликативных процессов: они оказываются двумя противоположными эффектами движения наблюдателя через ландшафт мира.
Может быть, эта аналогия нам сообщает нечто весьма глубокое о роли и происхождении двух базовых процессов (которые в свою очередь прямо связаны с двумя базовыми операциями математики). Но одно почти не вызывает сомнений: особенности движения и масштабирования текстур в визуальном поле является тем самым ориентиром, на основе которого зрительное восприятие создаёт объемную динамическую модель мира вокруг нас. Эту мысль высказал знаменитый когнитивист и исследователь визуального восприятия, ныне классик, Джеймс Гибсон (некоторые считают его представителем школы гештальт-психологии, которая нам весьма близка). Вот картинка из его очень интересной книги "Экологический подход к зрительному восприятию", которая лучше иллюстрирует то, о чём мы говорим:
Кстати, именно на этом принципе астрономы установили направление движения солнечной системы в космическом пространстве - рассеянные в космосе звёзды выступили как движущиеся точки "вселенской текстуры". (К слову, точка небесной сферы, в направлении которой движется солнечная система именуется апексом, а противоположная - антиапексом.) Проницательный читатель, может быть, догадывается как этот же принцип может использоваться и для анализа социальной динамики: подобно тому, как астрономы нашли ответ на вопрос "Куда движется солнечная система?", мы можем найти ответ на вопрос "Куда движется наше общество?" Впрочем, это тема для отдельного разговора, мы её пока отложим.
Далее возникает ещё одна аналогия: следы движущихся точек образуют в визуальном поле нечто подобное сети силовых линий, которыми иллюстрируют направление и интенсивность электрических сил, возникающих около двух противоположных зарядов:
Термины "визуальное поле" или "перцептуальное поле" неожиданно приобретают новый смысл - они оказываются чем-то подобным настоящему электрическому полю... Но тут мы остановимся, чтобы не забрести раньше времени в совершенно новую тему.
Обобщение базовых процессов
Как ясно в том числе и из сравнения аддитивного и мультипликативного роста с двумя типами движений, у каждого из них имеется прямая противоположность - аддитивное и мультипликативное уменьшение соответственно. Мы можем получить уменьшение из роста, просто обращая правила работы моделей: пусть, например, в каждый момент времени множество объектов не прирастает на одну частицу, а наоборот, теряет её. При этом уравнения вероятности полностью сохраняют свою форму, так что их следует считать не уравнениями вероятности прироста, а просто вероятности события на объекте i. Тут "событие" означает или прирост на одну частицу или наоборот, потерю одной частицы.
Ещё раз сравним между собой эти уравнения. Уравнение вероятности события на объекте i в аддитивном процессе:
В мультипликативном процессе:
Кажется, они имеют принципиально разную форму, но на самом деле они являются частными случаями общего уравнения вида:
При ω=0 мы получаем уравнение вероятности события в аддитивном процессе, при ω=1 - в мультипликативном процессе. Параметр ω (омега) в этом обобщенном уравнении может принимать любые значения, даже отрицательные. При ω>1 мы получаем "гипер-мультипликативные" процессы, в которых разница в относительной доле объектов увеличивается (в случае роста множества). При ω<0 получаются "инфра-аддитивные" процессы, в которых происходит нивелирование не только относительных, но и абсолютных различий объектов.
Мы теперь имеем целый спектр различных процессов, в котором аддитивный и мультипликативный оказываются только двумя (хотя и самыми важными) точками. Этот спектр удобно проиллюстрировать действием, которое оказывает каждый процесс (в варианте роста) на некоторое исходное множество - в его качестве мы взяли уже знакомое нам множество объектов, массы которых равны их номеру:
Следует думать, что самыми распространёнными процессами являются те, для которых параметр ω лежит в диапазоне от 0 до 1. Однако, для полноты картины нам полезно помнить о том, что этот диапазон – лишь центральная часть бесконечного спектра.
Мера однородности и энтропия Реньи
В предыдущем Прологе мы использовали теорию информации для оценки влияния базовых процессов на энтропию растущего множества k объектов. Мы установили, что аддитивный рост увеличивает энтропию вплоть до предельного значения, соответствующего энтропии k равновероятных состояний. Мультипликативный рост не изменяет энтропии множества, что применительно к росту организованных систем означает неизменность их структуры.
Теперь мы вернёмся к этой теме, но проанализируем действие обобщенных процессов на энтропию множества, а заодно более подробнее разберёмся с тем, что вообще означает "энтропия".
Часто говорят, что энтропия является мерой беспорядка в системе. Но, хотя в этом определении и есть доля справедливости, его легко неверно понять. Рост энтропии в системе может вовсе не выглядеть как рост беспорядка, а напротив, может восприниматься как рост упорядоченности. Например, беспорядочный, хаотичный скалистый ландшафт под действием миллионов лет эрозии превращается в ровное плато, покрытое мелкими камнями и песком. Кажется, ландшафт стал более упорядоченным, но при этом его энтропия выросла.
Гораздо более точное определение энтропии - как меры однородности или равновесности системы. Если система или объект имеет k альтернативных состояний, его энтропия максимальна, когда все эти состояния равновероятны - мы подробно обсуждали это, знакомясь с понятиями теории информации.
Когда мы изучаем, как различные процессы роста - аддитивные, мультипликативные или обобщенные - влияют на массу/размер объектов множества, естественно обратиться к ставшей традиционной мере однородности, энтропии. Именно так мы и поступили в предыдущем Прологе. Однако, вообще, всякий раз, когда возникает необходимость оценить степень однородности, соразмерности элементов какой-либо системы, энтропия оказывается полезной мерой (вспомним пример с оценкой различных способов обогащения руды).
Самой известной формулой для расчёта энтропии H является уже хорошо знакомая нам формула Шеннона:
(Напомню, что мы несколько изменили формулу, чтобы исчислять информацию не в битах, а натах.) Как мы вскоре увидим, эта формула - не единственная возможная мера однородности, но её преимущество в том, что она оказалась адекватной мерой равновесности в термодинамических системах. То есть, энтропия по Шеннону оказалась не абстрактной выдумкой математиков, а вполне конкретной физической величиной, входящей в важные уравнения физики.
Мы уже видели, как энтропия по Шеннону увеличивается с возрастанием однородности в системе. Пусть у нас имеется объект, который может находиться в двух альтернативных состояниях. Обозначим вероятность первого состояния как p1. Тогда вероятность второго равна p2 = 1-p1. Рассчитывая энтропию по формуле Шеннона для различных значений p1, мы получим следующий результат:
Мы видим, что максимум энтропии достигается в точке p1=0,5, то есть, тогда, когда вероятности альтернатив одинаковы, когда состояния максимально вероятностно однородны. Когда разница между ними максимальна, энтропия становится равной нулю, что можно понимать как устремление неоднородности в системе к бесконечности.
Точно также мы можем оценивать и неоднородность объектов множества: в качестве p1 и p2 мы должны взять массовую долю объектов в общей массе множества. То есть, если наше множество состоит всего из двух объектов с массами m1 и m2, получим p1 = m1/(m1+m2) и p2 = m2/(m1+m2). Ясно, что энтропия массы объектов будет максимальна, когда m1 = m2.
Итак, шенноновская энтропия позволяет оценивать неоднородность объектов некоторого множества по какому-либо параметру. Но это должно нам кое-что напомнить: мы только что вели разговор о процессах, которые уменьшают неоднородность множества (например аддитивный рост) и о процессах, которые его наоборот, увеличивают (гипер-мультипликативный рост). Есть какое-то тонкое сходство в темах. Прояснить его нам поможет история про причудливого математика-животновода.
Этот животновод приобрёл двух поросят - одного возраста, но первый был худой, а второй - толстенький. В весе они различались ровно в два раза. И так хозяину понравилось, что они такие разные, что он решил кормить поросят так, чтобы мера однородности в весе свиней оставалась постоянной. В качестве меры однородности животновод взял, как положено, энтропию Шеннона. Животновод был, видимо, знаком с Прологами, и знал, что для сохранения шенноновской энтропии свиней следовало кормить по принципу "богатый становится богаче" - чем больше была весовая доля свиньи в их суммарном весе, тем большую долю кормов она получала.
Всё у нашего животновода получилось, и он был счастлив, но однажды он познакомился ещё с одним энтузиастом "неоднородного животноводства". Когда они стали обсуждать технические детали, обнаружилось вдруг, что вместо того, чтобы применять при откорме классическое правило "богатый становится богаче", при котором доля кормов, получаемых свиньей i равна:
новый знакомый применял обобщенное правило:
при этом ω не равнялась 1, а была (к примеру) равной 1/2. "Как же так?!" - вскричал наш животновод - "Ведь при таком откорме шенноновская энтропия не остаётся постоянной, она возрастает!"
"А причём тут шенноновская энтропия?" - ответил ему спокойно новый знакомый - "Я считаю, что для правильного поддержания неоднородности свиней следует использовать энтропию Реньи."
Автору неизвестно, чем закончилась эта история и не ошибался ли в чём-то новый знакомый нашего животновода, но во всяком случае для нас это хороший повод познакомиться с энтропией Реньи - мерой однородности, которая является обобщением шенноновской энтропии.
В 60-х годах прошлого века замечательный венгерский математик Альфред Реньи - тот самый, который вместе с Эрдешом заложил основы теории случайных графов - предложил обобщение энтропии Шеннона. Эта формула называется уравнением Реньи для энтропии порядка α:
В ней имеется параметр α - в зависимости от конкретного его значения мы получаем разные меры однородности - от самых мало-чувствительных до сверх-чувствительных. Поясним это примером с объектом, имеющим два альтернативных состояния:
Чем больше параметр α, тем чувствительнее формула к разнице между вероятностями p1 и p2. Наоборот, когда α близка к нулю, энтропия Реньи оказывается почти одинаковой для широкого диапазона различий двух состояний, в пределе вообще их не различает. В случае α=1 мы получаем энтропию по Шеннону. Рассмотрим случаи α=0 и α=1 подробнее.
При α=0 формула Реньи превращается в
В этом виде формула вообще не различает разницу вероятностей между состояниями (или разницу масс между объектами множества) и величина энтропии зависит только от количества состояний k - наши животноводы могли бы как угодно откармливать свиней, и всё равно получали бы одну и ту же энтропию своего стада, если количество голов в нём остается неизменным. Но точно также выглядит формула энтропии (количества информации) по Хартли. Напомню, Хартли предложил самую первую формулу теории информации, которая была пригодна только для равновероятных альтернатив. И вот, она оказывается частным случаем энтропии Реньи, причём формула Реньи позволяет считать энтропию "по Хартли" даже для разно-вероятных состояний.
При α=1 мы получаем формулу Шеннона:
Если попробовать просто подставить α=1 в формулу Реньи, мы получим неоднозначность типа деления 0 на 0:
Для разрешения неопределенности в данном случае нужно воспользоваться правилом Лопиталя - предел отношения двух функций (при некоторых условиях) равен пределу отношения их производных. В данном случае:
Вычисляя предел правой части мы и получим формулу Шеннона:
Значения α=0 и α=1 оказываются особыми точками в целом спектре возможных энтропий, и это прямо перекликается с картиной спектра обобщенных процессов:
Мы затенили область α<0, поскольку Реньи определял свою энтропию только для значений α>0. Однако, кажется любые значения α удовлетворяют требованиям к уравнению энтропии (так, как их излагал сам Реньи в статье "On Measures of Entropy and Information", в которой он собственно и предложил обобщённое уравнение.). При отрицательных α энтропия достигает не максимума, а минимума при равенстве вероятностей двух альтернативных состояний:
В некотором смысле при α<0 энтропия становится "антиэнтропией" - мерой разнородности.
Применительно к множеству объектов различной массы обобщённое уравнение энтропии Реньи выглядит так:
Читатель наверняка замечает, что это выражение напоминает уравнение вероятности для обобщенного процесса:
От том, как именно они связаны, мы будем говорить уже в следующем Прологе.
Постскриптум о животноводах
Cледует ещё только поставить точку в истории про двух "неоднородных животноводов". Один из них откармливал свиней, стараясь сохранять неизменную энтропию Шеннона своего стада. Второй - энтропию Реньи с порядком не равным 1. На этой почве у животноводов случилось размолвка, но совершенно напрасно: дело в том, что если у множества объектов сохраняется неизменной энтропия Шеннона, то сохраняется и неизменной энтропия Реньи любого порядка. И наоборот, если сохраняется неизменной энтропия Реньи (кроме случая α = 0), то сохраняется и энтропия Шеннона. Это вытекает из следующего элементарного свойства энтропии Реньи:
тут коэффициент d задает масштабирование множества, которое, как мы знаем, сохраняет неизменной его энтропию Шеннона. Мы видим, что масштабирование сохраняет и энтропию Реньи любого порядка. Животноводы спорили напрасно.
1
" Например, беспорядочный, хаотичный скалистый ландшафт под действием миллионов лет эрозии превращается в ровное плато, покрытое мелкими камнями и песком. Кажется, ландшафт стал более упорядоченным, но при этом его энтропия выросла.
Гораздо более точное определение энтропии - как меры однородности"
Тут надо поосторожнее с однородностью. Возьмем те же неразличимые частицы(невзаимодействующие) в кол-ве М, распределенные по N состояниям - ящикам. Так вот, их "спектральный состав" n(m) - доли ящиков имеющих m частиц в равновесии будут стремиться равномерно распределиться по всем m, но само распределение m(i) будет наоборот неравномерным, т.к. должны быть представлены по возможности все m, а учет кончного M дает экспоненту, примерно так же как тасование колоды или геометрическое распределение в статье Симона. Это у различимых частиц будет однородность по i - состояниям а по m наоборот будет гауссов пик на m среднем... Как-то немножко путанно, вопрос несложный, еще на эту темку:
http://dxdy.ru/topic67612.html
С энтропиями Реньи очень интересно., там же еще есть интересный случай а=2 - что-то родственное корреляцмионному интегралу... Вобщем, продолжения ждем-с...:)
druggist (25.01.2013 12:55)
2
Согласен что нужно поосторожнее
Дело зависит от того, что считать однородностью. Правильнее конечно говорить, что энтропия - это штука, которая стремится к максимуму в закрытых системах :) Равновесность может быть? Тоже не идеально. Стараюсь сделать интуитивно понятной идею для не-специалистов. Чтобы не считали энтропию мерой какого-то "беспорядка".
Насчет энтропий Реньи - ох, пока слышу звон, но не знаю, где он :)
Роман Уфимцев (25.01.2013 14:15)
3
По поводу энтропии как \"меры беспорядка\"
Дело тут вот в чем. Действительно, все микросостония замкнутой системы в равновесии равновероятны. Но мы то имеем дело с макросостояниями, например для различимых частиц определенный набор чмсел заполнения частиц в ячейках, т.е., функция распределения будет макрообектом, поскольку реализуется макроскопическим числом микросостояний(за счет перестановки частиц). Максимизация числа микросостояний относящихся к макрообъекту и дает параметры этого макрообъекта. Аналогично макросостояние "окурки в пепельнице" и окурки, проивольныо рассыпаные по полу реализуются разным кол-вами микросостояний. Возможно, этот пример несколько примирит вас с концепцией энтропии как меры беспорядка
druggist (29.01.2013 18:41)
4
Имеется в виду физическая энтропия
В предудущем сообшении имеется в виду физическая энтропия и физические ненаблюдаемые микросостояния
druggist (29.01.2013 19:14)
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER