КОГНИТИВИСТИдейное ядро²Прологи
Пролог 89. Т-информация
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
.
Прологи
Пролог 1. Когнитивный порядок
Пролог 2. Сигнатура характерного масштаба
Пролог 3. Степенной закон
Пролог 4. Три типа степенных распределений
Пролог 5. Закон Зипфа, сигнатура β = 1
Пролог 6. Цветные шумы, сигнатура α = 1
.
Пролог 7. Розовый шум и модель Бака-Снеппена
Пролог 8. Розовый шум и модель релаксации
Пролог 9. Розовый шум: шипелки и фрактальное блуждание
Пролог 10. Население городов и закон Зипфа
Пролог 11. Масштабно-инвариантные сети
Пролог 12. Фракталы и закон Зипфа
Пролог 13. Дробление континуума
Пролог 14. Социально-географические волокна
Пролог 15. Закон Зипфа в случайных текстах
Пролог 16. Тексты как фракталы
Пролог 17. Когнитивные фракталы
Пролог 18. β и размерность Хаусдорфа
Пролог 19. Образы когнитивных фракталов
Пролог 20. Когнитивные волокна
Пролог 21. Математика когнитивных фракталов
Пролог 22. Стохастические когнитивные фракталы
Пролог 23. Сравниваем Россию и Польшу
Пролог 24. От Швейцарии до Афганистана
Пролог 25. Гармониум
Пролог 26. Шум когнитивных фракталов
Пролог 27. Шум когнитивных процессов
Пролог 28. Розовый шум в поведении людей
Пролог 29. Шум в динамике зрительного внимания
Пролог 30. Изображения и двухмерный розовый шум
.
Пролог 31. Физическая и когнитивная релаксация
Пролог 32. Когнитивная релаксация и цветные шумы
Пролог 33. ВТОРОЙ ЦИКЛ. Дробление времени
Пролог 34. Когнитивное дробление времени
Пролог 35. Время как текст
Пролог 36. События и причинность
Пролог 37. Четыре причины Аристотеля
Пролог 38. Экзогенные причины
Пролог 39. Генеративные модели причинности
Пролог 40. Генеративные модели причинности, часть 2
Пролог 41. Гештальт-причинность
Пролог 42. Тау-модель
Пролог 43. Я-состояния и тироны
Пролог 44. Параметры тау-модели
.
Пролог 45. Параметры тау-модели, часть 2
Пролог 46. Параллельный тирон
.
Пролог 47. Параллельный тирон, часть 2
Пролог 48. Свойства тирона
.
Пролог 49. Свойства тирона, часть 2
.
Пролог 50. Семейства тирона
Пролог 51. Эволюция как тирон
Пролог 52. Я-состояния и девиации
Пролог 53. Эволюция и морфогенез
Пролог 54. Волокна и легенды
Пролог 55. Волокна и легенды, часть 2
Пролог 56. ТРЕТИЙ ЦИКЛ. Я-состояния и их структура
Пролог 57. Я-состояния и их структура, часть 2
Пролог 58. Спиральная структура
.
Пролог 59. Информация и её типы
Пролог 60. Информация и симметрия
Пролог 61. Информация и закон Вебера-Фехнера
Пролог 62. Натуральная пропорция
Пролог 63. Апекс Я-состояний
.
Пролог 64. Генеративные модели Я-состояния
Пролог 65. Нейрон
Пролог 66. Критические случайные графы
.
Пролог 67. Блохи и табакерки
Пролог 68. Чаши, табакерки и прочее
.
Пролог 69. Интерлюдия
Пролог 70. Гештальт числа e
.
Пролог 71. Гештальт числа e, часть 2
Пролог 72. ЧЕТВЁРТЫЙ ЦИКЛ. Тиронный рост
Пролог 73. Обобщённые процессы
Пролог 74. Обобщённые процессы, часть 2
Пролог 75. Обобщённые процессы и энтропия Реньи
Пролог 76. Дельта-процессы
.
Пролог 77. Дельта-аддитивные процессы
Пролог 78. Дельта-мультипликативные процессы
Пролог 79. Дельта-мультипликативные процессы, часть 2
Пролог 80. Дельта-мультипликативные процессы, часть 3
Пролог 81. Структурно-временной изоморфизм
Пролог 82. Тау-процесс и время
Пролог 83. Знаки состояний
Пролог 84. Мерные знаки и случайное блуждание
.
Пролог 85. Именные знаки и графы состояний
Пролог 86. ПЯТЫЙ ЦИКЛ. Простые числа
Пролог 87. Числа и их компоненты
Пролог 88. Время и простые числа
Пролог 89. Т-информация
Пролог 90. Новый прототип статистики Зипфа
Пролог 91. Новый прототип и гармоническая информация
.
Пролог 92. Не-целочисленные симметрии
Пролог 93. Спектры симметрии
.
Пролог 94. Преобразования симметрий
Пролог 95. Комплексные симметрии
Пролог 96. Cимметрии и структурные модальности
Пролог 97. Симметрии и характерная динамика
Пролог 98. Симметрия, энергия, излучения
Пролог 99. Симметрия системы
Пролог 100. Симметрия континуумов и траекторий
Пролог 101. Симметрия континуумов, часть 2
Пролог 102. Симметрия и масштаб
Пролог 103. Симметрия и вероятность
Пролог 104. Симметрия и вероятность, часть 2
.
Пролог 105. Преобразование симметрии континуумов
Пролог 106. Cимметрия многомерных континуумов
Пролог 107. Опыты с взаимодействием форм
Пролог 108. Опыты с взаимодействием форм, часть 2
Пролог 109. Омега-преобразование
Пролог 110. Омега-линзы
Пролог 110 (2). Омега-линзы, часть 2
Пролог 111. Геометрическое среднее и максимум энтропии
Пролог 112. Мультипликативные коллизии
Пролог 113. Смысл принципа максимума энтропии
Пролог 114. Варианты модели мультипликативных коллизий
Пролог 115. Свойства модели мультипликативных коллизий
Пролог 116. Геометрическая энтропия
Пролог 117. Специальные энтропии. Последний Пролог.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Пролог 89. Т-информация
 
Роман Уфимцев
3 мая 2013 года, Калининград
В этом Прологе мы совершим "манёвр", и подойдём к теме простых чисел с новой стороны: мы займёмся их связью с теорией информации.
Простые числа фундаментальным образом связаны с основаниями теории информации. Мы покажем, что простые числа обеспечивают строгое выполнение основных уравнений этой теории, самой возможности универсального и однозначного исчисления информации.
Подозрение о глубокой связи простых чисел и информации возникает при взгляде на многие известные уравнения теории простых чисел, например:
Это приближенное уравнение выполняется тем лучше, чем больше N мы берём (некоторое время назад мы показали путь простого доказательства этого уравнения). Логарифм ln(N) в его левой части ясно перекликается с количеством информации, вычисляемой по формуле Хартли, в то время как сумма величин ln(p)/(p-1) взятая по всем простым числам из диапазона от 2 до N отчётливо напоминает формулу Шеннона, которая является обобщением формулы Хартли:
Подобные сходства не могут быть случайностью. Но их смысл нам только предстоит отыскать. А начнём мы с того, что внимательно пересмотрим самые основы теории информации.
"Тёмное место" формулы Хартли и Т-информация
Некоторое время назад мы обсуждали основы теории информации, стремясь приобрести интуитивно прочное понимание основных формул этой теории, и самого понятия информации. Тогда же мы познакомились с одной из важнейших (и простейших) формул информационной теории - формулой Ральфа Хартли для количества информации, которую он опубликовал в статье 1928 года "Transmission of Information". При исчислении информации в битах она выглядит так:
Напомню, что количество информации I, вычисляемое по этой формуле, удобно понимать как минимально необходимое количество бинарных альтернатив, которые необходимо разрешить, чтобы выделить одну из N равновероятных возможностей. Это удобно иллюстрировать древовидным бинарным графом:
Чтобы добраться из вершины графа до одной из 8 равновероятных возможностей A,B,C,.., необходимо пройти 3 бинарные развилки. Число 3 и есть количество информации в битах, необходимой для внесения определенности среди 8 равновероятных альтернатив. Каждая развилка сокращает область поиска вдвое и это соответствует получению ровно 1 бита информации.
(Добавим иллюстрацию с весенним настроением. Если вы пытаетесь узнать у симпатичной, но немногословной девушки, живущей в 64-квартирном доме, в какой именно квартире она живёт, вам потребуется не больше log2(64) = 6 вопросов, чтобы точно определить номер квартиры - даже если девушка будет отвечать на ваши вопросы только "да" или "нет". Если вы правильно ставите вопросы, каждый её ответ будет приносить вам по 1 биту информации - а всего их нужно, как показывает формула Хартли, 6.)
Формула Хартли (и расширяющая её для не-равновероятных возможностей формула Шеннона) лежит в фундаменте современной теории информации, и стала настолько привычной и общепринятой, что одно её "тёмное место" легко упустить.
Количество информации, рассчитанное по Хартли, действительно имеет вполне ясный, конкретный смысл, если рассматривать бинарное дерево выбора альтернатив. Но рассмотрим случай, в котором у нас имеется 3 равновероятных альтернативы. Какое количество информации необходимо, чтобы внести определенность среди 3 равновероятных альтернатив? Формула Хартли говорит нам, что оно равно log2(3) ≈1,585... бита. Но как нам понимать это не-целое (и даже не рациональное) число? Что оно характеризует, что описывает? Как оно соотносится с длиной траектории в дереве бинарных альтернатив?
Попробуем составить соответствующее бинарное дерево, и получим примерно следующую картину:
Бинарный граф выглядит вполне ясным, и ничто не мешает подсчитать необходимое количество развилок. Заметим для этого, что если альтернативы равновероятны, то с вероятностью 1/3 нам будет достаточно пройти только одну развилку, чтобы оказаться в пункте назначения, в точке C. Чтобы добраться до точки A или B потребуется пройти 2 развилки - и это случится с вероятностью 2/3. Значит, усредняя по всем возможностям, мы получим
Число 5/3 ≈ 1,67... несколько больше, чем то, которое мы получаем по формуле Хартли, и в отличие от последнего, имеет ясный смысл. Какое же значение является правильным?
Далее, для четырёх альтернатив подобной проблемы нет, и формула Хартли даёт точное количество необходимого числа развилок в бинарном дереве log2(4) = 2. Но при пяти альтернативах мы вновь сталкиваемся с проблемой. Количество информации по формуле Хартли равно log2(5) = 2,32... а анализ бинарного дерева, например,
даёт величину
то есть, 2,4 что также несколько выше количества информации по Хартли.
Ясно, что лишь в том случае, когда N = 2s, где s = 0,1,2,... количество информации, вычисляемое по формуле Хартли IH точно совпадает с длиной траектории в бинарном дереве, и равно (в битах)
И только в этих случаях информация по Хартли имеет конкретный, ясный смысл.
Для того, чтобы отличать величину, вычисляемую с помощью бинарных деревьев от информации по Хартли, назовём её T-информацией. (От слова "Tree" - дерево. Автор перебирал разные варианты названия, но каламбуры вроде тринформации - от tree + information показались менее подходящими.)
Заметим, что при N=5 мы можем построить бинарное дерево иначе, например, так:
В этом случае вычисление среднего необходимого количества развилок даёт:
Это больше, чем 12/5. Выстраивая другие деревья, можно получить и ещё большие значения. Однако, ясно, что никакое бинарное дерево не позволяет получить значений меньших, чем 12/5, поэтому именно его следует считать "правильным". При "правильном" построении бинарного дерева каждая развилка делит "крону" на максимально близкие по размеру части. Например, в данном случае первая развилка должна соответствовать разделу 5=2+3, а не 5=1+4. В целом, для того, чтобы дерево несло минимально возможную Т-информацию, необходимо, чтобы траектории от вершины до каждой из альтернатив были максимально сходны между собой по длине.
Разберёмся, как ведёт себя Т-информация и как она в общем соотносится с информацией по Хартли. Опуская не сложный вывод, вообще, количество Т-информации, необходимое для выбора среди N альтернатив равно:
где B - "опорная степень" - максимальная степень двойки, которая меньше или равна числу N. Например, для N=9 величина B=8=23, для N=63 величина B=32=25, и т.д.
Поскольку опорная степень B всегда меньше или равна N, Т-информация IT всегда несколько больше или равна количеству информации по формуле Хартли IH. Они точно равны, когда B = N, то есть, когда число N является степенью двойки.
С ростом N, количество Т-информации совершает небольшие волнообразные движения (красные точки), в то время как количество информации по Хартли растёт строго логарифмически (чёрная линия):
С ростом N абсолютные отклонения IT от IH остаются неизменными (то есть, амплитуда их изменения) что удобно проиллюстрировать разностью IT – IH (будем именовать эту разность дефектом):
Максимальное значение дефекта ITIH равно
Оно достигается, когда
Итак, Т-информация по величине оказывается довольно близкой к информации по Хартли, но всё же обычно не совпадает с ней. При этом, нужно ещё раз подчеркнуть: Т-информация как мера неопределённости имеет конкретный смысл: она в точности равна среднему количеству бинарных выборов, которые нужно сделать, чтобы выбрать один из N объектов. Количество информации, рассчитываемое по формуле Хартли имеет такой ясный смысл только при N = 2s, где s = 0,1,2,... В остальных же случаях информация по Хартли кажется довольно абстрактной мерой.
Впрочем, далее мы познакомимся с необходимыми условиями, при которых Т-информация точно совпадает с информацией Хартли при любых значениях N.
Т-информация в не-бинарных деревьях
Как мы знаем, количество информации по формуле Хартли можно рассчитывать не только в битах, соответствующих бинарным выборам, но и в тритах, соответствующих выбору среди трёх альтернатив, в дитах, которые соответствуют выбору среди 10 альтернатив, и т.д. Например, для выбора одного из трёх вариантов A,B,C достаточно одной "тройной вилки", следовательно, необходим ровно 1 трит информации:
Если обозначить как M количество альтернативных направлений в каждой развилке дерева, то количество информации по Хартли вычисляется с применением логарифма по основанию M:
Можем ли мы рассчитывать Т-информацию в тритах? То есть, можем ли мы рассчитывать количество тройных развилок, которые нужно пройти для выбора одного из N вариантов? Разумеется, можем, хотя тут есть некоторые особенности. Построим тринарные деревья для первых значений N:
Как видим, картина стройная лишь для нечётных значений N. При чётных значениях полноценное тринарное дерево построить не получается - одна ветвь повисает в пустоте. Пока не будем решать эту проблему, и будем рассчитывать тринарную Т-информацию только для нечётных N.
Например, посчитаем Т-информацию для N=5. Мы видим, что для выбора вариантов A,B,C нужно пройти две тринарные развилки, а для выбора вариантов D и E - одну. Значит, с вероятностью 3/5 нам потребуется 2 трита информации, и с вероятностью 2/5 - один трит. В среднем получаем:
Это вновь несколько больше, чем результат, рассчитанный по формуле Хартли: log3(5) ≈ 1,465... - то есть, мы опять имеем некоторый не-нулевой дефект.
Вообще, простой анализ строения таких деревьев приводит нас к общей формуле тринарной Т-информации:
где B - опорная степень, в данном случае равная максимальной степени тройки, которая меньше или равна числу N. Для N=5 опорной степенью является число 3 = 31. Тринарная Т-информация точно совпадает с информацией по Хартли - то есть, дефект нулевой - лишь в том случае, если N = 3s, где s = 0,1,2,...
Хотя полученная формула имеет полностью ясный смысл только для не-чётных N, интересно с её помощью рассчитать, например, Т-информацию для случая N=2:
В данном случае опорная степень B = 1, поскольку 30 = 1 - это максимальная степень тройки, которая меньше или равна N=2. Значит, получаем:
Результат по меньшей мере контр-интуитивный, однако, он не случаен и несёт конкретный смысл. Со временем поймём, какой именно. Заметим только, что расчёт количества информации для N=2 в тритах по формуле Хартли даёт величину log3(2) ≈ 0,631, что ближе к интуитивно ожидаемому значению 2/3 - интуитивно ожидаемому, поскольку развилка "задействована" на 2/3.
Наконец, формула для вычисления Т-информации по любому целочисленному основанию M (то есть, для деревьев с M-развилками):
C ростом M всё большее количество значений N становятся "проблемными" с точки зрения смысла этой формулы. Если при M=3 можно построить завершённое (то есть, не имеющее пустых ветвей) тринарное дерево только для не-чётных N, то при M=4 (четверные развилки), можно построить дерево лишь для значений N=1,4,7,10,13...:
Для M=5 ("пятипалые" развилки) можно построить дерево только для значений N=1,5,9,13,17..., и т.д.
Условная соизмеримость единиц измерения информации
Итак, лишь бинарные деревья позволяют рассчитывать Т-информацию для любого натурального N. Деревья, образованные более "многопалыми" развилками имеют ограничения на возможное количество альтернатив, которые они могут нести. Тем не менее, для многих N можно строить деревья с разным количеством развилок (к слову, если N - простое число, оно, в среднем, может быть представлено большим количеством разных деревьев, чем в случае, если N - сложное). Простейший пример - N=3:
Для того, чтобы добраться от вершины бинарного дерева до одной из трех альтернатив в среднем нужно пройти 5/3 развилки. В тринарном дереве - всего одну. Мы говорим, что для N=3 бинарная информация равна 5/3 бита, а тринарная - 1 трит. Отсюда, вроде бы, получается, что 1 трит = 5/3 бита. Однако, это не верное тождество. Рассмотрим случай N=5:
Бинарное дерево даёт Т-информацию 12/5 бита, тринарное - 8/5 трита. Отсюда следует, что 1 трит = 3/2 бита. Результат отличается от того, что мы получали выше для N=3. В целом, оказывается, что между т-информационными тритами и битами нет постоянного отношения: количество определённости или Т-информации, которую вносит тринарная развилка не соотносится каким-то строго постоянным образом с количеством Т-информации, которое вносит бинарная развилка. Проще говоря, тринарные развилки не соизмеримы с бинарными.
Определённое отношение между тритом и битом существует лишь асимптотически, для очень больших N. Вот как выглядит отношение количества Т-информации, вычисленного на основе тринарных деревьев (то есть, в тритах) к бинарной Т-информации (вычисленной в битах) для разных N:
Не трудно показать, что с ростом N отношение сходится к величине ln(3)/ln(2) - именно оно и принято в классической теории информации: 1 трит = ln(3)/ln(2) бит. Однако, мы видим, что это равенство имеет конкретный смысл лишь в пределе, поэтому мы будем говорить, что триты и биты (также как и другие единицы информации) лишь условно соизмеримы между собой. Чтобы подчеркнуть этот факт, мы будем обозначать количество Т-информации, содержащееся в бинарной развилке римской цифрой II, в тринарной - римской цифрой III, и т. д. Величины II и III в общем несоизмеримы между собой, между ними нет постоянного отношения. Лишь в пределе, асимптотически выполняется классическое соотношение:
Почему Ральф Хартли (а вслед за ним и другие информационные теоретики) не уделил внимания проблеме дефекта и следующей из неё несоизмеримости единиц измерения информации? Почему приведённые нами простые соображения не заставили исследователей помнить о некоторой условности классических уравнений теории информации?
Тут видится две причины. Во-первых, Хартли выводил свою формулу рассматривая систему, в которой проблемы дефекта нет по определению. Он анализировал канал связи по которому передаются символы. Если каждый символ может принимать M равновероятных состояний, то количество возможных комбинаций в последовательности из k таких символов равно Mk. Сообщение из k символов, про сути, несёт информацию, позволяющую выбрать одну альтернативу из N = Mk возможностей. Приняв, что один символ сообщения несёт единицу информации, мы получим, что общее количество информации в сообщении всегда имеет целочисленную величину. Это соответствует деревьям вида:
в которых Т-информация всегда равна информации по Хартли, то есть, дефект нулевой. Каждый новый символ в сообщении добавляет к дереву ещё один полный каскад, и при этом Т-информация оказывается всегда равной k, то есть, информации, рассчитанной по формуле Хартли: IH = ln(Mk)/ln(M) = k.
Во-вторых, теория информации, развиваясь из анализа реальных каналов связи, имела дело с большими объемами информации и огромными величинами N. Например, сообщение из 100 символов, в котором каждый может принимать 2 значения - единицу и ноль - может иметь 2100 альтернативных содержаний, это огромное число. Но при очень больших N несоизмеримость единиц исчисления информации перестаёт быть заметной - начинают действовать асимптотические соотношения.
Таким образом, теория информации как наука о каналах связи имеет вполне пригодный для практических нужд инструментарий, опирающийся на оправданные упрощения и приближения. Но мы смотрим на дело несколько с другой, более фундаментальной стороны. Тут уместно следующее сравнение (возможно, более, чем просто сравнение): получив в каких-либо расчётах гармоническое число, имеющее вид дискретной суммы, иногда его можно заменить на непрерывное интегральное приближение, которое гораздо удобнее для расчётов и анализа:
Это приближение позволяет при очень больших N принять гармоническое число равным простому логарифму ln(N). Однако, при малых N оно выполняется плохо. Точно также, при больших N информация может успешно рассчитываться по имеющей форму простого логарифма формуле Хартли. Но при не очень больших N всё оказывается не так просто.
Смешанные деревья и простые числа
До сих пор мы рассматривали деревья, состоящие только из одинаковых развилок - по две ветви, по три ветви, и т.д. Но что изменится, если деревья могут состоять из разных развилок? Например, если деревья могут состоять из развилок M=2 и M=3, для первых N получим деревья вида:
Эти деревья состоят из развилок двух типов и, строго говоря, эти типы несоразмерны между собой. Поэтому записывая Т-информацию для этих деревьев мы можем использовать знак "+" помня о его условности:
N=1: 0
N=2: II
N=3: III
N=4: 2*II
N=5: (3/5)*(III+II) + (2/5)*(2*II) = (7/5)*II + (3/5)*III
N=6: II+III
Величины II и III полезно рассматривать как единичные векторы, направленные ортогонально друг другу, тогда полученные для разных N величины Т-информации можно представить на двухмерной координатной плоскости:
Тут приведены точки для бинарно-тринарных деревьев вплоть до N=22.
Заметим, что на узлах координатной сетки находятся точки, соответствующие N, представимым в виде N = 2x*3y, где x и y - целые числа. Первое же число, которое оказывается не на узле - это N=5. Это число не представимо в форме произведения степеней 2 и 3, и это приводит к тому, что соответствующее дерево отличается от остальных: оно не вполне симметрично. Конкретно, траектории от вершины до альтернатив не одинаковы с точки зрения типа развилок, которые необходимо пройти (хотя и одинаковы с точки зрения длины траекторий).
Чтобы добиться однообразия, симметрии траекторий, естественная мысль - ввести ещё один тип развилок, тип V, и ещё одну координатную ось в нашу диаграмму:
В узлах сетки трехмерной диаграммы размещаются все числа, представимые в виде произведения N = 2x*3y*5z, где x, y и z - целые числа. Теперь мы можем составить совершенно симметричное дерево для N=5:
и для всех остальных N, представимых в виде произведения множителей 2,3 и 5.
Далее, для построения симметричного дерева для N=7 требуется ввести ещё и развилки типа VII, так что пространство, в узлах которого размещаются деревья для различных N становится четырёхмерным, и т.д.
Заметим, кстати, что мы можем изобразить трехмерную диаграмму, включающую ось V просто дорисовав её к двухмерной, с осями II и III:
Тогда точки для N = 2x*3y*5z проецируются на исходную двухмерную диаграмму, задавая величину Т-информации, которую бы имели деревья, если бы развилки типа V не использовались. То же самое верно и относительно проекции оси VII (и всех других осей):
Таким образом, для того, чтобы мы могли строить деревья для натуральных чисел в промежутке от 1 до некоторого F, образованные только симметричными траекториями, необходимо использовать развилки, типы которых соответствуют всем простым числам, лежащим в диапазоне от 2 до F.
Но в чём смысл симметричности деревьев в отношении траекторий? Что особенного в таких деревьях? Мы замечали, что среди возможных конфигураций деревьев, минимальной Т-информацией среди них обладает та, в которой траектории максимально близки друг другу как по длине, так и по типу развилок. Естественно предположить, что абсолютно минимальной - а значит, "правильной" - Т-информацией обладают деревья со строго одинаковыми, симметричными траекториями. Для N=5 такое дерево можно построить лишь используя развилку типа V, и значит, такая развилка несёт абсолютно минимальное, "правильное" количество Т-информации для N=5.
Из этого следует, что всё-таки существует мера, позволяющая сравнивать, соизмерять количество информации, которое несут развилки разного типа. В частности, выше мы представили N=5 как бинарно-тринарное дерево, для которого IT = (7/5)*II + (3/5)*III. Однако, в таком дереве траектории оказываются не симметричными, а значит, это значение IT не является "правильным". "Правильно" так: IT = V. При этом должно выполняться условие: (7/5)*II + (3/5)*III > V.
Единственно возможной мерой, отвечающей этому и всем подобным условиям (касающимся требований к "правильным" деревьям) и оказывается величина ln(M), где М характеризует тип развилки. Тогда, например, "информационная ёмкость" бинарной развилки равна ln(2), тринарной - ln(3), и отсюда следует классическое 1 трит = ln(3)/ln(2) бит.
Таким образом, содержательное исчисление информации по формуле Хартли (содержательное - значит, имеющее конкретное толкование в терминах Т-деревьев) и соизмерение различных единиц исчисления информации оказывается возможной только при условии использования в деревьях развилок всех простых типов. Только в этом случае Т-информация оказывается равной количеству информации, вычисленной по формуле Хартли.
Полезно познакомиться с ещё одним простым способом выведения относительной "информационной ёмкости" развилок различного типа.
Рассмотрим снова трёхмерную диаграмму, в которой представлены деревья, состоящие из развилок типа II, III и V. Можно заметить, что с ростом N происходит заполнение угла, образованного осями, но происходит это неравномерно:
Пусть к тому моменту, когда в диаграмме представлены точки, соответствующие всем N от 1 до некоторого F угол оказывается заполненным по оси II до отметки AII, по оси III - до отметки AIII по оси V - до AV. Мы можем записать приближенное равенство:
Логарифмируя, получим:
Значит, соответствующим образом отмасштабировав оси, мы получим картину равномерного заполнения угла:
Отсюда вытекает классическое соотношение между единицами информации: например, один шаг по оси III соответствует примерно ln(3)/ln(2) шагам по оси II, это значит 1 трит ≈ ln(3)/ln(2) бит. Однако равенство только примерное, потому что не существует таких F при которых бы наше исходное равенство выполнялось строго:
Подводя итог, отметим, что хотя вопрос соизмерения ёмкости различных типов развилок (а значит, и соизмерения различных единиц исчисления информации) можно решить, опираясь либо на предположение о "правильности" строго симметричных деревьев или рассматривая асимптотические соотношения, всё же нет какого-то прямого, очевидного и не требующего дополнительных предположений способа соизмерения - всё же можно говорить лишь об условной соизмеримости. И центральную роль в этой условной соизмеримости играют простые числа.
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER