КОГНИТИВИСТИдейное ядро²Прологи
Пролог 59. Информация и её типы
Прологи: наука о сознании становится точной
Манифест когнитивиста
.
Узелки на распутку
.
Прологи
Пролог 1. Когнитивный порядок
Пролог 2. Сигнатура характерного масштаба
Пролог 3. Степенной закон
Пролог 4. Три типа степенных распределений
Пролог 5. Закон Зипфа, сигнатура β = 1
Пролог 6. Цветные шумы, сигнатура α = 1
.
Пролог 7. Розовый шум и модель Бака-Снеппена
Пролог 8. Розовый шум и модель релаксации
Пролог 9. Розовый шум: шипелки и фрактальное блуждание
Пролог 10. Население городов и закон Зипфа
Пролог 11. Масштабно-инвариантные сети
Пролог 12. Фракталы и закон Зипфа
Пролог 13. Дробление континуума
Пролог 14. Социально-географические волокна
Пролог 15. Закон Зипфа в случайных текстах
Пролог 16. Тексты как фракталы
Пролог 17. Когнитивные фракталы
Пролог 18. β и размерность Хаусдорфа
Пролог 19. Образы когнитивных фракталов
Пролог 20. Когнитивные волокна
Пролог 21. Математика когнитивных фракталов
Пролог 22. Стохастические когнитивные фракталы
Пролог 23. Сравниваем Россию и Польшу
Пролог 24. От Швейцарии до Афганистана
Пролог 25. Гармониум
Пролог 26. Шум когнитивных фракталов
Пролог 27. Шум когнитивных процессов
Пролог 28. Розовый шум в поведении людей
Пролог 29. Шум в динамике зрительного внимания
Пролог 30. Изображения и двухмерный розовый шум
.
Пролог 31. Физическая и когнитивная релаксация
Пролог 32. Когнитивная релаксация и цветные шумы
Пролог 33. ВТОРОЙ ЦИКЛ. Дробление времени
Пролог 34. Когнитивное дробление времени
Пролог 35. Время как текст
Пролог 36. События и причинность
Пролог 37. Четыре причины Аристотеля
Пролог 38. Экзогенные причины
Пролог 39. Генеративные модели причинности
Пролог 40. Генеративные модели причинности, часть 2
Пролог 41. Гештальт-причинность
Пролог 42. Тау-модель
Пролог 43. Я-состояния и тироны
Пролог 44. Параметры тау-модели
.
Пролог 45. Параметры тау-модели, часть 2
Пролог 46. Параллельный тирон
.
Пролог 47. Параллельный тирон, часть 2
Пролог 48. Свойства тирона
.
Пролог 49. Свойства тирона, часть 2
.
Пролог 50. Семейства тирона
Пролог 51. Эволюция как тирон
Пролог 52. Я-состояния и девиации
Пролог 53. Эволюция и морфогенез
Пролог 54. Волокна и легенды
Пролог 55. Волокна и легенды, часть 2
Пролог 56. ТРЕТИЙ ЦИКЛ. Я-состояния и их структура
Пролог 57. Я-состояния и их структура, часть 2
Пролог 58. Спиральная структура
.
Пролог 59. Информация и её типы
Пролог 60. Информация и симметрия
Пролог 61. Информация и закон Вебера-Фехнера
Пролог 62. Натуральная пропорция
Пролог 63. Апекс Я-состояний
.
Пролог 64. Генеративные модели Я-состояния
Пролог 65. Нейрон
Пролог 66. Критические случайные графы
.
Пролог 67. Блохи и табакерки
Пролог 68. Чаши, табакерки и прочее
.
Пролог 69. Интерлюдия
Пролог 70. Гештальт числа e
.
Пролог 71. Гештальт числа e, часть 2
Пролог 72. ЧЕТВЁРТЫЙ ЦИКЛ. Тиронный рост
Пролог 73. Обобщённые процессы
Пролог 74. Обобщённые процессы, часть 2
Пролог 75. Обобщённые процессы и энтропия Реньи
Пролог 76. Дельта-процессы
.
Пролог 77. Дельта-аддитивные процессы
Пролог 78. Дельта-мультипликативные процессы
Пролог 79. Дельта-мультипликативные процессы, часть 2
Пролог 80. Дельта-мультипликативные процессы, часть 3
Пролог 81. Структурно-временной изоморфизм
Пролог 82. Тау-процесс и время
Пролог 83. Знаки состояний
Пролог 84. Мерные знаки и случайное блуждание
.
Пролог 85. Именные знаки и графы состояний
Пролог 86. ПЯТЫЙ ЦИКЛ. Простые числа
Пролог 87. Числа и их компоненты
Пролог 88. Время и простые числа
Пролог 89. Т-информация
Пролог 90. Новый прототип статистики Зипфа
Пролог 91. Новый прототип и гармоническая информация
.
Пролог 92. Не-целочисленные симметрии
Пролог 93. Спектры симметрии
.
Пролог 94. Преобразования симметрий
Пролог 95. Комплексные симметрии
Пролог 96. Cимметрии и структурные модальности
Пролог 97. Симметрии и характерная динамика
Пролог 98. Симметрия, энергия, излучения
Пролог 99. Симметрия системы
Пролог 100. Симметрия континуумов и траекторий
Пролог 101. Симметрия континуумов, часть 2
Пролог 102. Симметрия и масштаб
Пролог 103. Симметрия и вероятность
Пролог 104. Симметрия и вероятность, часть 2
.
Пролог 105. Преобразование симметрии континуумов
Пролог 106. Cимметрия многомерных континуумов
Пролог 107. Опыты с взаимодействием форм
Пролог 108. Опыты с взаимодействием форм, часть 2
Пролог 109. Омега-преобразование
Пролог 110. Омега-линзы
Пролог 110 (2). Омега-линзы, часть 2
Пролог 111. Геометрическое среднее и максимум энтропии
Пролог 112. Мультипликативные коллизии
Пролог 113. Смысл принципа максимума энтропии
Пролог 114. Варианты модели мультипликативных коллизий
Пролог 115. Свойства модели мультипликативных коллизий
Пролог 116. Геометрическая энтропия
Пролог 117. Специальные энтропии. Последний Пролог.
Степенные законы, распределения Парето и закон Зипфа
.
Когнитивный уровень
.
Мерцающие зоны
.
Органическая логика: резюме
Карта органической логики
.
Хвост ящерки. Метафизика метафоры.
.
Опус 1/F
.
Anschauung, научный метод Гёте
.
Закон серийности Пауля Каммерера
.
Ранние признаки критических переходов
.
Слабые сигналы
.
Меметика
.
Системный анализ и чувствительные точки
.
Спиральная динамика
.
Пролог 59. Типы информации
 
Роман Уфимцев
9 октября 2012 года, Калининград
Мы продолжаем исследовать свойства структуры Я-состояний. Однако, чтобы двинутся дальше, нам необходимо привлечь некоторые идеи теории информации. Сегодня термин "информация" стал настолько популярным, расхожим (и искажённым), что нам будет полезно разобраться в его исходном научном значении. Мы совершим короткий и простой экскурс в теорию информации, двигаясь по тропинкам логики основателей этой теории и чуть-чуть заходя в новые, ещё не изученные области.
Информация по Хартли
В самом общем смысле информация есть мера определенности. Закроем глаза и подбросим монету. До тех пор, пока мы не откроем глаза и не посмотрим на результат броска, состояние, в котором оказалась монета (выпала ли она орлом или решкой) для нас является неопределенным. Мы знаем, что выпал или орел или решка, но что именно - не знаем. Однако, если мы откроем глаза и посмотрим на результат, он станет для нас вполне определенным. То есть, неопределенность состояния монеты сменилась определенностью. Мы также могли бы сказать, что взглянув на монету, мы получили информацию о её состоянии.
Теперь сравним бросок монеты с броском игральной кости. До тех пор, пока мы не посмотрим на результат броска кости, её состояние неопределенно среди 6 возможных состояний. Открыв глаза, мы также получим информацию о состоянии кости, и оно станет для нас определенным. Заметим, что в первом случае исходная неопределенность охватывает 2 возможных состояния - орел или решка, а во втором - 6 возможных состояний. Ясно, что в последнем случае исходная неопределенность выше, а значит, взгляд на игральную кость доставляет нам больше информации, нежели взгляд на монету.
Обозначим за единицу информации меру определенности, вносимую среди двух равновероятных альтернатив - как при броске монеты - это единица называется битом. Тут полезно следующее представление: пусть мы имеем некоторый конечный континуум, например, отрезок. Пусть в этом отрезке где-то находится нужная нам точка - изначально мы не знаем, где именно. 1 бит информации - это информация, позволяющая нам узнать, в какой именно половине отрезка находится искомая точка:
Это же можно изобразить ещё удобнее:
После того, как мы получаем 1 бит информации, область поиска искомой точки уменьшается ровно в два раза - и мы начинаем искать её только в правой или только в левой половине исходного отрезка.
Итак, если взгляд на монету доставляет нам 1 бит информации, сколько доставляет взгляд на игральную кость?
Чтобы ответить на этот вопрос, сначала рассмотрим случай, когда у нас имеется не 6, а 8 альтернативных равновероятных возможностей:
В этом случае путь от неопределенности к выбору одной из восьми частей исходного отрезка можно представить как путь, на котром мы три раза проходим стрелки. Каждая стрелка вносит определенность среди двух равновероятных альтернатив, то есть, вносит 1 бит информации. Поскольку таких стрелок нужно пройти три, для внесения определенности среди 8 альтернатив требуется 3 бита информации. Заметим, что:
Легко понять, что для внесения определенности среди 16 альтернатив понадобится уже 4 бита информации, 32 - 5 битов и т.д. Вообще, получается, что между числом равновероятных альтернатив N и количеством информации в битах I действуют соотношения:
тут log2(x) - двоичный логарифм от числа x.
Последнее выражение называется формулой Хартли для количества информации. Используя её, мы теперь можем посчитать, сколько информации нам доставляет взгляд на результат броска игральной кости:
Знаковая информация
Теперь перебросим мостик к тем самым единицам и нулям, которыми принято представлять информацию. Представим себе, что мы не сами глядим на результат броска монеты, а кто-то глядит на него и отправляет нам сообщение, которое может состоять только из двух знаков - единиц и нулей. Ясно, что будет достаточно одного знака: если выпадает орел, наш информатор отправляет нам сообщение "1", а если решка - сообщение "0". В этом сообщении будет ровно 1 бит информации, поскольку оно должно внести определенность среди двух равновероятных альтернатив:
Но как бы выглядело сообщение, если бы нам требовалась определенность среди 8 альтернатив? В этом случае мы могли бы договориться с информатором, чтобы он нам писал три цифры, соответствующие трем развилкам на дереве альтернатив: если мы должны двигаться по красной стрелке, он сообщает нам "1", если по синей - "0". Тогда изображенную на картинке траекторию он бы сообщил нам так: "101". Это сообщение ("двоичное слово") содержит 3 бита информации - ровно столько же, сколько и "букв" в нём, и их достаточно чтобы внести определенность среди 8 альтернатив:
То есть, количество информации мы можем понимать как длину двоичного слова в сообщении, количество необходимых для внесения полной определенности двоичных знаков - сколько в сообщении бит информации, столько и знаков. Скажем, в сообщении о результатах броска игральной кости должно быть не менее 3 двоичных знаков - нужно передать ≈2,58 бит информации и двух знаков для этого не хватит (а трех хватит с избытком).
Но что, если мы разрешаем использовать в сообщении не 2 знака ("1" или "0", двоичный алфавит), а восемь - от "0" до "7" или от "А" до "H" (восьмеричный алфавит)?. В этом случае для внесения определенности среди восьми альтернатив в сообщении понадобится только один знак, одна "буква":
Эта единственная буква сообщения несла бы те же необходимых 3 бита информации, и её повышенная информационная "вместимость" прямо связана с тем, что она принадлежит не двоичному, а восьмиричному алфавиту - чем больше букв в алфавите, тем больше информационная вместимость каждой буквы сообщения. В целом тут действует правило:
тут А - количество знаков в алфавите (при A > 1), Is - количество информации в одной букве сообщения.
Посчитаем теперь количество знаков в сообщении, которое позволяет выбрать среди N равновероятных альтернатив (А - количество знаков алфавите). Оно равно общему количеству необходимой информации, поделенному на количество информации, которую может нести одна буква:
Пусть например, мы имеем 7 миллиардов альтернатив и алфавит в 33 буквы. Оказывается, чтобы внести полную определенность среди этого огромного числа альтернатив достаточно всего S≈6,5 букв. Это, в частности, значит, что хватило бы имен, состоящих всего из 7 букв, чтобы дать каждому человеку на Земле уникальное, неповторимое "русское" имя - хотя многие из них были бы совершенно непроизносимы.
Биты, триты, диты, наты...
Традиционной единицей исчисления количества информации как меры определенности является определенность, вносимая между двумя равноверотяными альтернативами. Она именуется бит. Но нам ничто не мешает использовать в качестве единицы информации меру определенности, вносимую между тремя равновероятными альтернативными сотояниями, десятью состояниями, и вообще любым другим количеством состояний.
Пусть, например, мы исчисляем информацию тритами - единицами, задающими меру определенности, которая нужна, чтобы выбрать одно из трех равновероятных состояний. Повторяя логику, которую мы использовали при выводе формулы Хартли, мы установим, что для внесения определенности среди N равновероятных состояний необходимо
трит информации. Тут log3(x) - логарифм от x по основанию 3.
Зная, что то же самое количество информации в битах равно:
мы легко найдем соотношение между битами и тритами:
Как мы вскоре увидим, исчисление информации с помощью тритов и её представление с помощью трех знаков (например, "0", "1" и "2") теоретически более эффективно, чем использование битов и двоичного алфавита. Проблема только в том, что технически реализовать представление и обработку троичной информации гораздо труднее, чем двоичной.
Иногда говорят еще о дитах - единицах информации, позволяющей выбрать среди десяти альтернатив. Точно также, если у нас есть N альтернативных равновероятных состояний, то в дитах необходимое количество информации:
где log10(x) - десятичный логарифм от x.
Однако, самая интересная и важная альтернатива битам - так называемые наты (или "ниты"). 1 нат - количество информации, которое необходимо, чтобы внести определенность среди e равновероятных альтернатив (e - основание натуральных логарифмов, e ≈ 2,718...):
И дело не только в замечательной простоте формулы Хартли, если мы исчисляем информацию в натах. Как мы увидим далее, довольно странные с первого взгляда рассуждения об e равновероятных альтернатив (как это понимать, ведь число e - не только не целое, а вообще иррациональное число?), в действительности имеют глубокий смысл. Отметим, что
Натуральный алфавит
Допустим, мы организуем связь с информатором, которому приходится передавать нам сообщения, содержащие I бит информации. Какой алфавит - из скольких знаков - нам лучше выбрать?
Если знаков слишком мало, то каждое сообщение потребует множества букв, длинных слов, что неудобно - на передачу и получение таких сообщений нужно будет больше времени и ресурсов. С другой стороны, если алфавит слишком большой, это тоже неудобно, потому что потребуется больше усилий на обучение этому алфавиту, на различение знаков между собой и т.д. Следовательно, существует некоторый оптимальный объем алфавита - каков он?
Самый простой критерий оптимального алфавита - минимальность произведения А*S, где A - объем алфавита, а S - длина сообщения (слова) в этом алфавите. Сначала оценим примерный объем оптимального алфавита численно. Пусть например, нам требуется передавать сообщение с информацией в 1000 бит. Вот что мы получаем в зависимости от объема алфавита:
Как видим, произведение А*S минимально для алфавита, объемом в 3 знака. Но уточним эту цифру аналитически.
Исходя из только что полученного нами уравнения, количество необходимых знаков в сообщении S зависит от количества передаваемой информации I и объема алфавита A следующим образом:
Это значит, искомое произведение:
Ясно, что при любом количестве информации в сообщении I минимум этого произведения достигается тогда, когда минимально значение выражения:
Простой анализ этой функции от переменной А приводит нас к выводу: оптимальный алфавит состоит из e букв, где e ≈ 2,718... - основание натуральных логарифмов.
То есть, самый эффективный алфавит состоит "чуть меньше", чем из 3 знаков. Но всё-таки число букв в нём не целое - что же это всё-таки значит? Мы разберемся в этом чуть позже, а пока лишь назовем такой алфавит натуральным. Натуральный алфавит является в особом смысле самым оптимальным, экономичным, лаконичным.
Заметим ещё, что каждая буква в сообщении, написанном с помощью натурального алфавита содержит в себе ровно 1 нат информации - не правда ли, любопытно?
Информация по Шеннону
Формула Хартли позволяет подсчитать количество информации, необходимое для внесения полной определенности среди N равновероятных состояний объекта или системы. Но очень часто альтернативные состояния объектов или систем не являются равновероятными - как считать количество информации в этом случае?
Разберемся в этом, модифицировав знакомое нам дерево 8 альтернатив:
Пусть некоторые из 8 равновероятных альтернативных состояний сливаются между собой, становятся неразличимыми - так, что их остается всего 4 и все они имеют разную вероятность. Соответственно модифицируется и древо траекторий, по котором происходит движение от полной неопределенности к полной определенности. В исходном дереве при движении от точки неопределенности до некоторого определенного состояния нужно пройти три стрелки, и каждая добавляет по одному биту информации, поскольку каждая из них вносит определенность между двумя равновероятными направлениями. Однако в модифицированном дереве некоторые из стрелок перестают указывать альтернативные направления и при движении через них не вносится никакой дополнительной информации, определенность не увеличивается (серые стрелки на диаграмме).
В исходном дереве для выбора любой из 8 альтернатив нужно всегда 3 бита информации. В модифицированном дереве не всё так просто. Например, чтобы добраться до одного из маловероятных состояний (p1 или p2) нужно пройти те же три активных стрелки, то есть 3 бита информации. А чтобы добраться до самого вероятного состояния (p4) нужна только одна стрелка, то есть, 1 бит информации. Как же нам посчитать общую информацию?
Простейший вариант - просто суммировать информацию, которая нужна, чтобы добраться до каждого из альтернативных состояний, учитывая их "вероятностный вес" в общем раскладе. Например, для того, чтобы добраться до состояния p4 нужен 1 бит информации. Значит, вклад этой альтернативы в общую информацию:
Суммируя вклады всех четырех альтернатив, получим:
Вспомним информатора, который писал в сообщении нули или единицы в зависимости от того, по какой стрелке - красной или синей - следует двигаться. Полученный результат удобно понимать как ожидаемое или среднее число двоичных знаков в сообщении информатора. С вероятностью 1/2 в сообщении будет только один знак (поскольку нужно пройти только по одной активной стрелке), с вероятностью 1/4 - 2 знака, с вероятностью 2*1/8 - 3 знака. Это приводит к среднему количеству знаков в сообщениях (по результатам многих сообщений) 1,75.
Обратим внимание на следующее:
Это позволяет переписать нам выражение следующим образом:
Абстрагируясь от конкретики примера, получим общую формулу:
Последнее выражение известно как формула Шеннона для количества информации в случае состояний различной вероятности. В ней pi - вероятность состояния с номером i, а сумма берется по всем альтернативным состояниям. В случае равновероятных состояний она оказывается тождественной формуле Хартли.
Есть некоторое неудобство в многословности когда мы объясняем, что именно вычисляется по формулам Хартли или Шеннона: "Количество информации, необходимое для получения полной определенности среди альтернативных состояний объекта". Поэтому в теории информации часто используется величина, имеющая смысл, обратный информации - энтропия. Если информация есть мера определенности, то энтропия - напротив, мера неопределенности. Состояние монеты после броска характеризуется неопределенностью, то есть некоторым количеством энтропии. В простых случаях её количество в точности равно тому количеству информации, которое необходимо для того, чтобы внести в состояние объекта полную определенность - в случае монеты оно равно 1 биту. Иными словами, можно говорить, что формулы Хартли и Шеннона позволяют вычислять энтропию объектов в зависимости от числа и вероятности их альтернативных состояний.
Информация и её эффект
Пусть в результате получения сообщения от информатора мы установили, что объект оказался во втором состоянии, вероятность которого равна 1/8:
Сколько же бит информации мы получили? Формула Шеннона говорит нам о том, что в среднем от информатора мы будем получать сообщения с 1,75 битами информации. Но речь идет о среднем, а сколько информации мы получили в данном конкретном случае?
З бита - ровно столько, сколько стрелок нам нужно пройти в дереве равновероятных альтернатив. Напротив, если бы информатор нам сообщил, что объект находится в четвертом, самом вероятном состоянии, мы получили бы всего лишь 1 бит информации. Это различие имеет простую интуитивно понятную трактовку - мы оцениваем сообщение о каком-то редком событии как более ценное, интересное, информативное, нежели сообщение о том, что "всё как обычно". Фактически, в сообщениях о редких событиях содержится больше информации, нежели о событиях обычных - и это расходится с шенноновским пониманием информации, поскольку по формуле Шеннона вычисляется взвешенное значение информативности всех возможных сообщений.
Чтобы не путаться, будем называть фактическую полученную информацию эффективной информацией или просто эффектом, а усредненную, вычисленную по формуле Шеннона - шенноновской. Количество эффективной информации в сообщении о некотором состоянии вычисляется по формуле:
тут p - вероятность состояния объекта, сообщение о котором мы получили. В теории информации эту величину также именуют частной энтропией состояния, имея в виду что по формуле Шеннона вычисляется общая энтропия.
Эффективная информация и шенноновская информация I связаны простым соотношением:
где pi - вероятность состояния c номером i, а Ieff i - эффективная информация этого состояния, сумма берётся по всем альтернативным состояниям объекта. Можно сказать, что информация по Шеннону есть усредненная эффективная информация состояний объекта. Если состояния имеют разную вероятность, то эффективная информация отдельных состояний может быть больше или меньше шенноновской. Если же все альтернативные состояния равновероятны, эффективная информация каждого состояния точно равна шенноновской.
Максимум шенноновской информации
Пусть у нас есть два альтернативных состояния объекта, в общем случае не имеющих равной вероятности:
Найдем, при каком значении x (при какой вероятности первого состояния) шенноновская информация (энтропия) объекта будет максимальной. В данном случае её значение равно сумме:
Нетрудно установить, анализируя функцию I(x), что её максимум достигается в точке x=1/2:
Это значит, что максимум шенноновской информации (энтропии) в 1 бит достигается, когда эти состояния равновероятны. Это же верно для объекта с любым количеством состояний. То есть, состояние объекта является для максимально неопределенным, когда все альтернативы равновероятны.
Максимальный приведённый эффект
Мы говорили, что чем менее вероятным является событие, тем больше эффективной информации несёт сообщение о его наступлении, тем больше эффект этого сообщения. Но если шенноновская информация есть мера определенности, которую несёт сообщение, то какой смысл имеет его эффективная информация?
Для начала нам будет достаточно простого, хотя и несколько грубого объяснения. Количество эффективной информации в сообщении определяет его способность влиять на получателя сообщения, вообще на мир. Это "потенциал вызываемых последствий", которым обладает сообщение, его "резонансность". Сообщение о редком событии, несущее большое количество эффективной информации, приводит к гораздо большим последствиям, гораздо сильнее влияет на поведение получателей, чем сообщение об обычном, высоковероятном событии. Иными словами, количество эффективной информации задаёт деятельную способность сообщения, в некотором смысле его "информационную энергию" как способность приводить к каим-то изменениям в мире. "Эффективность" этой информации следует понимать как её способность вызывать последствия, иметь тот или иной эффект.
Пусть мы получаем регулярные сообщения о некотором объекте, у которого имеется два возможных состояния A и B с вероятностями x и 1-x соответственно. Каждое состояние характеризуется собственной эффективной информацией, которая определяет способность сообщений об этих состояниях производить эффект в описанном выше смысле. Сосредоточимся на сообщениях о состоянии А. При каких условиях они будут производить максимальный эффект?
Если речь идет о единичном сообщении, для этого необходимо, чтобы состояние А было крайне маловероятным. В этом случае его эффективная информация будет очень большой - если вероятность состояния А стремится к нулю, эффективная информация устремляется к бесконечности.
Но что, если нас интересует не единичное сообщение, а длительный период наблюдений, в течение которого мы получаем множество разных сообщений о состоянии объекта? Если вероятность состояния А очень мала, сообщения о нём будут производить большой эффект. Но, поскольку событие маловероятно, этот большой эффект будет нивелироваться редкостью события. С другой стороны, если событие А имеет высокую вероятность, сообщения о нём будут частыми, но эффект каждого будет мал из-за высокой вероятности состояния. Значит, существует некоторое промежуточное значение вероятности события А (мы её обозначили как x), при которой за длительное время наблюдений сообщения о нём произведут максимальный суммарный эффект.
Чтобы найти эту вероятность, нам нужно найти максимум произведения эффективной информации состояния Ieff на его вероятность p - назовём эту величину приведенным эффектом состояния:
Максимум приведенного эффекта состояния достигается при его вероятности p=1/e:
Ясно, что это верно не только для ситуации двух альтернативных состояний объекта, а вообще для всех случаев.
Для состояния с вероятностью p = 1/e количество эффективной информации Ieff равно:
Как видим, это количество равно 1 нату информации. (Складывается впечатление, что подобно тому как для шенноновской информации наиболее естественной единицей является бит, для эффективной информации наиболее естественной единицей является нат.)
В заключение обратим внимание на важный момент: в отличие от информации Шеннона, эффективная информация как понятие имеет смысл только по отношению к одному определенному состоянию объекта, а не ко всем его состояниям. При этом шенноновская информация (энтропия) объекта равна сумме приведенных эффектов всех его состояний.
Ваш комментарий
image Поля, отмеченные звездочкой, нужно обязательно заполнить
Заголовок комментария:
image Текст комментария: (не более 2000 символов, HTML-разметка удаляется)
image Ваше имя:
Ваш E-mail:
image Сколько будет дважды два? (ответьте цифрой, это проверка от спам-рассылок)
Отправить комментарий
Главные темы
Внимание (8)Геогештальт (1)Гештальт (16)Динамика внимания (5)Инсайт (5)Интуиция (2)Кибернетика (5)Когнитивное управление (6)Когнитивный анализ (4)Когнитивный словарь (5)Культура наблюдения (5)Мерцающие зоны (7)Метафизика (3)Метафора (13)Механизмы восприятия (15)Мифы и парадигмы (7)Органическая логика (5)Прогнозирование (6)Роль языка (4)Симметрии (5)Синхронизмы (5)Сложные системы (10)Степенной закон (8)Творческое мышление (5)Три уровня систем (4)Управление знаниями (3)Фазы развития (7)Фракталы (18)Цветные шумы (9)
КОГНИТИВИСТ: когнитивные методы и технологии © Роман Уфимцев, при поддержке Ателье ER