Количество информации в дискретном сообщении
Направления оценки количества информации В теории информации выделяются три основных направления: структурное, статистическое, семантическое. Структурное - рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных элементов. (Простейшее кодирование массивов - комбинаторный метод.) Статистическое направление оперирует понятием энтропии как меры неопределенности, то есть здесь учитывается вероятность появления тех или иных сообщений. Семантическое направление учитывает целесообразность, ценность или существенность информации. Эти три направления имеют свои определенные области применения. Структурное используется для оценки возможностей технических средств различных систем переработки информации, независимо от конкретных условий их применения. Статистические оценки применяются при рассмотрении вопросов передачи данных, определении пропускной способности каналов связи. Семантические используются при решении задач построения систем передачи информации разработки кодирующих устройств и при оценке эффективности различных устройств. Структурные меры информации Структурные меры учитывают только дискретное строение информации. Элементами информационного комплекса являются кванты - неделимые части информации. Различают геометрическую, комбинаторную и аддитивную меры. Определение информации геометрическим методом представляет собой измерение длины линии, площади или объема геометрической модели информационного комплекса в количестве квантов. Максимально возможное число квантов в заданных структурных габаритах определяет информационную емкость системы. Информационная емкость есть число, указывающее количество квантов в полном массиве информации. Согласно рис. 1.2, г, количество информации М в комплексе X(T,N), определенное геометрическим методом