Количество информации по Шеннону

В целом, понятие «информация» характеризует свойство любых объектов или систем изменяться с соответствующим изменением набора параметров, описывающих их состояние. Общепринятого определения - нет, однако известен ряд попыток дать такое определение.
Отрицательное определение (Н. Винер):
Информация- это не материя и не энергия.
Синэргетическое определение:
Информация есть создание порядка из беспорядка.
Философское определение:
Информация есть отражение в сознании объективных причинно-следственных связей.
Математическое определение:
Информация есть совокупность приемов и правил, необходимых для построения оператора.
Физическое определение (Г.Кастлер):
Информация есть запомненный выбор одного варианта из множества возможных.
При этом, однако, понятие КОЛИЧЕСТВА ИНФОРМАЦИИ активно используется

Количество информации
по Шеннону
характеризует степень разнообразия дискретной системы
I~log2N
-где N – число устойчивых состояний системы,
-основание 2 обычно выбирается для двоичной логики.
Чем больше степеней свободы у системы, тем больше у нее информационная емкость.

Основным абстрактным понятием в области информационных технологий служит "кодирование информации", трактуемое обычно как синоним понятия "представление информации”.
Все манипуляции с информацией, в том числе и кодирование, подразумевают использование носителя информации.
Такими носителями информации могут быть графика (рисунки), тексты, нотные записи, числа, а также электромагнитные или акустические сигналы.

Проблема носителя информации
Решение всех упомянутых выше основных проблем, решаемых информационными технологиями (сбор, передача, обработка, хранение информации) подразумевают использование носителя информации. Поэтому
Поиск информационных носителей (процессов и сигналов), обладающих повышенной информационной емкостью, и математических алгоритмов, порождающих такие процессы, является наиболее актуальной задачей при разработке новых информационных технологий.
Наиболее эффективным путем решения проблем информатики показал себя путь обработки электрических и электромагнитных сигналов. Взрывное развитие этого направления началось примерно 60 лет назад с разработкой интегральных электронных схем.

Как менялась картина роста
Однако, быстрый рост плотности элементов на подложке не был «бесплатным»: требуемое для этого уменьшение их размеров приводит к недопустимому росту плотности рассеиваемой энергии и вообще к нарушению принципов работы этих элементов.

Красная кирпичная стена: энергетическая угроза
ITRS
power management
limit
(200W/cm2)

Компоненты «Красной кирпичной стены»: разброс легирования
При малых (< 50 нм) размерах транзистора на подложке нельзя создать даже двух одинаковых транзисторов!

Чувствительность к параметрам
δVt = 100 mV
Отклонение длины канала транзстора нанометрового масштаба на один атом (0,3 нм) (!) меняет пороговое напряжение транзистора на 0,1 В!!!