Распределения вероятности. Нормальное распределение. Вероятностная энтропия. Лекция 07(10)

Результаты, основанные на статистике
Основное уравнение состояния идеального газа и УМК :
Р = nkT => РV = nkTV = νRT = (M/μ)RT
Главное допущение статистической термодинамики: на каждую степень свободы молекулы ( каждый способ накопления энергии) приходятся в среднем одинаковые величины этой энеергии εi = kT/2, а внутренняя энергия идеального газа равна сумме энергий движения всех молекул
U = (i/2)νRT,
НО! Чтобы полностью использовать все возможности статистического анализа нужна соответствующая математика: теория вероятностей (probability theory).

Теория игр
«Орлянка» и «игра в кости»
Вероятности

Игры в «орлянку» и в «кости»
ПРИМЕР 1:
Бросаем монетку.
Результат испытаний: тип 1 – если выпала решка; тип 0 – если орел
Если бросать очень много раз, то
Вероятность выпадения результата Р0,1=½ как для результата типа 1, так и для результата типа 0.
Типы результатов испытаний (сумма 2-х костей) и способы их получения:
2: 1+1 (1) 8: 6+2, 5+3, 4+4, 3+5, 2+6 (5)
3: 1+2, 2+1 (2) 9: 6+3, 5+4, 4+5, 3+5 (4)
4: 1+3, 2+2, 3+1 (3) 10: 6+4, 5+5, 4+5 (3)
5: 1+4, 2+3, 3+2, 4+1 (4) 11: 6+5, 5+6 (2)
6: 1+5, 2+4, 3+3, 4+2, 5+1 (5) 12: 6+6 (1)
7: 1+6, 2+5, 3+4, 4+3, 5+2, 6+1 (6)
ПРИМЕР 2:
Бросаем кости.
Вероятности выпадения результата: Р2=Р12=1/36; Р3=Р11=2/36; Р4=Р10=3/36; Р5=Р9=4/36; Р6=Р8=5/36; Р7= 6/36;

Сложение и умножение вероятностей.
Pi или k =
Немного математики - вероятность
P i или k – вероятность выпадения ИЛИ результата типа i, ИЛИ результата типа k (ПРИМЕР с костями: Р(<5) =(1+2+3)/36=1/6 .
P i и k – вероятность выпадения в результате пары испытаний одного результата типа i и одного результата типа k.
ПРИМЕР с костями: Р4+1 =1/6 х1/6 = 1/36 .
ВАЖНО! Эти соотношения справедливы ТОЛЬКО если результаты испытаний не зависят один от другого (НЕ связаны причинноследственной связью!).

N – общее число испытаний,
Ni – число испытаний с результатом типа i
Рi – вероятность выпадения результата типа i
Немного математики - вероятность
Для непрерывно распределенных величин X: вероятность при испытании найти ее в интервале от X до X + dX dP(x) = f(x)dx
f(x) - функция распределения
А вероятность того, что величина x принадлежит интервалу от x1 до x2 :
Для непрерывно распределенной величины вероятность
того, что величина x точно равна x0, нулевая P(x = x0)=0.

Распределение результатов испытаний
Вернемся к игре в «орлянку». Бросаем монету 2 раза.
Это – одна СЕРИЯ испытаний (длина серии NS = 2)
Результаты испытаний (типы):
0 – выпало 2 орла
1 – выпал 1 орел и 1 решка или
2 – выпало 2 решки
= 0,25 для результатов типа 0 и 2
= 0,5 – для результата типа 1
N – число СЕРИЙ испытаний (желательно N >>>1),
Ns – длина каждой серии испытаний (в нашем случае NS = 2)
Ni – число СЕРИЙ испытаний с результатом типа i
Рi – вероятность выпадения результата типа i

Бросаем монетку N раз. Это – одна серия испытаний длиной N
Нумеруем все результаты (типы результатов) числами i от 0 до N по числу выпавших решек. Для разных типов результатов получатся разные вероятности, пропорциональные числу способов, которым мог выпасть данный результат!
Тип Число способов реализации
i = 0 1 (все время выпадали орлы)
i = 1 N (решка выпала на 1, 2, 3, … последнем броске)
i = 2 N(N -1)/2
i = 3 N(N-1)(N-2)/6
…..
i = k N(N-1)(N-2)….(N-k+1)/k! = N!/k!(N-k)!
….
i = N-1 N
i = N 1
Распределение результатов испытаний
ПРИМЕР с монеткой

Бросаем монетку N раз. Это – одна серия испытаний длиной N
Число способов выпадения результата k равно
Ωk= N!/k!(N-k)!
Распределение результатов испытаний
ПРИМЕР с монеткой
ΣΩk= 2N
Вероятность выпадения результата k равна:
Pk = Ωk/2N = N!/ k!(N-k)!2N
Для N>>>1 гистограмму распределения вероятности можно превратить в непрерывную функцию распределения вероятности, используя приближенную формулу Стирлинга:
Для N = 10
N! ~=(2πN)1/2(N/e)N, или
ln(N!) ~ Nln(N/e)

ГИСТОГРАММА
ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ
x x+a
ΔP
x
Немного математики – функция распределения

Распределение результатов испытаний
ПРИМЕР с монеткой
Вероятность выпадения результата k равна:
Pk = Ωk/2N = N!/ k!(N-k)!2N
Для N >>> 1 есть формула Стирлинга:
N! ~=(2πN)1/2(N/e)N,
Pk= (2/πN)1/2exp(-2n2/N)
где n = (k - N/2) - отклонение результата от среднего.
Заметные вероятности соответствуют n ~< N1/2 << N
Применяя ее, находим:

Нормальное распределение
Это нормальное распределение вероятности, также называемое распределением Гаусса
Параметр μ — среднее значение (математическое ожидание) случайной величины (указывает положение максимума плотности распределения), а σ — дисперсия (разброс значений случайной величины).
В случае с игрой в орлянку μ = N/2,
а σ = N1/2/2 << N
Pk=(2/πN)1/2exp(-2(k-N/2)2/N) =>

Распределение Гаусса
Нормальное распределение
Нормальное распределение очень часто встречается в природе.
Например, следующие случайные величины хорошо моделируются
нормальным распределением:
бросание монетки
отклонение при стрельбе
погрешности измерений
и мн.др...

Распределение Гаусса
Энтропия в информатике и в статистической физике
Курс общей физики НИЯУ МИФИ

Число способов выпадения результата k (из N =10) равно
Ωk= N!/k!(N-k)!
Распределение результатов испытаний
ПРИМЕР с монеткой
ΣΩk= 2N
Для N = 10
Тип Реализация
k = 0 0000000000
k = 1 1000000000 0100000000
0010000000 … 0000000001
…
k = 5 0100110011 1101000101 … -
- всего 252 варианта
Чем больше вариантов реализации - тем ниже степень «упорядоченности» полученного результата
S(k) = ln(Ωk) - энтропия, характеризующая степень упорядоченности результата (чем выше «порядок» - тем меньше энтропия)

Энтропия вероятности
S(k) = ln(Ωk) - энтропия, характеризующая степень упорядоченности результата
Для N = 10
S(k) = Aln(Pk) = Aln(Ωk) - ANln2
чем выше «порядок» - тем меньше энтропия
P(k и i) = PkPi => S(k и i) = S(k)+S(i)
Энтропия - величина аддитивная
Для N = 10
S(0) = S(10) = ln(1) = 0
S(5) = ln(252) = ~5,6
чем выше «порядок» - тем меньше энтропия

Информационная энтропия
Тип Реализация
k = 0 0000000000
k = 1 1000000000 0100000000 ...
k = 5 0100110011 1101000101 …
Любое информационное сообщение можно представить в виде двоичного кода: 0110010101110010010101111110001010111….
Любому двоичному коду, содержащему N знаков, из которых k единиц можно приписать значение энтропии:
S(N,k) = ln(ΩN,k), где ΩN,k - число способов, каким можно составить строку, содержащую k единиц и (N-k) нулей
Сообщения типа 00000000.. 111111111… S = 0
Сообщения с равным числом нулей и единиц имеют максимальную энтропию.
Энтропия двух сообщений равна сумме их энтропий.

Информационная энтропия
Любое информационное сообщение можно представить в виде двоичного кода: 0110010101110010010101111110001010111….
S(N,k) = ln(ΩN,k), где ΩN,k - число способов, каким можно составить строку, содержащую k единиц и (N-k) нулей
Сообщения типа 00000000.. 111111111… S = 0 - информационная ценность невелика
Сообщения с равным числом нулей и единиц имеют максимальную энтропию - скорее всего, это случайный набор символов.
Реальные информационные сообщения, как правило, имеют:
флуктуации (фрагменты) с заметным преобладанием нулей или единиц
энтропию отличную как от минимальной, так и от максимальной (по некоторым расчетам ~20-30% от максимальной)

Информационная энтропия
Понятие энтропии, как меры случайности и беспорядка в информационных системах, впервые введено Клодом Шенноном в статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.
Идеи Шеннона послужили основой разработки теории информации, теории коммуникационных систем, теории кодирования
Claude Elwood Shannon
1916 - 2001

Энтропия в статистической физике
и термодинамическая энтропия
Курс общей физики НИЯУ МИФИ

Задача о распределении по ячейкам
Пусть у нас есть К ячеек (состояний) по которым распределены N “шариков” (частиц):
Совокупность чисел заполнения (n1, n2, …nK) = n(i) образует «макросостояние» системы. Каждое макросостояние может быть реализовано большим числом способов Ω(n(i)). Эта величина называется статистическим весом макросостояния.
S(n(i)) = k ln(Ω(n(i))) - энтропия данной реализации (макросостояния)
Чем больше энтропия - тем выше вероятность реализации этого состояния.
При N>>>K наибольшим стат. весом и энтропией обладает состояние, когда частицы равномерно распределены по ячейкам.

В равновесном состоянии система описывается макропараметрами: энтропию равновесного состояния должно быть можно выразить через макропараметры.
~
Энтропия идеального газа
Правдоподобные соображения:
статистический вес состояния тем больше, чем больше его фазовый объем для каждой молекулы (произведение объема и объема пространства импульсов (скоростей)):
~dxdydzdpxdpydpz ~Vp3~VE3/2 ~VT3/2
из-за полной неразличимости молекул их перестановки не меняют микросостояния системы, отчего статистический вес следует поделить на число возможных перестановок ~ N!
для N молекул фазовый объем следует возвести в степень N:
Ω ~ VNT3N/2. Для многоатомного газа Ω ~ VNT iN/2
Ω~ VNTiN/2 /N!; S=k ln Ω =kNln(VTi/2/NC)=
= v(Rln(V/v) + cVlnT +s0)

Энтропия макро-состояния системы в статистической физике = логарифм от числа возможных микро-реализаций этого состояния
Она совпадает с классической термодинамической энтропией, выражаемой через параметры P, V, T.
В состоянии термодинамического равновесия энтропия замкнутой системы имеет максимально возможное (при заданной энергии) значение.
Если систему (при помощи внешнего воздействия)) вывести из равновесного состояния - ее энтропия может стать меньше
Если неравновесную систему предоставить самой себе - она релаксирует в равновесное состояние и ее энтропия при этом возрастет
Энтропия изолированной системы при любых процессах не убывает, т.е. ΔS > 0 – это т.н. Второе начало термодинамики
Дж/К
Энтропия в статистической физике.
Энтропия является количественной мерой беспорядка в системе.