Алгоритмическое и программное обеспечение для решения задач обработки статистической информации

Содержание

Слайд 2

ЦЕЛИ И ЗАДАЧИ РАБОТЫ
Задачи работы:
Анализ и практическое освоение известных классических методов и

ЦЕЛИ И ЗАДАЧИ РАБОТЫ Задачи работы: Анализ и практическое освоение известных классических
алгоритмов обработки статистических данных для информационно-аналитических систем различного назначения.
2. Разработка эффективных алгоритмов и программ реализации методов моментов и максимального правдоподобия для обработки статистической информации по полным и цензурированным выборкам.
3. Отработка алгоритмов и программ статистической проверки гипотез о теоретическом законе распределения с применением критерия согласия А.Н. Колмогорова и системы неравенств, устанавливающих принадлежность функции распределения к классу функций с возрастающей интенсивностью «опасности» (или интенсивностью отказов для технических систем).
4. Решение конкретных задач обработки экспериментальных (наблюдаемых) данных с «распознаванием» теоретической функции распределения и оценкой ее параметров.

Цель работы - развитие вычислительных процедур и алгоритмов и разработка программного обеспечения статистической обработки информации, получаемой из сферы эксплуатации, для решения задач объективной оценки характеристик и показателей надежности оборудования с использованием методов моментов и максимального правдоподобия для полных и цензурированных выборок без обращения к огромному числу таблиц.

Слайд 3

Расчет оценок начальных и центральных моментов
по выборке независимых наблюдений над случайной величиной

Расчет оценок начальных и центральных моментов по выборке независимых наблюдений над случайной

1. Оценки первых четырех начальных выборочных моментов

2. Оценки первых четырех центральных моментов
по известным связующим соотношениям между ними

3. Оценки центральных моментов по выборке

4. Расчет несмещенных центральных моментов

- математическое ожидание случайной величины

- характеристика асимметрии распределения

- дисперсия

- характеристика островершинности

Слайд 4

Эмпирическая (выборочная) функция распределения

1. Выборка независимых наблюдений над случайной величиной

2. Вариационный

Эмпирическая (выборочная) функция распределения 1. Выборка независимых наблюдений над случайной величиной 2.
ряд

3. Эмпирическая функция распределения

4. Выборочные несмещенные центральные моменты

На основе полученных численных значений оценок центральных моментов могут выдвигаться гипотезы о предполагаемых теоретических законах распределения.

Слайд 5

Метод моментов
для точечной оценки неизвестных параметров заданного распределения

Метод моментов предложен в

Метод моментов для точечной оценки неизвестных параметров заданного распределения Метод моментов предложен
1894 г.. Карлом Пирсоном (1857 – 1936) - английский математик-статистик, биолог, философ, основоположник знаменитого журнала «Биометрика».

Идея метода проста - приравнивание теоретических моментов соответствующим эмпирическим моментам того же порядка.
Если распределение определяется двумя параметрами, то приравнивают два теоретических момента двум соответствующим эмпирическим моментам того же порядка. Заметим – метод не использует информацию о третьем и четвертом выборочных моментах.

Слайд 6

Метод моментов
для точечной оценки неизвестных параметров заданного распределения

1. Для нахождения двух

Метод моментов для точечной оценки неизвестных параметров заданного распределения 1. Для нахождения
неизвестных параметров a и b распределения Вейбулла

достаточно использовать два первых соотношения:

заменив теоретические значения моментов их выборочным несмещенным оценкам.
Выражая b из соотношения для первого момента и подставляя во второе соотношение, получаем сложное алгебраическое уравнение для нахождения параметра а

где — гамма-функция или Эйлеров интеграл второго рода

численные значения которого заданы таблично в интервале .
Значком «тильдой» означают выборочные моменты.

Слайд 7

Метод моментов
для точечной оценки неизвестных параметров заданного распределения

2. Для нахождения двух

Метод моментов для точечной оценки неизвестных параметров заданного распределения 2. Для нахождения
неизвестных параметров a и Гамма - распределения с плотностью вероятности наработки до отказа

(Заметим – метод не использует информацию о третьем и четвертом выборочных моментах)

где — параметр масштаба ( ), — параметр формы ( ),
— Эйлеров интеграл второго рода
решение задачи таково

где в правые части подставляются соответственно выборочные оценки математического ожидания и дисперсии

Слайд 8

Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения

Предложен в 1912 г.

Метод максимального правдоподобия для точечной оценки неизвестных параметров заданного распределения Предложен в
Рональдом Айлмер Фишером (1890 -1962) - английский генетик, математик-статистик внес огромный вклад в теорию вероятностей и математическую статистику, является родоначальником дисперсионного анализа и вместе с К.Пирсоном заложил основы теории проверки статистических гипотез.
Идея метода такова.
1. Получена из генеральной совокупности полная выборка
- совокупность возможных значений независимых, одинаково распределенных случайных величин.
2. Принимается гипотеза о виде функции распределения или плотности вероятности , где а и b - параметры, подлежащие определению.

3. Вероятность получения выборки равна: ,
4. Вводится функция правдоподобия ,
которая должна быть максимизирована по параметрам .
Удобно использовать функцию , имеющую максимум в той же точке, что и
.
Необходимые условия оптимальности имеют вид:
Решение системы алгебраических уравнений дает оптимальные

При выполнении достаточно общих условий эти оценки являются состоятельными и асимптотически эффективными.
В общем случае оценки являются смещенными (см. на с. 544 в кн. Крамер Г. «Математические методы статистики». – М.: Мир, 1975. – 648 с.).

Слайд 9

Для экспоненциального распределения с плотностью вероятности

функция правдоподобия имеет вид или .

Необходимое условие

Для экспоненциального распределения с плотностью вероятности функция правдоподобия имеет вид или .
экстремума при этом имеет вид
из которого находим решение

2. Для нормального распределения с плотностью

функция правдоподобия или

Решение этой системы алгебраической уравнений

Необходимые условия экстремума

и

Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения

Слайд 10

Для Гамма – распределения с плотностью вероятности

Функция правдоподобия или эквивалентная ей

Необходимое

Для Гамма – распределения с плотностью вероятности Функция правдоподобия или эквивалентная ей
условие экстремума:

Из первого уравнения следует После подстановки во второе уравнение получим уравнение для получения оценки параметра :

Или в развернутом виде:

Получив оценку параметра , вычисляем и оценку параметра по формуле

Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения

Слайд 11

Для распределения Вейбулла с неизвестных параметров a и b для полной выборки

Функция

Для распределения Вейбулла с неизвестных параметров a и b для полной выборки
правдоподобия

Необходимое условие экстремума:

Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения

Из первого уравнения находим выражение для

и, подставляя его во второе уравнение, приходим к уравнению:

которое надо разрешить относительно параметра После чего остается вычислить .

Слайд 12

Расчет параметров a и b распределения Вейбулла для цензурированной выборки

Функция правдоподобия

Необходимое условие

Расчет параметров a и b распределения Вейбулла для цензурированной выборки Функция правдоподобия
экстремума:

Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения

Из первого уравнения находим выражение для

и, подставляя его во второе уравнение, приходим к уравнению:

которое надо разрешить относительно параметра . После чего остается вычислить .

Имеем усеченную выборку объемом , содержащую:
ряд наработок с отказами ;
ряд безотказных наработок .

Слайд 13

1. Алгебраическое уравнение для нахождения параметра а распределения Вейбулла при применении ММ

Вычислительные

1. Алгебраическое уравнение для нахождения параметра а распределения Вейбулла при применении ММ
трудности решения сложных алгебраических уравнений при применении ММ и ММП

2. Алгебраическое уравнение для нахождения параметра Гамма-распределения методом МП

3. Алгебраическое уравнение для нахождения параметра распределения Вейбулла

Введем обозначение

Слайд 14

Применение разложения Стирлинга
для решения сложных алгебраических уравнений

Джеймс Стирлинг (Stirling) (1692

Применение разложения Стирлинга для решения сложных алгебраических уравнений Джеймс Стирлинг (Stirling) (1692
– 1770) - шотландский математик, член Лондонского королевского общества. Впервые дал асимптотическое разложение для гамма-функции и логарифма от нее.

Разложения Джеймса Стирлинга
для Эйлерова интеграла 2-го рода

Показана приемлемость формулы Стирлинга в широком диапазоне изменения параметра а

Слайд 15

Решение нелинейного уравнения
для параметра а распределения Вейбулла
при использовании метода моментов

Учитывая

Решение нелинейного уравнения для параметра а распределения Вейбулла при использовании метода моментов
свойство строгой вогнутости функции ,

а следовательно единственности решения будем искать решение путем численного интегрирования уравнения (введением «отрицательной обратной
связи») при любом начальном условии.

Слайд 16

Решение нелинейного уравнения
для параметра а Гамма-распределения
при использовании метода максимального правдоподобия

В

Решение нелинейного уравнения для параметра а Гамма-распределения при использовании метода максимального правдоподобия
итоге получим окончательно аналитическое выражение

Обозначим и

найдем аналитическое выражение для

Тогда алгоритм решения уравнения может быть принят в виде дифференциального уравнения
или
при произвольном начальном значении решение которого асимптотически приведет к искомому результату.

Слайд 17

Решение нелинейного уравнения
для параметра а распределения Вейбулла
при использовании метода максимального

Решение нелинейного уравнения для параметра а распределения Вейбулла при использовании метода максимального
правдоподобия

Для решения уравнения предлагается использовать ту же идею для нахождения а - решать следующее дифференциальное уравнение вида

с различными начальными условием, подтверждающих единственность «корня». Тогда даёт искомое значение оценки

параметра После чего остается вычислить по формуле .

Слайд 18

Решение тестовой задачи

Решение тестовой задачи

Слайд 19

Решение нелинейного уравнения
для параметра а распределения Вейбулла
для цензурированной выборки
при использовании

Решение нелинейного уравнения для параметра а распределения Вейбулла для цензурированной выборки при
метода максимального правдоподобия

Имеем четыре выборки по 100 значений.

Можно утверждать, что примерно 50% отказов уже дают представление о том, что выборка принадлежит распределению Вейбулла.

Слайд 20

Результаты работы

1. Разработано алгоритмическое и программное обеспечение для получения точечных оценок

Результаты работы 1. Разработано алгоритмическое и программное обеспечение для получения точечных оценок
параметров двух практически важных распределений - распределения Вейбулла и гамма-распределения методом моментов, методом максимального правдоподобия и методом вероятностных сеток («вероятностной бумаги»). Разработан и программно реализован также алгоритм проверки выполнимости критерия А.Н. Колмогорова – критерия согласия аппроксимирующего распределения эмпирическому (ступенчатому) распределению.
2. Системы расчетов полностью реализованы в среде отечественного Программного комплекса «МВТУ 3.5».
3. Показано, что применение предложенных алгоритмов позволило исключить необходимость в «ручном» проведении расчетов показателей надежности и в обращения к многочисленным числовым статистическим таблицам. Все необходимые данные получаются расчетным путем с использование соответствующих моделей и формул. По информации о первых выборочных четырех начальных и центральных моментах и об эмпирической функции распределения расчетным путем автоматически находятся параметры практически всех типовых распределений, а также значения гамма-функции (эйлерова интеграла второго рода).

Вывод

В работе сделан научно-технический задел для решения на ЭВМ перспективных задач обработки информации с малыми или ограниченными по объему выборками, в том числе с различными типами цензурирования, то есть усеченными выборками, методами моментов и максимального правдоподобия, как с точечными, так и интервальными оценками параметров предполагаемых распределений.

Слайд 21

Критерии согласия

Критерий согласия Колмогорова

Критерий “Стареющего” распределения

Критерии согласия Критерий согласия Колмогорова Критерий “Стареющего” распределения

Слайд 22

Критерий согласия Колмогорова


Критерий согласия Колмогорова

Слайд 23

Очень спасибо за внимание !

Очень спасибо за внимание !
Имя файла: Алгоритмическое-и-программное-обеспечение-для-решения-задач-обработки-статистической-информации.pptx
Количество просмотров: 32
Количество скачиваний: 0