Алгоритмическое и программное обеспечение для решения задач обработки статистической информации

ЦЕЛИ И ЗАДАЧИ РАБОТЫ
Задачи работы:
Анализ и практическое освоение известных классических методов и алгоритмов обработки статистических данных для информационно-аналитических систем различного назначения.
2. Разработка эффективных алгоритмов и программ реализации методов моментов и максимального правдоподобия для обработки статистической информации по полным и цензурированным выборкам.
3. Отработка алгоритмов и программ статистической проверки гипотез о теоретическом законе распределения с применением критерия согласия А.Н. Колмогорова и системы неравенств, устанавливающих принадлежность функции распределения к классу функций с возрастающей интенсивностью «опасности» (или интенсивностью отказов для технических систем).
4. Решение конкретных задач обработки экспериментальных (наблюдаемых) данных с «распознаванием» теоретической функции распределения и оценкой ее параметров.
Цель работы - развитие вычислительных процедур и алгоритмов и разработка программного обеспечения статистической обработки информации, получаемой из сферы эксплуатации, для решения задач объективной оценки характеристик и показателей надежности оборудования с использованием методов моментов и максимального правдоподобия для полных и цензурированных выборок без обращения к огромному числу таблиц.

Расчет оценок начальных и центральных моментов
по выборке независимых наблюдений над случайной величиной
1. Оценки первых четырех начальных выборочных моментов
2. Оценки первых четырех центральных моментов
по известным связующим соотношениям между ними
3. Оценки центральных моментов по выборке
4. Расчет несмещенных центральных моментов
- математическое ожидание случайной величины
- характеристика асимметрии распределения
- дисперсия
- характеристика островершинности

Эмпирическая (выборочная) функция распределения
1. Выборка независимых наблюдений над случайной величиной
2. Вариационный ряд
3. Эмпирическая функция распределения
4. Выборочные несмещенные центральные моменты
На основе полученных численных значений оценок центральных моментов могут выдвигаться гипотезы о предполагаемых теоретических законах распределения.

Метод моментов
для точечной оценки неизвестных параметров заданного распределения
Метод моментов предложен в 1894 г.. Карлом Пирсоном (1857 – 1936) - английский математик-статистик, биолог, философ, основоположник знаменитого журнала «Биометрика».
Идея метода проста - приравнивание теоретических моментов соответствующим эмпирическим моментам того же порядка.
Если распределение определяется двумя параметрами, то приравнивают два теоретических момента двум соответствующим эмпирическим моментам того же порядка. Заметим – метод не использует информацию о третьем и четвертом выборочных моментах.

Метод моментов
для точечной оценки неизвестных параметров заданного распределения
1. Для нахождения двух неизвестных параметров a и b распределения Вейбулла
достаточно использовать два первых соотношения:
заменив теоретические значения моментов их выборочным несмещенным оценкам.
Выражая b из соотношения для первого момента и подставляя во второе соотношение, получаем сложное алгебраическое уравнение для нахождения параметра а
где — гамма-функция или Эйлеров интеграл второго рода
численные значения которого заданы таблично в интервале .
Значком «тильдой» означают выборочные моменты.

Метод моментов
для точечной оценки неизвестных параметров заданного распределения
2. Для нахождения двух неизвестных параметров a и Гамма - распределения с плотностью вероятности наработки до отказа
(Заметим – метод не использует информацию о третьем и четвертом выборочных моментах)
где — параметр масштаба ( ), — параметр формы ( ),
— Эйлеров интеграл второго рода
решение задачи таково
где в правые части подставляются соответственно выборочные оценки математического ожидания и дисперсии

Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения
Предложен в 1912 г. Рональдом Айлмер Фишером (1890 -1962) - английский генетик, математик-статистик внес огромный вклад в теорию вероятностей и математическую статистику, является родоначальником дисперсионного анализа и вместе с К.Пирсоном заложил основы теории проверки статистических гипотез.
Идея метода такова.
1. Получена из генеральной совокупности полная выборка
- совокупность возможных значений независимых, одинаково распределенных случайных величин.
2. Принимается гипотеза о виде функции распределения или плотности вероятности , где а и b - параметры, подлежащие определению.
3. Вероятность получения выборки равна: ,
4. Вводится функция правдоподобия ,
которая должна быть максимизирована по параметрам .
Удобно использовать функцию , имеющую максимум в той же точке, что и
.
Необходимые условия оптимальности имеют вид:
Решение системы алгебраических уравнений дает оптимальные
При выполнении достаточно общих условий эти оценки являются состоятельными и асимптотически эффективными.
В общем случае оценки являются смещенными (см. на с. 544 в кн. Крамер Г. «Математические методы статистики». – М.: Мир, 1975. – 648 с.).

Для экспоненциального распределения с плотностью вероятности
функция правдоподобия имеет вид или .
Необходимое условие экстремума при этом имеет вид
из которого находим решение
2. Для нормального распределения с плотностью
функция правдоподобия или
Решение этой системы алгебраической уравнений
Необходимые условия экстремума
и
Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения

Для Гамма – распределения с плотностью вероятности
Функция правдоподобия или эквивалентная ей
Необходимое условие экстремума:
Из первого уравнения следует После подстановки во второе уравнение получим уравнение для получения оценки параметра :
Или в развернутом виде:
Получив оценку параметра , вычисляем и оценку параметра по формуле
Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения

Для распределения Вейбулла с неизвестных параметров a и b для полной выборки
Функция правдоподобия
Необходимое условие экстремума:
Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения
Из первого уравнения находим выражение для
и, подставляя его во второе уравнение, приходим к уравнению:
которое надо разрешить относительно параметра После чего остается вычислить .

Расчет параметров a и b распределения Вейбулла для цензурированной выборки
Функция правдоподобия
Необходимое условие экстремума:
Метод максимального правдоподобия
для точечной оценки неизвестных параметров заданного распределения
Из первого уравнения находим выражение для
и, подставляя его во второе уравнение, приходим к уравнению:
которое надо разрешить относительно параметра . После чего остается вычислить .
Имеем усеченную выборку объемом , содержащую:
ряд наработок с отказами ;
ряд безотказных наработок .

1. Алгебраическое уравнение для нахождения параметра а распределения Вейбулла при применении ММ
Вычислительные трудности решения сложных алгебраических уравнений при применении ММ и ММП
2. Алгебраическое уравнение для нахождения параметра Гамма-распределения методом МП
3. Алгебраическое уравнение для нахождения параметра распределения Вейбулла
Введем обозначение

Применение разложения Стирлинга
для решения сложных алгебраических уравнений
Джеймс Стирлинг (Stirling) (1692 – 1770) - шотландский математик, член Лондонского королевского общества. Впервые дал асимптотическое разложение для гамма-функции и логарифма от нее.
Разложения Джеймса Стирлинга
для Эйлерова интеграла 2-го рода
Показана приемлемость формулы Стирлинга в широком диапазоне изменения параметра а

Решение нелинейного уравнения
для параметра а распределения Вейбулла
при использовании метода моментов
Учитывая свойство строгой вогнутости функции ,
а следовательно единственности решения будем искать решение путем численного интегрирования уравнения (введением «отрицательной обратной
связи») при любом начальном условии.

Решение нелинейного уравнения
для параметра а Гамма-распределения
при использовании метода максимального правдоподобия
В итоге получим окончательно аналитическое выражение
Обозначим и
найдем аналитическое выражение для
Тогда алгоритм решения уравнения может быть принят в виде дифференциального уравнения
или
при произвольном начальном значении решение которого асимптотически приведет к искомому результату.

Решение нелинейного уравнения
для параметра а распределения Вейбулла
при использовании метода максимального правдоподобия
Для решения уравнения предлагается использовать ту же идею для нахождения а - решать следующее дифференциальное уравнение вида
с различными начальными условием, подтверждающих единственность «корня». Тогда даёт искомое значение оценки
параметра После чего остается вычислить по формуле .

Решение тестовой задачи

Решение нелинейного уравнения
для параметра а распределения Вейбулла
для цензурированной выборки
при использовании метода максимального правдоподобия
Имеем четыре выборки по 100 значений.
Можно утверждать, что примерно 50% отказов уже дают представление о том, что выборка принадлежит распределению Вейбулла.

Результаты работы
1. Разработано алгоритмическое и программное обеспечение для получения точечных оценок параметров двух практически важных распределений - распределения Вейбулла и гамма-распределения методом моментов, методом максимального правдоподобия и методом вероятностных сеток («вероятностной бумаги»). Разработан и программно реализован также алгоритм проверки выполнимости критерия А.Н. Колмогорова – критерия согласия аппроксимирующего распределения эмпирическому (ступенчатому) распределению.
2. Системы расчетов полностью реализованы в среде отечественного Программного комплекса «МВТУ 3.5».
3. Показано, что применение предложенных алгоритмов позволило исключить необходимость в «ручном» проведении расчетов показателей надежности и в обращения к многочисленным числовым статистическим таблицам. Все необходимые данные получаются расчетным путем с использование соответствующих моделей и формул. По информации о первых выборочных четырех начальных и центральных моментах и об эмпирической функции распределения расчетным путем автоматически находятся параметры практически всех типовых распределений, а также значения гамма-функции (эйлерова интеграла второго рода).
Вывод
В работе сделан научно-технический задел для решения на ЭВМ перспективных задач обработки информации с малыми или ограниченными по объему выборками, в том числе с различными типами цензурирования, то есть усеченными выборками, методами моментов и максимального правдоподобия, как с точечными, так и интервальными оценками параметров предполагаемых распределений.

Критерии согласия
Критерий согласия Колмогорова
Критерий “Стареющего” распределения

Критерий согласия Колмогорова

Очень спасибо за внимание !