Оптимизация функций одной переменной

Полиномиальная аппроксимация
Основная идея методов полиномиальной аппроксимации связана с возможностью аппроксимации гладкой функции полиномом и последующего использования аппроксимирующего полинома для оценивания координаты точки оптимума. Необходимыми условиями эффективной реализации такого подхода являются унимодальность и непрерывность исследуемой функции.
Согласно теореме Вейерштрасса об аппроксимации, непрерывную функцию в некотором интервале можно аппроксимировать полиномом достаточно высокого порядка. Следовательно, если функция унимодальна и найден полином, который достаточно точно ее аппроксимирует, то координаты точки оптимума функции можно оценить путем вычисления координаты точки оптимума полинома.
Простейшим вариантом полиномиальной аппроксимации является квадратичная аппроксимация, которая основана на том факте, что функция, принимающая минимальное значение во внутренней точке интервала, должна быть, по крайней мере, квадратичной. Если же функция линейная, то ее оптимальное значение может достигаться только в одной из двух граничных точек интервала. Таким образом, при реализации метода оценивания с использованием квадратичной аппроксимации предполагается, что в ограниченном интервале можно аппроксимировать функцию квадратичным полиномом, а затем использовать построенный полином для оценивания координаты точки истинного минимума функции .

Полиномиальная аппроксимация

Стратегия поиска
Метод Пауэлла
Метод Пауэлла относится к последовательным стратегиям. Задается начальная точка и с помощью пробного шага находится три точки так, чтобы они были как можно ближе к искомой точке минимума. В полученных точках вычисляются значения функции. Затем строится интерполяционный полином второй степени, проходящий через эти точки. В качестве приближения точки минимума берется точка минимума полинома. Поиск заканчивается, когда полученная точка отличается от лучшей из трех опорных точек не более чем на заданную величину.

Метод Пауэлла
Алгоритм

Метод Пауэлла
Алгоритм

Метод Пауэлла
Алгоритм

Как правило используют для нахождения корней функции высокой степени x
1. Метод Ньютона (метод касательной).
2. Метод секущих (хорд).
3. Метод средней точки.

Метод Ньютона

Метод Ньютона
Сходимость метода касательных квадратичная, порядок сходимости равен 2.
Таким образом, сходимость метода касательных Ньютона очень быстрая.

Метод Ньютона

Метод Ньютона
Алгоритм

Метод секущих
Метод секущих ориентирован на нахождение корня уравнения f(x)=0 в интервале [a,b], в котором имеются две точки, в которых f(a)*f(b) < 0. Между этими точками проводится секущая к кривой y= f(x). В качестве следующего приближения выбирается точка пересечения этой секущей с осью абсцисс. Процесс построения секущих и нахождения точек пересечения с осью продолжается до тех пор, пока разность между двумя последовательными приближения не станет меньше ε.

Метод секущих (хорд)

Метод секущих
Алгоритм