Нелинейное программирование

История разработки основных методов нелинейного программирования
Научно-техническая революция привела к существенным преобразованиям в организационном управлении. Усложнение технологии и укрупнение производств привело к необходимости применять различные математические расчеты при решении вопросов управления. Совокупность математических дисциплин, относящихся к организационному управлению, составляют теорию принятия решений или теорию исследования операций. Исследование операций как наука сформировалась и развилась в период второй мировой войны, хотя термин появился раньше - в 1939 году. Первые работы по теории принятия решений были связаны с организацией ПВО Великобритании и вообще с планированием операций по защите страны от вторжения. После окончания войны специалисты - операционники (так называли специалистов в области исследования операций) стали увольняться из армии. К счастью, в этот период для развития промышленности потребовалось принимать не менее сложные решения, чем в военной области, и эти специалисты были затребованы для решения производственных, экономических задач. И наука "Исследование операций" продолжила свое бурное развитие. Неразвитое производство, примером которого являются некоторые наши коммерческие фирмы, мало нуждается в решении задач планирования, принятия наилучших решений, так как решения очевидны. Применение системного подхода для лучшей организации дела в этом случае представляет большие сложности.

На развитом предприятии владелец или лицо, управляющее им, не может самостоятельно принять решения - слишком большое число вопросов надо рассмотреть. Поэтому возникают отделы: производственный, отдел сбыта, финансовый, отдел кадров и пр. Эти отделы имеют разные цели функционирования, во многом взаимно противоположные.
Производственный отдел хочет, чтобы продукция была однообразной (мало номенклатуры), и, если даже нет сбыта, этот отдел хочет производить продукцию, его цель - как можно больше продукции узкой номенклатуры (чтобы не перенастраивать станки для удешевления продукции). Отдел сбыта требует широкой номенклатуры продукции (чтобы было легче продать), чтобы были товары, даже редко пользующиеся спросом (они могут понадобиться все равно). Поэтому этот отдел не возражает против запасов (если и производства нет). Однако, финансовый отдел выступает против запасов, так как это связанные деньги, и его задача минимизировать эти связанные деньги (т.е. деньги в товаре), а это значит минимизировать запасы. Финансовый отдел требует сохранения производства даже, если не идет продажа товара. Отдел кадров против сохранения производства, если продажа товара не идет, так как это связано с увольнением людей, что является очень неприятной процедурой.
Задача отдела исследования заключается в том, чтобы найти правильное решение, которое принесет пользу (выгоду) всей системе в целом (всей фирме в целом), а не отдельным его подразделениям.
Таким образом, исследование операций связано с организацией, управлением системами, т.е. с исследованием оказания влияния на системы с точки зрения повышения их эффективности.

Наука, которая занимается управлением, называется кибернетикой. Теория операций - часть кибернетики. Иногда ее называют операционной кибернетикой. Теория операций имеет синонимы: теория принятия решений, анализ операций, оценка операций, исследование операций, теория системной оценки, теория системных исследований, теория организационного управления. Наиболее часто используют названия теория операций, теория оптимальных решений, теория принятия решений. Задачи этой теории можно разделить на классы: поисковые, распределенные, управления запасами, массового обслуживания, календарного планирования, состязательные задачи.
Таблица 1
Классы задач и методы их решения

Цели, задачи и актуальность методов нелинейного программирования
Нелинейное программирование применяется при прогнозировании промышленного производства, управлении товарными ресурсами, планировании обслуживания и ремонта оборудования и т.д.
В задачах нелинейного программирования в отличие от линейных задач нет единого метода решения. В зависимости от вида целевой функции и системы ограничений разработаны специальные методы решения, к которым относятся:
· методы множителей Лагранжа,
· квадратичное и выпуклое программирование,
· градиентные методы,
· приближенные методы решения,
· графический метод.
Из нелинейного программирования наиболее разработаны задачи, в которых система ограничений линейная, а целевая функция нелинейная. Однако даже для таких задач оптимальное решение может быть найдено для определенного класса целевых функций. Например, когда целевая функция сепарабельная, т.е. является суммой п функций fj(xj), или квадратичная. При этом следует отметить, что в отличие от задач линейного программирования, где точками экстремума являются вершины многогранника решений, в задачах с нелинейной целевой функцией точки могут находиться внутри многогранника, на его ребре или в вершине.

При решении задач нелинейного программирования для целевой функции необходимо определить глобальный максимум или глобальный минимум.
Глобальный максимум (минимум) функции -- это ее наибольшее (наименьшее) значение из локальных максимумов (минимумов).
Наличие локальных экстремумов затрудняет решение задач, так как большинство существующих методов нелинейного программирования не позволяет установить, является найденный экстремум локальным или глобальным. Поэтому имеется возможность в качестве оптимального решения принять локальный экстремум, который может существенно отличаться от глобального.
Специфика нелинейных программ и методы их решения
Многообразие методов решения линейных программ имеет в своей основе идею упорядоченного перебора опорных планов (вершин) исходной или сопряженной задачи.
Для нелинейных же программ простого метода решения, подобного cимплексному, нет по многим причинам.
1. Множество планов может оказаться невыпуклым или иметь бесконечное количество "вершин".
2. Искомые экстремумы могут достигаться как на границе множества планов, так и внутри его.

3. В нелинейных программах возникает проблема поиска глобального экстремума среди множества локальных.
Как мы показали ранее, ни использование аппарата производных, ни прямое табулирование целевой функции над множеством планов не решают проблему в случае более трех переменных. Поэтому каждая нелинейная программа требует индивидуального подхода, учитывающего ее специфику.
Существующие методы нелинейного программирования можно подразделить на следующие основные классы.

Методы выпуклого программирования. Метод множителей Лагранжа
Методы выпуклого программирования, реализующие поиск минимума выпуклой функции или максимума вогнутой на выпуклом множестве планов.
Если множество планов - выпуклый многогранник, то эти методы допускают использование симплексного метода.
Наиболее эффективно эти и другие методы решения действуют для так называемых сепарабельных функций, т.е. функций, представимых в виде суммы функций одной переменной
F(X1, X2,..,Xn) = f1(X1) + f2(X2) +... + fn(Xn).
При решении многих задач нелинейного программирования определенный эффект дает метод множителей Лагранжа.
Пусть требуется найти экстремумы функции F(X) при условиях fi(X)=0 (i = 1.. m).
Функция называется функцией Лагранжа и коэффициенты ?i - множителями Лагранжа.
Можно доказать, что необходимым условием экстремума исходной задачи является обращение в нуль всех частных производных функции Лагранжа.

Можно доказать, что необходимым условием экстремума исходной задачи является обращение в нуль всех частных производных функции Лагранжа.
Например, при поиске максимума F(X1, X2) = X1+X2 при единственном условии X12+X22=1 строится функция Лагранжа
Строим систему уравнений
решение которой дает и экстремальные значения целевой функции.
Для определения типа найденного экстремума можно построить матрицу вторых производных F(X), вычисленных в экстремальной точке, и определить знаки главных ее миноров. Если все они положительны, то найден минимум; если они чередуются, начиная с минуса, то найден максимум (правило Сильвестра).
Сам по себе метод множителей Лагранжа не дает существенного эффекта из-за необходимости решать, как правило, нелинейную систему уравнений; не гарантирует тип отыскиваемого экстремума, кроме глобальных дает и множество локальных экстремумов, но полезен при генерации идей и создании методов нелинейного программирования.

Метод Гаусса-Зейделя
Одним из самых распространенных итерационных методов, отличающийся простотой и легкостью программирования, является метод Гаусса-Зейделя.
Проиллюстрируем сначала этот метод па примере решения системы
Предположим, что диагональные элементы а11, а22, а33отличны от нуля (в противном случае можно переставить уравнения). Выразим неизвестные х1, х2и х3 соответственно из первого, второго и третьего уравнений системы (3.9.1):
(3.9.2)
(3.9.3)
(3.9.4)

Зададим некоторые начальные (нулевые) приближения значений неизвестных: Подставляя эти значения в правую часть выражения (3.9.2), получаем новое (первое) приближение для х1:
Используя это значение для x1 и приближение для х3, находим из (3.9.3) первое приближение для х2:
И наконец, используя вычисленные значения находим с помощью выражения (3.9.4) первое приближение для х3:
На этом заканчивается первая итерация решения системы (3.9.2) - (3.9.4). Теперь с помощью значений х1(1), х2(1)их3(1)можно таким же способом провести вторую итерацию, в результате которой будут найдены вторые приближения к решению: х1 = х1 (2), х2 = х2(2)и х3 = х3(2)и т.д.
Приближение с номером kможно вычислить, зная приближение с номером k- 1, как

Итерационный процесс продолжается до тех пор, пока значения х1(k), х2(k)и х3(k)не станут близкими с заданной погрешностью к значениям х1(k-1), х2(k-1)и х3(k-1).

Области применения методов нелинейного программирования
Задача нелинейного программирования встречается в естественных науках, технике, экономике, математике, в сфере деловых отношений и в науке управления государством.
Нелинейное программирование, например, связано с основной экономической задачей. Так в задаче о распределении ограниченных ресурсов максимизируют либо эффективность, либо, если изучается потребитель, потребление при наличии ограничений, которые выражают условия недостатка ресурсов. В такой общей постановке математическая формулировка задачи может оказаться невозможной, но в конкретных применениях количественный вид всех функций может быть определен непосредственно. Например, промышленное предприятие производит изделия из пластмассы. Эффективность производства здесь оценивается прибылью, а ограничения интерпретируются как наличная рабочая сила, производственные площади, производительность оборудования и т.д.
Метод "затраты - эффективность" также укладывается в схему нелинейного программирования. Данный метод был разработан для использования при принятии решений в управлении государством. Общей функцией эффективности является благосостояние. Здесь возникают две задачи нелинейного программирования: первая - максимизация эффекта при ограниченных затратах, вторая - минимизация затрат при условии, чтобы эффект был выше некоторого минимального уровня. Обычно эта задача хорошо моделируется с помощью нелинейного программирования.

Результаты решения задачи нелинейного программирования являются подспорьем при принятии государственных решений. Полученное решение является, естественно, рекомендуемым, поэтому необходимо исследовать предположения и точность постановки задачи нелинейного программирования, прежде чем принять окончательное решение.
Задачи нелинейного программирования часто возникают и в других отраслях науки. Так, например, в физике целевой функцией может быть потенциальная энергия, а ограничениями - различные уравнения движения. В общественных науках и психологии возникает задача минимизации социальной напряженности, когда поведение людей ограничено определенными законами.
Преобразование реальной задачи в задачу нелинейного программирования является в значительной степени искусством, но это искусство направляется теорией.

Графический метод решения задач нелинейного программирования
Графический метод можно использовать для решения задачи нелинейного программирования(НП), которая содержит две переменных х1 и х2, например задачи следующего вида:
Z = f(x1, x2) → min (max);
gi(x1, x2) ≤ bi, i=1,m
Чтобы найти ее оптимальное решение, нужно выполнить следующие действия:
1.Найти ОДР, определяемую ограничениями задачи. Если окажется, что эта область пуста, то это означает, что задача не имеет решения.
2.Построить семейство линий уровня целевой функции f(х1, х2) = C при различных значениях числового параметра С.
3.При решении задачи на минимум определить направление убывания, а для задачи на максимум — направление возрастания линий уровня ЦФ.
4.Найти точку ОДР, через которую проходит линия уровня с наименьшим в задаче на минимум (соответственно, наибольшим в задачи на максимум) значением параметра С.Эта точка будет оптимальным решением. Если ЦФ не ограничена снизу в задаче на минимум (сверху — в задаче на максимум), то это означает, что задача не имеет оптимального решения.
5.Найти координаты точки оптимума и определить в ней значение ЦФ.
Отметим, что в отличие от задачи ЛП точка оптимума в задаче НП не обязательно находится на границе ОДР. Ею также может быть внутренняя точка этого множества.

ПРИМЕР. В задаче выпуклого программирования требуется:
найти решение графическим методом;
написать функцию Лагранжа и найти ее седловую точку, используя решение, полученное графически.
F(X) = x12+(x2-2)2
2x1+x2 ≥ 7
x1+2x2 ≥ 5
Решение. 1) Строим два ограничения, тем самым определяя ОДР.

Затем строим функцию цели. В данном случае это окружность.
Поскольку задача минимума, то ищем первое касание линии уровня области ОДР. В данном случае это точка пересечения с прямой 2x1+x2-7=0.
Найдем точку пересечения. Для этого построим уравнение касательной, проходящей через центр окружности O(0;2) и перпендикулярно прямой 2x1+x2-7=0. Получаем: 2x2-x1-4=0. Решая систему уравнений:
2x1+x2-7=0
2x2-x1-4=0,
получаем: x1=2, x2=3.

2) Найдем экстремум функции F(X) = x12+(x2-2)2:
L(X, λ)=F(X)+∑(λi·φi)
где F(X) - целевая функция вектора X; φi(X) - ограничения в неявном виде (i=1..n)
В качестве целевой функции, подлежащей оптимизации, в этой задаче выступает функция: F(X) = x12+(x2-2)2
Перепишем ограничение задачи в неявном виде:
φ2(X) = 5 - (x1+2*x2) = 0 (X2)
Составим вспомогательную функцию Лагранжа: L(X, λ) = x12+(x2-2)2 - λ1*(7 - (2*x1+x2)) - λ2*(5 - (x1+2*x2))
Необходимым условием экстремума функции Лагранжа является равенство нулю ее частных производных по переменным хi и неопределенным множителям λ.
Составим систему:
∂L/∂x1 = 2*λ1+λ2+2*x1 = 0
∂L/∂x2 = λ1+2*λ2+2*x2-4 = 0
∂L/∂λ1 = 2*x1+x2-7 = 0
∂L/∂λ2 = x1+2*x2-5 = 0
Решив данную систему, получаем:
а) для случая X1: x1 = λ1/2 + λ2 + 2; x2 = 7 - 2x1
Откуда можно найти такие λ1 ≥ 0, λ2 ≥ 0. Пусть λ2 = 0. Тогда λ1 = 2; x1 = 2; x2 = 3.
Поскольку λ2 ≥ 0, то данное решение удовлетворяет условиям Куна-Таккера. Zmin(2;3)=5

б) для случая X2: x2 = λ1/2 + λ2 + 2; x1 = 5 - 2x2
Откуда можно найти такие λ1 ≥ 0, λ2 ≥ 0. Пусть λ2 = 0. Тогда λ1 = 2/5; x1 = 11/5; x2 = 3/5.
Поскольку λ1 ≥ 0, то данное решение удовлетворяет условиям Куна-Таккера. Zmin(11/5;3/5)=6.8
Минимальное значение составит Zmin(2;3)=5.

ПРИМЕР. Фирма выпускает два вида изделий А и В, которые обрабатываются на станках двух типов. Известны нормативы aij времени, требуемого для обработки одного изделия j-го вида на станке i-го типа (ст./час.), общие фонды рабочего времени каждого типа станков bi(ст./час.). Фирма имеет контракт, согласно которому должна ежедневно поставлять заказчику d1 изделий А и d2 изделий В.
Анализ продаж фирмы показал, что с увеличением объема выпуска из-за роста расходов по реализации изделий их удельная прибыль рj (руб.) уменьшается, причем для ее определения может быть использована формула рj = cj – lхj, где хj — количество проданных изделий j-го вида, а cj и l — фиксированные величины.
Нужно определить, сколько изделий каждого вида следует изготовить фирме, чтобы прибыль от их реализации была максимальной.
Требуется:
1. Составить математическую модель нахождения оптимального плана выпуска продукции.
2. Определить оптимальный план выпуска обобщенным методом множителей Лагранжа и дать экономическую интерпретацию полученных результатов.

Решение:
1. Построение математической модели
В рассматриваемой задаче следует определить
х1 — план выпуска изделий А;
х2 — план выпуска изделий В.
Эти величины являются переменными модели. Обязательства по контракту дают следующие ограничения на их значения: х1 ≥ 10 и х2 ≥ 20. Так как время работы станков каждого типа, затрачиваемое на обработку деталей, не должно превосходить их общего лимита времени работы, то получаем еще два ограничения:
2х1 + 2х2 ≤ 160,
6х1 + 2х2 ≤ 220.
Прибыль Z, получаемая от продажи продукции, вычисляется по формуле
Z = (320 – 2х1) х1 + (280 – 2х2) х2 = 320 х1 – 2x12 + 280 х2 – 2x22.
Таким образом, математическая модель задачи фирмы имеет вид:
Z = 320х1 – 2x12 + 280 х2 – 2x22 → max, (1)
2х1 + 2х2 ≤ 160, (2)
6х1 + 2х2 ≤ 220, (3)
х1 ≥ 10, х2 ≥ 20. (4)
2. Нахождение оптимального плана обобщенным методом множителей Лагранжа.
Сначала проверим, что задача (1) – (4) является задачей ВП. Так как все ограничения модели линейны, для этого достаточно убедиться в том, что ЦФ — вогнутая функция. Для этого вычислим ее гессиан.

Найдем первые частные производные ЦФ:
и ,
а затем ее вторые частные производные:
;
;
.
Следовательно, гессиан Н функции f имеет следующий вид:
.
Главные миноры первого порядка равны –4, а главный минор второго порядка равен
= (-4)·(-4) – 0·0 = 16.

Значения этих миноров не зависят от точки х = (x1, x2), причем минор первого (нечетного) порядка отрицателен, а минор второго (четного) порядка положителен. Поэтому ЦФ — строго вогнутая функция (см. теорему 1) Это означает, что задача (1) – (3) является задачей ВП и имеет единственное оптимальное решение.
Для нахождения оптимального решения этой задачи обобщенным методом множителей Лагранжа нужно выполнить следующие действия.
Шаг 1. Сначала решим задачу без учета ограничений, т.е. как задачу отыскания глобального максимума ЦФ. Назовем ее «задача 2.1». Она имеет следующий вид.
Z = 320х1 – 2x12 + 280 х2 – 2x22 → max.
Для ее решения нужно найти стационарную точку ЦФ, координаты которой являются решением системы
Отсюда, x11=80, x22=70. Таким образом, стационарная точка ЦФ — точка x1=(80,70). В силу вогнутости Z она является точкой ее глобального максимума. Поэтому, если окажется, что эта точка является допустимой в исходной задаче, то она будет ее точкой оптимума. Проверим выполнение ограничения (2):
2×80 + 2×70 = 160 + 140 = 300 > 160.
Найденная точка не является допустимой и, следовательно, не может являться оптимальным решением задачи (1) – (4).

Шаг 2. Согласно схеме обобщенного метода множителей Лагранжа решим задачу максимизации ЦФ («задача 2.2») с учетом первого из ограничений исходной задачи фирмы, которое следует записывать в виде равенства.
Задача 2.2 имеет следующий вид:
Z = 320х1 – 2x12 + 280х2 – 2x22 → max, (5)
2х1 + 2х2 = 160. (6)
Сформируем функцию Лагранжа
L(x1, x2, λ) = 320х1 – 2x12 + 280х2 – 2x22 + λ (160 – 2х1 – 2х2)
и найдем ее стационарные точки. Для этого нужно решить систему
Из первого уравнения имеем
4x1=320-2λ → x1=80-0.5λ,
а из второго уравнения
4x2=280-2λ → x2=70-0.5λ,
Подставив найденные выражения х1 и х2 от λ в третье уравнение, получим
160 – 2×(80 – 0.5λ) – 2×(70 – 0.5λ) = 0 → 2λ – 140 = 0 → λ = 70.
Тогда х1 = 80 – 70/2 = 45, а х2 = 70 – 70/2 = 35, т.е. решение системы:
x12 = 45, x22 = 35, λ2 = 70.

Найденная точка х2 = (45, 35) является оптимальным решением задачи 2.2. Проверим, является ли она допустимой в исходной задаче (1) – (4). Для этого подставим ее координаты в ограничение (3). Получаем, что
6×45 + 2×35 = 270 + 70 = 340 > 220.
Следовательно, найденное решение не является допустимым.
Шаг 3. Решим задачу максимизации ЦФ («задача 2.3») с учетом второго ограничения задачи фирмы, которое также запишем в виде равенства. Она имеет следующий вид:
Z = 320х1 – 2x12 + 280 х2 – 2x22 → max, (7)
6х1 + 2х2 = 220. (8)
Снова сформируем функцию Лагранжа:
L(x1, x2, λ) = 320х1 – 2x12 + 280 х2 – 2x22 + λ (220 – 6х1 – 2х2)
и найдем ее стационарные точки. Для этого нужно решить систему

Из первого уравнения имеем
4x1=320-6λ → x1=80-1.5λ,
а из второго уравнения
4x2=280-2λ → x2=70-0.5λ,
Подставив найденные выражения х1 и х2 от λ в третье уравнение, получим
220 – 6 (80 – 1.5λ) – 2×(70 – 0.5λ) = 10λ – 400 = 0 → λ = 40.
Тогда х1 = 80 – 1.5×40 = 20, а х2 = 70 – 40/2 = 50. Итак, решение системы:
x13 = 20, x23 = 50, λ3 = 40.
Найденная точка х3 = (20, 50) является оптимальным решением задачи 3. Проверим, является ли она допустимой в исходной задаче. Для этого подставим ее координаты в ограничение (2). Получаем, что
2×20 + 2×50 = 40 + 100 = 140 < 160,
т.е. это ограничение выполнено. Очевидно, что выполнены и остальные ограничения задачи (1) – (4). Так как она является задачей ВП, это означает, что найдено оптимальное решение задачи фирмы х* = (20, 50). Вычислим оптимальное значение ЦФ:
Z* = 320×20 – 2×202 + 280×50 – 2×502 = 14 600.
Итак, оптимальным решением является выпуск 20 изделий вида А и 50 изделий вида А. Реализация выпущенных изделий даст фирме максимальную прибыль, равную 14 600 руб. Выполнение этой производственной программы требует затрат 140 ст./час. из фонда рабочего времени станков первого типа и 220 ст./час. из фонда рабочего времени станков второго типа. Это означает, что первый вид оборудования недоиспользуется, а второй вид оборудования используется полностью.