Условная оптимизация. Метод множителей Лагранжа

При изложенном выше методе отыскания точек возможного условного экстремума мы нарушили симметрию в отношении переменных ут. Часть из этих переменных мы рассматривали как независимые, остальные - как функции этих переменных. В ряде случаев это приводит к усложнению выкладок. Лагранжем предложен метод, симметризирующий роль переменных. Изложению этого метода и посвящен настоящий пункт. Умножим равенства (13.47) соответственно на произвольные (и пока еще неопределенные) постоянные множители Полученные после умножения равенства сложим почленно с равенством (13.46). В результате получим следующее равенство:

где символом обозначена следующая функция:

Эту функцию мы в дальнейшем будем называть функцией Лагранжа. Считая, что для функций (13.41) выполнены условия,

сформулированные в предыдущем пункте, и что функция (13.40) дифференцируема, выберем множители так, чтобы выполнялись равенства

Это заведомо можно сделать, ибо равенства (13.52) приводят к линейной системе

определитель которой (якобиан отличен от нуля. В силу равенства (13.52) равенство (13.50) принимает вид

Поскольку при сделанных выше предположениях переменные являются независимыми, то из равенства (13.53) заключаем, что

Присоединяя к уравнениям (13.52) и (13.54) условия связи (13.41), мы получим систему уравнений

для определения координат точек возможного условного экстремума и множителей Хт. Практически при реализации этого метода поступают следующим образом. Составляют функцию Лагранжа (13.51) и для этой функции находят точки возможного безусловного экстремума. Для исключения множителей привлекают условия связи (13.41). Такой путь отыскания точек возможного условного экстремума является законным, ибо он приводит нас как раз к системе уравнений (13.55). Пример применения метода множителей Лагранжа будет рассмотрен в п. 4.

Описание метода

где .

Обоснование

Нижеприведенное обоснование метода множителей Лагранжа не является его строгим доказательством. Оно содержит эвристические рассуждения, помогающие понять геометрический смысл метода.

Двумерный случай

Линии уровня и кривая .

Пусть требуется найти экстремум некоторой функции двух переменных при условии, задаваемом уравнением . Мы будем считать, что все функции непрерывно дифференцируемы, и данное уравнение задает гладкую кривую S на плоскости . Тогда задача сводится к нахождению экстремума функции f на кривой S . Будем также считать, что S не проходит через точки, в которых градиент f обращается в 0 .

Нарисуем на плоскости линии уровня функции f (то есть кривые ). Из геометрических соображений видно, что экстремумом функции f на кривой S могут быть только точки, в которых касательные к S и соответствующей линии уровня совпадают. Действительно, если кривая S пересекает линию уровня f в точке трансверсально (то есть под некоторым ненулевым углом), то двигаясь по кривой S из точки мы можем попасть как на линии уровня, соответствующие большему значению f , так и меньшему. Следовательно, такая точка не может быть точкой экстремума.

Тем самым, необходимым условием экстремума в нашем случае будет совпадение касательных. Чтобы записать его в аналитической форме, заметим, что оно эквивалентно параллельности градиентов функций f и ψ в данной точке, поскольку вектор градиента перпендикулярен касательной к линии уровня. Это условие выражается в следующей форме:

где λ - некоторое число, отличное от нуля, и являющееся множителем Лагранжа.

Рассмотрим теперь функцию Лагранжа , зависящую от и λ :

Необходимым условием ее экстремума является равенство нулю градиента . В соответствии с правилами дифференцирования, оно записывается в виде

Мы получили систему, первые два уравнения которой эквивалентны необходимому условию локального экстремума (1), а третье - уравнению . Из нее можно найти . При этом , поскольку в противном случае градиент функции f обращается в нуль в точке , что противоречит нашим предположениям. Следует заметить, что найденные таким образом точки могут и не являться искомыми точками условного экстремума - рассмотренное условие носит необходимый, но не достаточный характер. Нахождение условного экстремума с помощью вспомогательной функции L и составляет основу метода множителей Лагранжа, примененного здесь для простейшего случая двух переменных. Оказывается, вышеприведенные рассуждения обобщаются на случай произвольного числа переменных и уравнений, задающих условия.

На основе метода множителей Лагранжа можно доказать и некоторые достаточные условия для условного экстремума, требующие анализа вторых производных функции Лагранжа.

Применение

  • Метод множителей Лагранжа применяется при решении задач нелинейного программирования, возникающих во многих областях (например, в экономике).
  • Основной метод решения задачи об оптимизации качества кодирования аудио и видео данных при заданном среднем битрейте (оптимизация искажений - англ. Rate-Distortion optimization ).

См. также

Ссылки

  • Зорич В. А. Математический анализ. Часть 1. - изд. 2-е, испр. и доп. - М.: ФАЗИС, 1997.

Wikimedia Foundation . 2010 .

Смотреть что такое "Множители Лагранжа" в других словарях:

    Множители Лагранжа - дополнительные множители, преобразующие целевую функцию экстремальной задачи выпуклого программирования (в частности, линейного программирования) при ее решении одним из классических методов методом разрешающих множителей… … Экономико-математический словарь

    множители Лагранжа - Дополнительные множители, преобразующие целевую функцию экстремальной задачи выпуклого программирования (в частности, линейного программирования) при ее решении одним из классических методов методом разрешающих множителей (методом Лагранжа).… … Справочник технического переводчика

    Механики. 1) Лагранжа уравнения 1 го рода дифференциальные ур ния движения механич. системы, к рые даны в проекциях на прямоугольные координатные оси и содержат т. н. множители Лагранжа. Получены Ж. Лагранжем в 1788. Для голономной системы,… … Физическая энциклопедия

    Механики обыкновенные дифференциальные уравнения 2 го порядка, описывающие движения механич. систем под действием приложенных к ним сил. Л. у. установлены Ж. Лаг ранжем в двух формах: Л. у. 1 го рода, или уравнения в декартовых координатах с… … Математическая энциклопедия

    1) в гидромеханике ур ния движения жидкости (газа) в переменных Лагранжа, к рыми являются координаты ч ц среды. Получены франц. учёным Ж. Лагранжем (J. Lagrange; ок. 1780). Из Л. у. определяется закон движения ч ц среды в виде зависимостей… … Физическая энциклопедия

    Метод множителей Лагранжа, метод нахождения условного экстремума функции f(x), где, относительно m ограничений, i меняется от единицы до m. Содержание 1 Описание метода … Википедия

    Функция, используемая при решении задач на условный экстремум функций многих переменных и функционалов. С помощью Л. ф. записываются необходимые условия оптимальности в задачах на условный экстремум. При этом не требуется выражать одни переменные … Математическая энциклопедия

    Метод решения задач на Условный экстремум; Л. м. м. заключается в сведении этих задач к задачам на безусловный экстремум вспомогательной функции т. н. функции Лагранжа. Для задачи об экстремуме функции f (х1, x2,..., xn) при… …

    Переменные, с помощью к рых строится Лагранжа функция при исследовании задач на условный экстремум. Использование Л. м. и функции Лагранжа позволяет единообразным способом получать необходимые условия оптимальности в задачах на условный экстремум … Математическая энциклопедия

    1) в гидромеханике уравнения движения жид кой среды, записанные в переменных Лагранжа, которыми являются координаты частиц среды. Из Л. у. определяется закон движения частиц среды в виде зависимостей координат от времени, а по ним… … Большая советская энциклопедия

Способ определения условного экстремума начинается с построения вспомогательной функции Лагранжа, которая в области допустимых решений достигает максимума для тех же значений переменных x 1 , x 2 , ..., x n , что и целевая функция z . Пусть решается задача определения условного экстремума функции z = f (X) при ограничениях φ i ( x 1 , x 2 , ..., x n ) = 0, i = 1, 2, ..., m , m < n

Составим функцию

которая называется функцией Лагранжа . X , - постоянные множители (множители Лагранжа ). Отметим, что множителям Лагранжа можно придать экономический смысл. Если f (x 1 , x 2 , ..., x n ) - доход, соответствующий плану X = (x 1 , x 2 , ..., x n ) , а функция φ i (x 1 , x 2 , ..., x n ) - издержки i-го ресурса, соответствующие этому плану, то X , - цена (оценка) i-го ресурса, характеризующая изменение экстремального значения целевой функции в зависимости от изменения размера i-го ресурса (маргинальная оценка). L(Х) - функция n + m переменных (x 1 , x 2 , ..., x n , λ 1 , λ 2 , ..., λ n ) . Определение стационарных точек этой функции приводит к решению системы уравнений

Легко заметить, что . Таким образом, задача нахождения условного экстремума функции z = f (X) сводится к нахождению локального экстремума функции L(X) . Если стационарная точка найдена, то вопрос о существовании экстремума в простейших случаях решается на основании достаточных условий экстремума - исследования знака второго дифференциала d 2 L(X) в стационарной точке при условии, что переменные приращения Δx i - связаны соотношениями

полученными путем дифференцирования уравнений связи.

Решение системы нелинейных уравнений с двумя неизвестными с помощью средства Поиск решения

Настройка Поиск решения позволяет находить решение систе­мы нелинейных уравнений с двумя неизвестными:

где
- нелинейная функция от переменныхx и y ,
- произвольная постоянная.

Известно, что пара (x , y ) является решением системы уравнений (10) тогда и только тогда, когда она является решением следующего уравнение с двумя неизвестными:

С другой стороны, решение системы (10) - это точки пересечения двух кривых: f ] (x , y ) = C и f 2 (х, у) = С 2 на плоскости ХО Y .

Из этого следует метод нахождения корней системы. нелинейных уравнений:

    Определить (хотя бы приближенно) интервал существования решения системы уравнений (10) или уравнения (11). Здесь не­обходимо учитывать вид уравнений, входящих в систему, область определения каждого их уравнений и т. п. Иногда применяется подбор начального приближения решения;

    Протабулировать решение уравнения (11) по переменным x и y на выбранном интервале, либо построить графики функций f 1 (x , y ) = С, и f 2 (х,у) = С 2 (система(10)).

    Локализовать предполагаемые корни системы уравнений - найти несколько минимальных значений из таблицы табулирование­ корней уравнения (11), либо определить точки пересечения кривых, входящих в систему (10).

4. Найти корни для системы уравнений (10) с помощью надстройки Поиск решения.

Жозеф Луи Лагранж родился в Турине (Италия) в итало-французской семье. Он учился, а затем преподавал в Артиллерийском училище. В 1759 г. по рекомендации Эйлера 23-летнего Лагранжа избирают в члены Берлинской академии наук. В 1766 г. он уже стал ее президентом. Фридрих II пригласил Лагранжа в Берлин. После смерти Фридриха II в 1786 г. Лагранж переехал в Париж. С 1722 г. он был членом Парижской академии наук, в 1795 г. его назначили членом Бюро долгот, и он принял активное участие в создании метрической системы мер. Круг научных исследований Лагранжа был необычайно широк. Они посвящены механике, геометрии, математическому анализу, алгебре, теории чисел, а также теоретической астрономии. Основным направлением исследований Лагранжа было представление самых различных явлений в механике с единой точки зрения. Он вывел уравнение, описывающее поведение любых систем под действием сил. В области астрономии Лагранж много сделал для решения проблемы устойчивости Солнечной системы; доказал некоторые частные случаи устойчивого движения, в частности для малых тел находящихся в так называемых треугольных точках либрации.

Метод Лагранжа ─ это метод решения задачи условной оптимизации, при котором ограничения, записываемые как неявные функции, объединяются с целевой функцией в форме нового уравнения, называемого лагранжианом .

Рассмотрим частный случай общей задачи нелинейного программирования:

Дана система нелинейных уравнений (1):

(1) gi(x1,x2,…,xn)=bi (i=1..m),

Найти наименьшее (или наибольшее) значение функции (2)

(2) f (х1,х2,…,хn),

если отсутствуют условия неотрицательности переменных и f(х1,х2,…,хn) и gi(x1,x2,…,xn) ─ функции, непрерывные вместе со своими частными производными.

Чтобы найти решение этой задачи, можно применить следующий метод: 1. Вводят набор переменных λ1, λ2,…, λm, называемых множителями Лагранжа, составляют функцию Лагранжа (3)

(3) F(х1,х2,…,хn , λ1,λ2,…,λm) = f(х1,х2,…,хn)+ λi .

2. Находят частные производные от функции Лагранжа по переменным xi и λi и приравнивают их нулю.

3. Решая систему уравнений, находят точки, в которых целевая функция задачи может иметь экстремум.

4.Среди точек, подозрительных не экстремум, находят такие, в которыхдостигается экстремум, и вычисляют значения функции в этих точках.

4. Сравнить полученные значения функции f и выбрать наилучшее.

По плану производства продукции предприятию необходимо изготовить 180 изделий. Эти изделия могут быть изготовлены двумя технологическими способами. При производстве х1 изделия I способом затраты равны 4*х1+х1^2 руб., а при изготовлении х2 изделий II способом они составляют 8*х2+х2^2 руб. Определить, сколько изделий каждым из способов следует изготовить, так чтобы общие затраты на производство продукции были минимальными.

Решение: Математическая постановка задачи состоит в определении наименьшего значения функции двух переменных:

f = 4*x1+x1^2 +8*x2 +x2^2, при условии x1 +x2 = 180.

Составим функцию Лагранжа:

F(x1,x2,λ) = 4*x1+x1^2+8*x2+x2^2+λ*(180-x1-x2).

Вычислим ее частные производные по х1,х2, λ и приравняем их к 0:

Перенесем в правые части первых двух уравнений λ и приравняем их левые части, получим 4 + 2*x1 = 8 + 2*x2, или x1 − x2 = 2.

Решая последнее уравнение совместно с уравнением x1 + x2 = 180, находим x1 = 91, x2 = 89, то есть получили решение, удовлетворяющее условиям:

Найдем значение целевой функции f при этих значениях переменных:

F(x1, x2) = 17278

Эта точка является подозрительной на экстремум. Используя вторые частные производные, можно показать, что в точке (91,89) функция f имеет минимум.

Метод множителей Лагранжа (в англ. литературе «LaGrange"s method of undetermined multipliers») ˗ это численный метод решения оптимизационных задач, который позволяет определить «условный» экстремум целевой функции (минимальное или максимальное значение)

при наличии заданных ограничений на ее переменные в виде равенств (т.е. определена область допустимых значений)

˗ это значения аргумента функции (управляемые параметры) на вещественной области при котором значение функции стремится к экстремуму. Применение названия «условный» экстремум связано с тем, что на переменные наложено дополнительное условие, которое ограничивает область допустимых значений при поиске экстремума функции.

Метод множителей Лагранжа позволяет задачу поиска условного экстремума целевой функции на множестве допустимых значений преобразовать к задаче безусловной оптимизации функции.

В случае если функции и непрерывны вместе со своими частными производными, то существуют такие переменные λ не равные одновременно нулю, при которых выполняется следующее условие:

Таким образом, в соответствии с методом множителей Лагранжа для поиска экстремума целевой функции на множестве допустимых значений составляю функцию Лагранжа L(х, λ), которую в дальнейшем оптимизируют:

где λ ˗ вектор дополнительных переменных, называемых неопределенными множителями Лагранжа.

Таким образом, задача нахождения условного экстремума функции f(x) свелась к задаче поиска безусловного экстремума функции L(x, λ).

и

Необходимое условие экстремума функции Лагранжа задается системой уравнений (система состоит из «n + m» уравнений):

Решение данной системы уравнений позволяет определить аргументы функции (Х), при которых значение функции L(x, λ), а также значение целевой функции f(x) соответствуют экстремуму.

Величина множителей Лагранжа (λ) имеет практический интерес в случае, если ограничения представлены в форме со свободным членом уравнения (константой). В этом случае можно рассматривать дальнейшее (увеличение/уменьшение) значения целевой функции за счет изменения значения константы в системе уравнения . Таким образом, множитель Лагранжа характеризует скорость изменения максимума целевой функции при изменении ограничивающей константы.

Существует несколько способов определения характера экстремума полученной функции:

Первый способ: Пусть – координаты точки экстремума, а - соответствующее значение целевой функции. Берется точка , близкая к точке , и вычисляется значение целевой функции :

Если , то в точке имеет место максимум.

Если , то в точке имеет место минимум.

Второй способ: Достаточным условием, из которого можно выяснить характер экстремума, является знак второго дифференциала функции Лагранжа. Второй дифференциал функции Лагранжа определяется следующим образом:

Если в заданной точке минимум , если же , то целевая функция f(x) имеет в данной точке условный максимум.

Третий способ: Также характер экстремума функции можно выяснить рассмотрев гессиан функции Лагранжа. Матрица Гессе представляет собой симметричную квадратную матрицу вторых частных производных функции в точке , в которой элементы матрицы симметричны относительно главной диагонали.

Для определения типа экстремума (максимум или минимум функции) можно воспользоваться правилом Сильвестра:

1. Для того, чтобы второй дифференциал функции Лагранжа был знакоположителен необходимо, чтобы угловые миноры функции были положительными . При таких условиях функция в этой точке имеет минимум.

2. Для того, чтобы второй дифференциал функции Лагранжа был знакоотрицателен , необходимо, чтобы угловые миноры функции чередовались, причем первый элемент матрицы должен быть отрицательнsv . При таких условиях функция в этой точке имеет максимум.

Под угловым минором понимаем минор, расположенный в первых k строках и k столбцах исходной матрицы.

Основное практическое значение метода Лагранжа заключается в том, что он позволяет перейти от условной оптимизации к безусловной и, соответственно, расширить арсенал доступных методов решения задачи. Однако задача решения системы уравнений, к которой сводится данный метод, в общем случае не проще исходной задачи поиска экстремума. Такие методы называются непрямыми. Их применение объясняется необходимостью получить решение экстремальной задачи в аналитической форме (допустим, для тех или иных теоретических выкладок). При решении конкретных практических задач обычно используются прямые методы, основанные на итеративных процессах вычисления и сравнения значений оптимизируемых функций.

Методика расчета

1 шаг : Определяем функцию Лагранжа из заданной целевой функции и системы ограничений:

Вперёд

Для того, чтобы добавить Ваш комментарий к статье, пожалуйста, зарегистрируйтесь на сайте.