数学編 第11回 ラグランジュ未定乗数法 ― 制約付きの最適化

数学編 第11回 ラグランジュ未定乗数法 ― 制約付きの最適化

位置: 数学編 第B部 第M11回 / 前提: M3(多変数の微分)、M7(線形代数の基礎) / 数学編: M11 / この回でできるようになること: 制約付きの最小化問題を、ラグランジュ未定乗数法で解くことができる

目次

0. 物語 ― 条件を満たしても最小でない点

「この候補、全部の条件を満たしてます」。レポートを見せた学生に、教員は静かに首を振りました。

問題はこうです。原点を中心とした半径が一定の円の上だけを動きながら、ある量をできるだけ小さくしなさい。円から外れることは許されません。学生は教科書通りの手順を踏みました。目的の量が変化する向きと、円の縁が伸びる向きが平行になる点を探す。条件を満たす候補は2つ見つかりました。

学生が「これが答えです」と書いたのは、目的の量が 2 になる点でした。しかしもう一方の候補では、目的の量はマイナス 2 です。マイナス 2 のほうが小さいのですから、2 の点は最小ではなく最大です。

「条件を満たす候補は、最小だけでなく最大も含んでいる。君が選んだのは最大のほうだ」。教員はそう言って、2つの候補の値を並べて見せました。どちらの点も、教科書に載っている条件をきちんと満たしています。条件は「極値をとるための必要条件」であって、最小を保証するものではないのです。

制約のある問題で最適な点を探すとき、微分から導かれるのは「候補の一覧」です。候補を漏れなく挙げてくれるのがラグランジュ未定乗数法ですが、そこには最大の点も鞍点も紛れ込みます。最終的にどれが最小かは、候補の値を全て比較して決めなければなりません。

この回では、制約のもとで候補を見つける定理を証明し、乗数と呼ばれる補助的な数が「制約を少し緩めたら結果がどれだけ変わるか」を教えてくれることを示します。

1. 動機 ― 制約があるときの最適化

この回を読み終えると、制約付きの最小化問題を、ラグランジュ未定乗数法で解くことができます。

金融で最適化が出てくる場面を思い浮かべてください。「リスクを最小にしたい」「収益を最大にしたい」。ところが多くの場合、自由に変数を動かせるわけではありません。「資産の比率の合計は 1」「予算の上限がある」といった制約がついています。

制約がなければ偏微分を 0 と置くだけで極値の候補が見つかります。しかし制約があると、勾配が 0 の点は制約を満たさないかもしれません。そこで登場するのがラグランジュの未定乗数法です。制約を「ペナルティ」のように目的関数に取り込み、制約付きの問題を制約なしの問題に変換します。

この記事では、等式制約のもとでの必要条件を証明し、乗数の経済的な意味を導き、不等式制約への拡張の入口を示します。

この記事で証明すること

  • THM-M11-1 等式制約のもとで関数が極値を取る点では、制約の勾配が線形独立なら、目的関数の勾配は制約の勾配の線形結合になります。
  • THM-M11-2 ラグランジュ乗数は、制約の右辺を少し緩めたときに最適値がどれだけ変わるかを表します。
  • THM-M11-3 不等式制約のもとでは、効いている制約についてだけ乗数が正になり、効いていない制約の乗数は 0 になります。

2. 設定と仮定 ― 等式制約つきの最小化

以下の問題を考えます。

仮定を全て書き出します。

  • と はすべて連続微分可能( 級)です。
  • 制約の数は変数の数より少ない:。
  • 極値の候補 において、勾配 は線形独立です。この条件を制約想定と呼びます。
  • 十分条件(本当に最小かどうか)は二階の条件が必要ですが、ここでは一階の必要条件にとどめます。

ラグランジュ関数を定義します。スカラー を導入し、

とおきます。 をラグランジュ乗数と呼びます。

制約と乗数を合わせて扱うことで、制約付きの問題を「 の停留点を求める問題」に変換できます。

3. 主張 ― 勾配が平行になる点を探す

定理 THM-M11-1(一階の必要条件) が (1.1) の局所的な極値点であり、制約想定が成り立つとする。このとき、 が存在して

が成り立つ。すなわち かつ である。

幾何的に言えば、(2.1) は「目的関数の等高線と制約曲面が接する」ことを意味します。等高線を横切る方向に制約曲面上で動けるなら、目的関数を改善できるので極値ではありません。動けないのは、勾配が平行(線形結合)になっているときです。

定理 THM-M11-2(乗数の意味) 制約を とパラメータ化し、最適値を と書く。制約想定と適切な正則条件のもとで、

が成り立つ。すなわちラグランジュ乗数は、制約を1単位緩めたときの最適値の変化率である。

経済学ではこの を影の価格と呼びます。制約を緩めることのコストを教えてくれる量です。

定理 THM-M11-3(不等式制約への入口) 不等式制約 ()のもとで が の局所最小点であるとき、適切な制約想定のもとで乗数 が存在し、 かつ

が成り立つ。すなわち、効いている制約()では 、効いていない制約()では である。

(2.3) を相補性条件と呼びます。「乗数と制約の余裕の積がゼロ」という形です。

証明を読む(読まなくても記事は完結します)

4. 証明 ― 制約に沿った方向の微分が 0 であることから導く

この節は読まなくても記事は完結します。

この証明を追いたい人は、数学編 第3回「偏微分、全微分、多変数のテイラー展開」、数学編 第7回「ベクトル、行列、内積」へ。

THM-M11-1 の証明

で 本の制約 が全て成り立ち、 が の局所的極小点であるとします。

ステップ 1: 制約曲面上で動ける方向を特定します。

制約曲面 の上で から動ける方向(接方向)を とします。 は各制約の勾配と直交する必要があります。つまり

を満たすベクトル です。これを正当化するため、制約曲面上の滑らかな曲線 で を満たすものを取ります。 を で微分すると

が得られるので、 は (3.1) を満たします。制約想定(勾配が線形独立)により、陰関数定理から、(3.1) を満たす任意の に対してそのような曲線が存在することが保証されます。

ステップ 2: 接方向に沿って を微分します。

が局所的極小なので、制約曲面上の任意の滑らかな曲線 に沿って

が成り立ちます。厳密には、 は で極小ですから、 です。

ステップ 3: 「全ての接方向で 0」を線形結合に翻訳します。

(3.2) は、(3.1) を満たす全ての に対して と言っています。これは線形代数の言葉で書くと、 が の張る空間の直交補空間の直交補空間に属する、つまり の線形結合であるということです。

正確に言います。 を 行列で、第 行が であるものとします。(3.1) は 、すなわち です。(3.2) は for all です。

線形代数の基本定理(M7)より、 です。 ですから、

を満たす が存在します。これが (2.1) です。 ∎

THM-M11-2 の証明

制約を とパラメータ化します。 のときの最適解が です。陰関数定理の条件は制約想定により満たされています。

最適値関数 を で微分します。連鎖律を使います。

THM-M11-1 より なので、(3.3) に代入します。

一方、制約 を で微分すると

です。ここで はクロネッカーのデルタです。(3.5) を (3.4) に代入すると

が得られます。これが (2.2) です。 ∎

THM-M11-3 の証明(要点)

不等式制約 のうち、 で となるもの(有効制約)の添字集合を とします。 の制約(非有効制約)は、 の近傍では連続性により自動的に満たされるので、局所的な最適性には影響しません。

したがって局所的には、有効制約だけを等式制約とした問題と同じです。THM-M11-1 を有効制約に適用すると

が得られます。非有効制約には を割り当てます。

乗数の符号 は、制約を緩める方向が目的関数を改善する方向(または変えない方向)であることから従います。制約を とパラメータ化すると、 を から小さくすることは実行可能領域を広げるので、最小値は増えません。つまり最小値 は について減少しない関数です。THM-M11-2 の感度解釈 から は非負です。

以上をまとめると、 が全ての で成り立ちます。 ∎

5. 反例 ― 条件を満たしても最小とは限らない

CEX-M11-1: 制約の勾配が 0 になるケース

THM-M11-1 は「制約の勾配が線形独立」という制約想定を要求しています。これが破れると何が起こるかを見ます。

、制約 とします。制約曲線上では なので であり、 の最小値は で です。

ところが での勾配は 、 です。 ですから、 を満たす は存在しません。制約想定が破れたために、最小点なのにラグランジュ条件が成り立ちません。

CEX-M11-2: ラグランジュ条件を満たす最大点

、制約 とします。

ラグランジュ条件 は です。解は 2 組あります。

  • : 、。
  • : 、。

どちらもラグランジュ条件を満たしますが、 は最大点であり、 が最小点です。ラグランジュ条件は極値の候補を挙げるだけで、最小と最大を区別しません。候補を全て調べて の値を比較する必要があります。

CEX-M11-3: 効いていない不等式制約を等式にする誤り

を のもとで最小化します。制約なしの最小点は で です。 は を満たすので、制約は効いていません。最適解は 、 です。

ここで を と等式にしてしまうと、, が「解」になります。真の最適値 より悪化しています。

一方、 という制約ならば は実行不可能で、制約が効きます。最適解は 、 です。THM-M11-3 の相補性条件は、「効いていない制約を無視してよい」ことを正確に述べています。

6. 数値例 ― 資産配分の最小分散を解く

2 変数の例

のもとで を最小化します。ラグランジュ関数は

です。停留条件は

です。最初の 2 式から 、つまり です。制約に代入して 、、 です。乗数は です。

最適値は

です。

乗数の感度解釈を検証する

THM-M11-2 によれば、 は制約の右辺を少し動かしたときの最適値の変化率です。制約を に変えると、同じ計算で 、 となり、最適値は です。

変化量は

です。 とほぼ一致します。差 は の二次の項で、 で消えます。

3 資産の分散最小化

分散がそれぞれ , , の無相関な 3 資産を考えます(本編第 37 回で効率的フロンティアを扱う際にこの構造を使います)。重み のもとでポートフォリオの分散

を最小化します。停留条件は

です。 の形なので、分散の逆数に比例して配分する構造が見えます。制約に代入して

です。最適な重みは

です。最小分散は です。

分散の小さい資産に多く配分し、大きい資産には少なく配分するという直観と一致しています。無相関の場合、最適な重みは分散の逆数に比例します。

7. 次回へ ― なぜ測度論が必要か

今回は有限次元の制約付き最適化を扱いました。変数が有限個なので、微分と線形代数だけで全てが片付きます。

しかし金融数学では「全ての将来の時点で何をするか」を最適化する場面が出てきます。変数が無限次元になると、有限次元の微積分はそのままでは使えません。無限次元の空間でも「大きさ」や「収束」を扱うために、測度論が必要になります。次回 M12 では、なぜ金融に測度論が要るのかを具体例から見ていきます。

よくある質問

なぜ乗数を導入するのですか

制約を目的関数に取り込んで、制約の無い問題と同じように微分で解けるようにするためです。

乗数には意味がありますか

あります。制約を少し緩めたときに得られる改善の大きさです。経済学では影の価格と呼ばれます。

条件を満たせば答えですか

候補です。最大や鞍点の場合もあるので、別に確かめる必要があります。

参考文献

  1. 杉浦光夫、解析入門II、東京大学出版会、1985年
  2. Boyd S. and Vandenberghe L.、Convex Optimization、Cambridge University Press、2004年

数値例は compute.py により有理数演算で検算済み。本文中の小数は4桁で丸めている。

目次