- 推導得出KKT條件 -

正是在求解凸優(yōu)化的含不等式約束時，推導出了KKT條件，下面通過圖形和符號一步一步推導。

帶求解問題

f(x) 最小值為 0 ，如下圖，同時給出了帶約束極小值與無約束一致需要滿足的兩個條件（第二個條件正是正定二次型）

以上情況，我們稱此約束失效（not active）,如下圖所示：

為了讓以上約束生效，重新定義目標函數(shù)：

即等同于圓心位置移動：

容易看出，如果不帶約束，目標函數(shù)的最小值位于圓心處取得，但是此處不能滿足約束：

因此，直觀感覺，目標函數(shù)的最小值是在恰好與約束區(qū)域邊界外切處取得，如下圖所示：

用數(shù)學公式描述，即滿足：

正是基于這個等式，定義了著名的拉格朗日乘子法：

總結以上兩種情況（無約束極小值取得位置是否位于可行域內）：

合并以上兩種，追求簡約，總結了約束條件，這就是：KKT條件

具體來說：

1)

合并為KKT條件:

2)

比較容易觀察

3)

合并為KKT條件4：

4) 

合并為條件3：

上式等式正是支持向量機中為什么真正只有兩個點起到分類作用的原因

5）半正定二次型約束，等價于凸優(yōu)化