跳转到内容

凸函数

维基百科,自由的百科全书
凸函数的圖像上任取兩點,連成的線段必在圖像上方。
二元二次多項式函數的圖像,形如開口向上的碗。

凸函数(英文:Convex function)是指函数图形上,任意兩點連成的線段,皆位於圖形的上方的实值函数[1]如單變數的二次函数指数函数。二階可導的一元函數為凸,当且仅当其定義域為凸集,且函數的二階導數在整個定義域上非負。直觀理解,凸函數的圖像形如開口向上的杯,而相反,凹函数則形如開口向下的帽

最优化研究中,凸函數的最小化問題有唯一性,即凸開集上的嚴格凸函數,至多只有一個極小值。

概率论中,凸函數作用在某随机变量期望值所得的結果,總不大於對隨機變量先取函數值再取期望,即

稱為延森不等式。該不等式可以推導出均值不等式赫尔德不等式等結果。

注意:中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。Convex Function在某些中国大陆的数学书中指凹函数。Concave Function指凸函数。但在中国大陆涉及经济学的很多书中,凹凸性的提法和其他國家的提法是一致的,也就是和数学教材是反的。举个例子,同济大学高等数学教材对函数的凹凸性定义与本条目相反,本条目的凹凸性是指其上方图是凹集或凸集,而同济大学高等数学教材则是指其下方图是凹集或凸集,两者定义正好相反。

定義

形像理解凸函數與延森不等式

為某向量空間凸子集,若实值函数 對任意 及任意,皆有

稱為凸函数

,然後在 圖像上任取兩點 連線,則連線上某點 座標可以想成從 出發,前進了 這整段的一部分而已,也就是說

循著同樣的比例 座標就可以寫成

但同樣的 座標下,對應的 函數值就是

所以,凸函數的定義意為, 的圖像上,任意相異兩點的連線不能低於中間 的曲線。[2]換言之,函數的上境圖英语Epigraph (mathematics)(圖像上方的點的集合)为凸集

严格凸函数

若將定義的號換成,則得到嚴格凸的定義:

稱為嚴格凸,意思是對和任意不相等的,皆有

,在嚴格凸函數的圖像曲線上,任意兩相異點的連線,除端點外皆高於曲線。

几乎凸函数

实值函数 對於任意三實數 ,都有,則稱 幾乎凸的。

性质

凸函數的某些性質,多元情況的敍述與一元情況同樣簡單。此種性質,可能僅於多元情況列舉,恕不在一元情況贅述。

一元情況

函数(蓝色)是凸的,当且仅当其上方的区域(绿色)是一个凸集
  • 是一元實函數定義域區間。考慮割線斜率則函數對稱函數粵语對稱函數,即關於為凸,當且僅當對每個固定的,皆有關於單調不減(或由對稱性,可將此句中互換)。此刻劃有助證明以下的結果。
  • 若一元凸函数定义在开区间內,則在C连续,且處處有左側及右側的單邊導數英语Semi-differentiability。如此定義的兩個單邊導函數,皆為單調不減。由此推出,除可数个点外,在其他点皆可微(不過不可導的點組成的集合,仍有可能稠密)。如果闭区间,那么有可能在的端点不连续,見例子
  • 一元可微函数在区间上是凸的,当且仅当函数位于所有它的切线的上方:[3]:69对于区间内的所有,都有特别地,如果,則上式化為,故最小值
  • 一元可微函数在某个区间上是凸的,当且仅当它的导数在该区间上单调不减。若一元函數既凸又可導,則其導數也連續
  • 一元二阶可微的函数在区间上是凸的,当且仅当它的二阶导数英语second derivative是非负的;这是判断某个函数是否凸的實用方法。直觀地,二階可導的凸函數「向上彎」,而不會屈向另一邊(即無拐点)。如果它的二阶导数是正数,那么函数就是严格凸的,但反过来不成立。例如,的二阶导数是,当时为零,但是严格凸的。
    • 此性質的條件「二階導數非負」與前一個性質的條件「導數單調不減」有差異。若在區間非負,則的確單調不減。反之則不然,因為可能有單調不減,但在某點不可導,即中某點無定義。
  • 為一元凸函數,且,則正數集內為超可加函數英语Superadditivity,即對任意正實數成立。

多元情況

更一般地,多元二次可微的连续函数在凸集上是凸的,当且仅当它的黑塞矩阵在凸集的内部是半正定的。

凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。

对于凸函数f水平子集{x | f(x) < a}和{x | f(x) ≤ a}(aR)是凸集。然而,水平子集是凸集的函数不一定是凸函数;这样的函数称为拟凸函数

延森不等式对于每一个凸函数f都成立。如果是一个随机变量,在f的定义域内取值,那么(在这里,表示数学期望。)

凸函數的初等運算

  • 如果是凸函數,那麼也是凸函數。
  • 如果是凸函數,且遞增,那麼是凸函數。
  • 凸性在仿射映射下不變:也就是說,如果是凸函數(),那麼也是凸函數,其中
  • 如果內是凸函數,且是一個凸的非空集,那麼內是凸函數,只要對於某個,有

例子

  • 函数处处有,因此f是一个(严格的)凸函数。
  • 绝对值函数是凸函数,虽然它在点x = 0没有导数。
  • 时,函数是凸函数。
  • 定义域为[0,1]的函数f,定义为f(0)=f(1)=1,当0<x<1时f(x)=0,是凸函数;它在开区间(0,1)内连续,但在0和1不连续。
  • 函数的二阶导数为,因此它在x ≥ 0的集合上是凸函数,在x ≤ 0的集合上是凹函数
  • 每一个在内取值的线性变换都是凸函数,但不是严格凸函数,因为如果f是线性函数,那么。如果将“凸”替换为“凹”,该命题也成立。
  • 每一个在内取值的仿射变换,也就是说,每一个形如的函数,既是凸函数又是凹函数。
  • 每一个范数都是凸函数,这是由于三角不等式
  • 如果是凸函数,那么当时,是凸函数。
  • 单调递增但非凸的函数。
  • 函数f(x) = 1/x2f(0)=+∞,在区间(0,+∞)内是凸函数,在区间(-∞,0)内也是凸函数,但是在区间(-∞,+∞)内不是凸函数,这是由于x = 0处的奇点。

参见

参考文献

  1. ^ 36-705 Intermediate Statistics: Lecture Notes 2 [中級統計學:講義2] (PDF). www.stat.cmu.edu. [3 March 2017]. (原始内容存档 (PDF)于2021-05-06) (英语). 
  2. ^ Concave Upward and Downward [上凸與下凸]. mathsisfun.com. (原始内容存档于2013-12-18) (英语). 
  3. ^ Boyd, Stephen P.; Vandenberghe, Lieven. Convex Optimization [凸優化] (pdf). Cambridge University Press. 2004 [October 15, 2011]. ISBN 978-0-521-83378-3. (原始内容存档 (PDF)于2021-05-09) (英语). 
  • Moon, Todd. Tutorial: Convexity and Jensen's inequality. [2008-09-04]. (原始内容存档于2008-04-20). 
  • Rockafellar, R. T. Convex analysis. Princeton: Princeton University Press. 1970. 
  • Luenberger, David. Linear and Nonlinear Programming. Addison-Wesley. 1984. 
  • Luenberger, David. Optimization by Vector Space Methods. Wiley & Sons. 1969. 
  • Bertsekas, Dimitri. Convex Analysis and Optimization. Athena Scientific. 2003. 
  • Thomson, Brian. Symmetric Properties of Real Functions. CRC Press. 1994. 
  • Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.
  • Krasnosel'skii M.A., Rutickii Ya.B. Convex Functions and Orlicz Spaces. Groningen: P.Noordhoff Ltd. 1961. 
  • Borwein, Jonathan, and Lewis, Adrian. (2000). Convex Analysis and Nonlinear Optimization. Springer.