最大似然估計（Maximum Likelihood Estimate，MLE），又稱極大似然估計，是一種參數估計方法。其基本思想是建立參數值與產生特定數據集的可能性之間的函數關系，稱之為“似然函數”，那么就可以根據這種似然函數找出最可能產生該特定數據集的參數水平，并把它們作為參數真實值的一種估計。
最大似然估計法是點估計中最常用的方法，它最早由高斯（C.F.Gauss）在1821年提出，后經英國統計學家Fisher（R.A.Fisher）證明和完善。他對其性質進行了探討，包括相合性、漸近正態性、不變性和充分性。
最大似然估計的求解可以通過三步來完成，首先根據總體的分布寫出似然函數，然后對似然函數取對數并使其導數等于0，即可求得參數的最大似然估計。一些常見的離散型分布以及連續型分布都可以通過這些步驟求解似然函數，進行統計分析。參數估計作為點估計中最常見的方法，在經濟、系統工程、通信、新能源等領域實際問題的解決中應用廣泛，如利用寬帶雷達單脈沖測角的MLE算法估計多個散射中心的回波能量以提升單脈沖測角的性能、利用隱式最大似然估計的風電出力場景生成方法有效地描述風電出力的不確定性等。
定義
一個隨機變量中所包含的各種多數，包括顯含的指數、系數，也包括隱含的均值、方差等數字特征，雖然從理論上講，參數水平不同的隨機變量能生成相同的數據集，但不同參數水平的隨機變量生成特定數據集的可能性是不同的。因此，如果建立參數值與產生特定數據集的可能性之間的函數關系，可以稱之為“似然函數”，那么就可以根據這種似然函數找出最可能產生該特定數據集的參數水平，并把它們作為參數真實值的一種估計，稱為“最大似然估計”。
設總體是分布律為的離散型隨機變量，或是概率密度為的連續型隨機變量，其中，為待估參數，為參數可能取值所構成的參數空間，是樣本的一組觀察值。
稱為樣本的似然函數。
若存在使得成立，則稱為參數的最大似然估計值，為參數的最大似然估計量。
歷史
19世紀末期，卡爾·皮爾遜表明，只要理解了決定統計分布的參數，就能理解了統計分布，進而研究者就擁有了更好地理解從實驗和觀察研究中得到結果的有力工具。這一思想標志著參數統計學研究領域得的誕生。同一時期，羅納德·費雪證明皮爾遜處理估計問題的方法有明顯缺陷。為了解決這個問題，費希爾關注在一個分布參數的不同估計值下能夠觀測到此數據的概率。他希望找到能夠使得觀察到所收集數據的概率（通常稱為數據的似然）最大化的參數估計。
1821年，高斯（C.F.Gauss）最早提出最大似然估計的思想。后來英國統計學家Fisher（R.A.Fisher）于1912年在《關于擬合頻率曲線的一個絕對準則》一文中也提出了極大似然估計法。基于與天文學家亞瑟·埃丁頓的有關估計標準差的爭論，Fisher于1922年正式提出“充分統計量”的概念。同年，Fisher在1821年高斯的基礎上再次提出“最大似然估計”的想法并證明了它的一些性質，進而使得最大似然法得到了廣泛的應用。之后，奈曼和哈勒姆斯分別在1935年和1949年對這些特性給出了更嚴格完備的證明。
相關性質
相合性
設簡單隨機樣本來自密度函數為的分布，若在參數集上可微，且是可識別的（，不是零測集），則似然方程在時有解，且此解關于是相合的（一致的）。
漸近正態性
若是滿足一定條件的最大似然估計相合序列，則是的最優漸近正態估計。即當樣本容量足夠大時，近似。
不變性
如果是基于隨機樣本的最大似然估計量，樣本來自具有概率密度函數或概率質量函數為的分布，而且是一一對應的函數，那么是的最大似然估計量。
充分性
假設隨機樣本的似然函數為，且是的充分估計量，其中參數，則最大化隨機樣本的似然函數的最大似然估計量也是最大化充分統計量的似然函數的最大似然估計量。
求解方法
求解步驟
對于單參數的情況，設總體的概率密度為，為來自該總體的樣本，用導數法求最大似然估計的步驟如下：
第一步，根據總體的分布寫出似然函數：。
第二步，取對數。由于對數函數是嚴格單調增函數，故與在同一處取得最大值。在用微分法求最大似然估計時可以用代替，此時。
若有些函數在極點處不可導（比如函數圖像為折線狀時），這種情況就可以采用梯度下降法尋找最值點的位置。
上述似然方程的解就是的最大似然估計值，也即其最大似然估計為。
對多參數的情況，其求解步驟與上述步驟相同，只需將導數換為偏導數即可。
實例
兩點分布
設隨機變量取值0或1，且。于是的概率函數是。其中，未知，。
設樣本是，則似然函數是。
取對數并對求導后知是唯一的最大值點，即的最大似然估計量為。
正態分布
設總體，為未知參數，是來自總體的樣本，是對應的樣本值。于是，的概率密度為，似然函數如下：
，取對數得
根據極值存在的必要條件，令
，
解得，
故和的最大似然估計量分別為，。
回歸分析
線性回歸
因為線性回歸模型的被解釋變量，就是包含未知參數的隨機變量，而且當解釋變量非隨機，誤差項服從正態分布時，被解釋變量的分布已知為正態分布，因此完全可以用最大似然估計的方法估計線性回歸模型中的未知參數。
兩參數
設模型為，并假設其中的誤差項滿足古典模型的各個假設，而且也滿足非隨機變量的假設。在這個模型中，要估計的參數包括顯含的和，以及隱含的誤差方差。擁有的條件是已經得到和的一組觀測樣本。
由于是確定性變量，因此服從與相同名稱的分布，而且有形式相同的分布密度函數。根據服從正態分布的假設，模型參數的似然函數，
對數似然函數，
?，和的最大似然估計是
，，
在模型的假設條件下，參數和的最大似然估計，與最小二乘估計是一樣的，而的最大似然估計則與根據最小二乘估計殘差構造的無偏估計量有所差異，因此前兩個參數是無偏估計，但的最大似然估計不是無偏的。
多參數
對模型誤差項和解釋變量的假設，仍然是符合古典線性回歸模型的各個基本假設。設模型用觀測向量和觀測矩陣表示為。在上述假設下，的多元分布密度函數與的多元分布密度函數相同，即。
似然函數
對數似然函數
分別對向量和標量求偏導數，并令它們分別為零向量和數值零，可得
，
這就是多元線性回歸模型參數向量，以及誤差項方差的最大似然估計。與最小二乘估計是一樣的，但則與有差異，因此不是的無偏估計。
非線性回歸
對于非線性回歸模型，只能在已知概率密度函數的明確的解析表達式時，才能得到最大似然估計量的解析解。因此，通常情況下，估計量最大似然估計沒有解析解，只能尋找數值解，常用的方法是迭代求解的方法。最大似然估計的迭代求解是針對一個目標函數找到使得目標函數最大或者最小的參數的值。常見的迭代算法的思路為：（1）尋找初始值；（2）運用迭代的方式不斷更新參數值；（3）根據一定的條件結束迭代的過程，找到最優值。
相關概念
最大似然估計通過構造似然函數進行參數估計，而統計學中還有一些其他的參數估計方法。下面介紹幾種典型的方法。
矩估計
矩估計，即矩估計法，就是利用樣本矩來估計總體中相應的參數。由大數定律知，當總體階矩存在時，樣本的階矩依概率收斂于總體的階矩，據此可通過“樣本矩=總體矩”建立方程組求得未知參數的估計量。用矩估計法得到的估計量稱為矩估計量，相應的估計值稱為矩估計值，矩估計量和矩估計值統稱為矩估計。
區間估計
區間估計是根據置信度求置信區間。即把根據樣本構造的兩個統計量作為一個區間的兩個端點，使這個區間包含參數真值的概率不小于一個預先給定的數，這種方法稱為參數的區間估計。
貝葉斯估計
設總體和參數均為隨機變量且聯合密度函數為的密度函數為為樣本，是基于樣本對參數的一個決策，為決策的損失函數，取托馬斯·貝葉斯風險函數為，如果存在一個決策滿足其中為決策空間，則稱為參數的貝葉斯估計。
應用
經濟領域
創新既有可能促進經濟增長，又有可能阻礙經濟增長，同時，金融激勵機制對創新活動與經濟增長有重要影響。為研究創新與經濟增長滿足何種規律以及金融激勵機制在其中的作用，可通過構建非線性回歸模型研究金融激勵機制和創新對經濟增長的影響，采用對弱工具變量問題更不敏感的有限信息最大似然法對模型進行估計并對其中可能存在的金融激勵影響機制以及異質性開展檢驗。
系統工程領域
單脈沖測角技術是指多個接收天線或饋源形成干涉基線，利用射頻和-差器形成和信號與差信號，并通過信號處理解算出目標角度的技術。電大尺寸目標的寬帶散射回波可看成多個強散射中心的共同作用結果，回波表現為高分辨距離像的特點。如何利用多個散射中心的回波能量，以提升單脈沖測角的性能是值得深入研究的問題。寬帶雷達單脈沖測角的最大似然估計(MLE)算法能夠積累擴散到多個距離單元的回波能量，從一維高分辨距離像中獲得信噪比增益。而且，通過回波信號本身確定距離支集結合的MLE算法能夠有效利用距離方向多個散射點的回波能量，提高測角精度。
通信領域
波達方向（DOA）是陣列信號處理的一個重要分支，被廣泛用于通信和聲吶等領域。最大似然估計法可用于DOA估計中，這種方法不僅在高信噪比下性能逼近克拉美羅界（CRB），在低信噪比下也具有較好估計性能。但由于最大似然估計法在計算過程采用多維非線性求解方式，導致運算量極大，不利于工程應用。于是，學者們將最大似然DOA估計與智能優化算法結合，這樣既保證了估計性能又降低了計算復雜度。
新能源領域
隨著風電滲透率的日益提高，如何有效地描述風電出力的不確定性成為了配電網運行和規劃所面臨的巨大挑戰，為此，提出一種基于隱式最大似然估計的風電出力場景生成方法。針對風電出力曲線的數據特征，設計適用于風電出力場景生成的損失函數和網絡結構。通過無監督訓練使得場景生成器能夠學習到高斯噪聲與風電出力場景之間的映射關系。僅需調節模型中相關的參數，采用所提方法就能夠生成不同時間尺度的風電出力場景。通過這種方法所得的預測區間平均寬度和預測區間覆蓋率均優于大多數的生成對抗網絡，且該方法對于不同的風電場具有一定的普適性。
參考資料 >