高斯過程（gaussian process）是概率論和統(tǒng)計(jì)學(xué)中的一個(gè)概念，指的是在連續(xù)域（如時(shí)間或空間）上的觀測(cè)值構(gòu)成的隨機(jī)過程，其中每個(gè)點(diǎn)都與一個(gè)正態(tài)分布的隨機(jī)變量相關(guān)聯(lián)。這些隨機(jī)變量的任意有限集合具有多元正態(tài)分布。高斯過程的分布是這些隨機(jī)變量的聯(lián)合分布，因此它描述了連續(xù)域上函數(shù)的分布。
定義
高斯過程是定義在連續(xù)輸入空間上的隨機(jī)過程，可以表示為X ~ GP(m,K)，其中X是隨機(jī)函數(shù)，m是平均數(shù)函數(shù)，K是協(xié)方差函數(shù)。當(dāng)輸入向量為二維或多維時(shí)，高斯過程也可以被稱為高斯自由場(chǎng)（Gaussian field）。在某些情況下，為了簡(jiǎn)化計(jì)算，可以假設(shè)隨機(jī)變量Xt的平均值為0，這樣高斯過程的均方屬性就可以完全由協(xié)方差函數(shù)K來確定。
協(xié)方差函數(shù)
高斯過程的行為可以完全由其協(xié)方差函數(shù)定義，這是因?yàn)樗鼈兊亩A統(tǒng)計(jì)量決定了整個(gè)過程的性質(zhì)。協(xié)方差函數(shù)的選擇反映了過程的平穩(wěn)性、各向同性、光滑性和周期性等特性。例如，平穩(wěn)過程意味著過程的行為只依賴于兩點(diǎn)之間的距離，而各向同性則意味著過程的行為只依賴于兩點(diǎn)之間的歐幾里得距離。
高斯過程中常用的協(xié)方差函數(shù)包括常值函數(shù)、線性函數(shù)、高斯噪聲、平方指數(shù)、Ornstein–Uhlenbeck、Matérn、周期性函數(shù)和有理二次方函數(shù)。這些函數(shù)的選擇取決于對(duì)過程的先驗(yàn)知識(shí)，例如我們希望模型反映的平滑程度或周期性。
舉例
在通信信道中的噪聲，通常是一種高斯過程，因此也被稱為高斯噪聲。高斯過程不僅用于描述物理現(xiàn)象，還廣泛應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域。在機(jī)器學(xué)習(xí)中，高斯過程是一種惰性學(xué)習(xí)算法，通過核函數(shù)來度量輸入點(diǎn)之間的相似性，從而預(yù)測(cè)未知點(diǎn)的值。預(yù)測(cè)結(jié)果包括預(yù)測(cè)值及其不確定性，即該點(diǎn)的邊際分布。
應(yīng)用
高斯過程在統(tǒng)計(jì)建模中的應(yīng)用非常廣泛，它允許我們對(duì)隨機(jī)過程進(jìn)行建模，并求出各種導(dǎo)出量的分布，如隨機(jī)過程在一定范圍內(nèi)的平均值，以及使用小范圍采樣次數(shù)及采樣值進(jìn)行平均值預(yù)測(cè)的誤差。對(duì)于某些核函數(shù)，可以使用矩陣代數(shù)（如克里金法）來計(jì)算預(yù)測(cè)值，而當(dāng)核函數(shù)包含代數(shù)參數(shù)時(shí)，通常需要使用軟件來擬合高斯過程模型。
參考資料 >