非線性回歸是回歸函數(shù)關于未知回歸系數(shù)具有非線性結構的回歸。常用的處理方法有回歸函數(shù)的線性迭代法、分段回歸法、迭代最小二乘法等。非線性回歸分析的主要內(nèi)容與線性回歸分析相似。
回歸分析法
所謂回歸分析法，是在掌握大量觀察數(shù)據(jù)的基礎上，利用數(shù)理統(tǒng)計方法建立因變量與自變量之間的回歸關系函數(shù)表達式（稱回歸方程式）。回歸分析中，當研究的因果關系只涉及因變量和一個自變量時，叫做一元回歸分析；當研究的因果關系涉及因變量和兩個或兩個以上自變量時，叫做多元回歸分析。此外，回歸分析中，又依據(jù)描述自變量與因變量之間因果關系的函數(shù)表達式是線性的還是非線性的，分為線性回歸分析和非線性回歸分析。通常線性回歸分析法是最基本的分析方法，遇到非線性回歸問題可以借助數(shù)學手段化為線性回歸問題處理。
簡介
如果回歸模型的因變量是自變量的一次以上函數(shù)形式，回歸規(guī)律在圖形上表現(xiàn)為形態(tài)各異的各種曲線，稱為非線性回歸。
處理方法
可線性化問題
處理可線性化處理的非線性回歸的基本方法是，通過變量變換，將非線性回歸化為線性回歸，然后用線性回歸方法處理。假定根據(jù)理論或經(jīng)驗，已獲得輸出變量與輸入變量之間的非線性表達式，但表達式的系數(shù)是未知的，要根據(jù)輸入輸出的n次觀察結果來確定系數(shù)的值。按最小二乘法原理來求出系數(shù)值，所得到的模型為非線性回歸模型(nonlinear regression model)。
例題
例1：1790-1960某國人口變化數(shù)據(jù)：注意：即便線性方程對對觀測數(shù)據(jù)擬合相當好，但有關誤差項的獨立性和方差假設有可能被破壞。原因是時間序列的數(shù)據(jù)誤差項往往不獨立，誤差項大小有可能根據(jù)數(shù)據(jù)總體的大小而變化，意思就是，即便適合這個樣本的觀測量的方程，但是，不適合總體。根據(jù)經(jīng)驗，人口增長模型不能被轉化為線性模型，所以，可以利用曲線回歸或者非線性回歸。進一步比較究竟是曲線回歸好還是非線性回歸好，需要建立新的殘差變量，這一步并不難，就是在spss中，相應分析的保存子對話框中建立新的對應模型的變量。其實，有一個萬能公式：spss中，所有的“保存”對話框的功能都是，在二維表窗口也就是spss的盛放數(shù)據(jù)窗口中建立新變量，這個新變量有默認名，是相應分析的重要結果。保存新變量以后，需要根據(jù)殘差的序列圖進行判斷：最平穩(wěn)的就是最合適的。
例2：血中藥物濃度和時間曲線呈非線性關系。
這個是根據(jù)專業(yè)背景知識而判斷。藥物不可能馬上見效，也許在血液中逐步或者突然見效。
例3:身高和體重，在青少年中，是呈直線關系，因為，青少年在不斷成長，但是，對于整個人的生命周期，卻是曲線關系，因為成年人的身高一般是確定的。
像這樣的例子根本用直線回歸擬合不了，也稱為非本質(zhì)線性模型。對于這種實際情況，可以使用非線性回歸的分段模型。最終目的是使殘差平方和最小。也就是在圖形中跟大多數(shù)散點接近。
利用SPSS
注意事項
1、初始值確定：
①利用簡單假設確定，例如，如果在所有變量中最大的一個個案值為178萬，就需要選擇200為初始值，再根據(jù)方程估計參數(shù)值。
②利用圖形或者圖形輔助，數(shù)據(jù)轉換
如果參數(shù)沒有初始值，也不能簡單的設置為0，要將它們設置為預計要改變的值大小。總之，就是想辦法找到一個比較合適的值，多設幾個，然后比較。也可以根據(jù)專業(yè)背景和重點，來設置。這個還可以根據(jù)數(shù)學計算，例如，方程二邊同時取對數(shù)。需要具體問題具體分析。?
2、迭代和收斂：迭代是計算機自動計算的，例如將迭代設置為1000，意思就是計算機算了1000次，每一次都是根據(jù)上一次的結果的基礎進行再運算。當然，人工筆算需要算1000年。迭代不會永無止境地計算下去，而是收斂標準或者稱作最大迭代的設置后，不論得沒有得到結果，是否達到目標，都會停止。在結果輸出表格中有迭代的歷史記錄。這個表格就是過程表，每一步怎樣算的，都可以找到。因為迭代是計算機自動計算，例如，燒水，如果開了不斷電，水燒干了就會起火，所以，機器需要人控制，它本身沒有情感。
3、spss操作：不論“計算變量”對話框或者“非線性回歸”，和非線性回歸的“損失函數(shù)”對話框都是很像的，有一個計算器算盤，函數(shù)組，函數(shù)和特殊變量。各種元素組合在一起，構成一個表達式，這個表達式構成一個新變量。只要用鼠標將對應的元素加入到表達式中，然后檢查，或者事先在本上寫有表達式，對應好，基本就沒有問題。其實，spss許多操作根據(jù)文字可以猜出個大概。
4、損失函數(shù)：“非線性回歸”對話框是對整個因變量的運算法則，但是，損失函數(shù)是對某一個統(tǒng)計量的運算法則，SPSS Clementine默認是使用最小殘差平方和找出非線性模型，也可以自己設置。在相應對話框中都有設置。可以這樣以為：損失函數(shù)就是估計誤差的函數(shù)，它是一個負面指標，越小越好。
5、參數(shù)約束：多數(shù)非線性模型中，參數(shù)必須限制在有意義的區(qū)間內(nèi)。指的是在迭代過程中對參數(shù)的限制。分為線性約束和非線性約束。線性約束中將參數(shù)乘以常數(shù) 但這個常數(shù)不能為其他參數(shù)或者自身。非線性約束中至少有一個參數(shù)和其他參數(shù)相乘或者相除或者進行冪運算。
概述
有一類模型，其回歸參數(shù)不是線性的，也不能通過轉換的方法將其變?yōu)榫€性的參數(shù)。這類模型稱為非線性回歸模型。在許多實際問題中，回歸函數(shù)往往是較復雜的非線性函數(shù)。非線性函數(shù)的求解一般可分為將非線性變換成線性和不能變換成線性兩大類。這里主要討論可以變換為線性方程的非線性問題。
應用
對實際科學研究中常遇到不可線性處理的非線性回歸問題，提出了一種新的解決方法。該方法是基于回歸問題的最小二乘法，在求誤差平方和最小的極值問題上，應用了最優(yōu)化中對無約束極值問題的一種數(shù)學解法——單純形法。應用結果證明，這種非線性回歸的方法算法比較簡單，收斂效果和收斂速度都比較理想。
參考資料 >