特征分解（Eigen decomposition），又稱譜分解。是將矩陣分解為由其特征值和特征向量表示的矩陣之積的方法。只有對可對角化矩陣才可以施以特征分解。
令是一個(gè)的方陣，且有個(gè)線性獨(dú)立的特征向量。這樣，可以被分解為（其中是方陣，且其第列為的特征向量。是對角矩陣，其對角線上的元素為對應(yīng)的特征值，也即）。一般來說，特征向量被單位化（但這不是必須的）。未被單位化的特征向量組，也可以作為的列向量。這一事實(shí)可以這樣理解：中向量的長度都被抵消了。
特征分解主要應(yīng)用于方差、協(xié)方差、相關(guān)系數(shù)、協(xié)方差矩陣、主成分分析、機(jī)器學(xué)習(xí)中的分類問題。
基礎(chǔ)理論
N 維非零向量 v 是 的矩陣 A 的特征向量，當(dāng)且僅當(dāng)下式成立：
其中 λ 為一標(biāo)量，稱為 v 對應(yīng)的特征值。也稱 v 為特征值 λ 對應(yīng)的特征向量。也即特征向量被施以線性變換 A 只會(huì)使向量伸長或縮短而其方向不被改變。
由上式可得
稱多項(xiàng)式 為矩陣的特征多項(xiàng)式。上式亦稱為矩陣的特征方程。特征多項(xiàng)式是關(guān)于未知數(shù) λ 的 N 次多項(xiàng)式。由代數(shù)基本定理，特征方程有 N 個(gè)解。這些解的解集也就是特征值的集合，有時(shí)也稱為“譜”（Spectrum）。
我們可以對多項(xiàng)式 p 進(jìn)行因式分解，而得到
其中
對每一個(gè)特征值 ，我們都有下式成立：
對每一個(gè)特征方程，都會(huì)有（ ）個(gè)線性無關(guān)的解。這 個(gè)向量與一個(gè)特征值 相對應(yīng)。這里，整數(shù) m 稱為特征值 的 幾何重?cái)?shù)，而 n 稱為 代數(shù)重?cái)?shù)。這里需要注意的是幾何重?cái)?shù)與代數(shù)重?cái)?shù)可以相等，但也可以不相等。一種最簡單的情況是 。特征向量的極大線性無關(guān)向量組中向量的個(gè)數(shù)可以由所有特征值的幾何重?cái)?shù)之和來確定。
分解方法
矩陣
令 A 是一個(gè) 的方陣，且有 N 個(gè)線性無關(guān)的特征向量。這樣， A 可以被分解為
其中 Q 是 N× N方陣，且其第 i列為 A 的特征向量。 Λ 是對角矩陣，其對角線上的元素為對應(yīng)的特征值，也即。這里需要注意只有可對角化矩陣才可以作特征分解。比如 不能被對角化，也就不能特征分解。
一般來說，特征向量 一般被正交單位化（但這不是必須的）。未被正交單位化的特征向量組 也可以作為 Q 的列向量。這一事實(shí)可以這樣理解： Q 中向量的長度都被 抵消了。
矩陣的逆
若矩陣 A 可被特征分解并特征值中不含零，則矩陣 A 為非奇異矩陣，且其逆矩陣可以由下式給出：
因?yàn)?Λ 為對角矩陣，其逆矩陣容易計(jì)算出：
特殊矩陣
??對稱矩陣
任意的 N× N實(shí)對稱矩陣都有 N 個(gè)線性無關(guān)的特征向量。并且這些特征向量都可以正交單位化而得到一組正交且模為 1 的向量。故實(shí)對稱矩陣 A 可被分解成
其中 Q 為 正交矩陣， Λ 為實(shí)對角矩陣。
??正規(guī)矩陣
類似地，一個(gè)復(fù)正規(guī)矩陣具有一組正交特征向量基，故正規(guī)矩陣可以被分解成
其中 U 為一個(gè)酉矩陣。進(jìn)一步地，若 A 是埃爾米特矩陣，那么對角矩陣 Λ 的對角元全是實(shí)數(shù)。若 A 還是酉矩陣，則 Λ 的所有對角元在復(fù)平面的單位圓上取得。
參考資料 >
特征分解 | Eigen decomposition.技術(shù)劉.2024-03-05
特征分解.博客園.2024-03-05