手勢(shì)識(shí)別是指計(jì)算機(jī)識(shí)別人手(或手和臂的組合) 姿態(tài)或動(dòng)作并判斷其意義的技術(shù)?；谝曈X(jué)的手勢(shì)識(shí)別其基本原理是系統(tǒng)通過(guò)輸入設(shè)備獲取圖像序列(或視頻流)，檢測(cè)其中是否有手勢(shì)出現(xiàn)。如果有，則把該手勢(shì)從圖像序列(或視頻流) 中分割出來(lái)，然后進(jìn)行手勢(shì)分析。選擇手勢(shì)模型并獲取模型參數(shù)，最后對(duì)手勢(shì)進(jìn)行識(shí)別、分類(lèi)形成關(guān)于手勢(shì)的描述，從而得到最終的識(shí)別結(jié)果。
簡(jiǎn)介
手勢(shì)識(shí)別是計(jì)算機(jī)科學(xué)和語(yǔ)言技術(shù)中的一個(gè)主題，目的是通過(guò)數(shù)學(xué)算法來(lái)識(shí)別人類(lèi)手勢(shì)。手勢(shì)可以源自任何身體運(yùn)動(dòng)或狀態(tài)，但通常源自面部或手。本領(lǐng)域中的當(dāng)前焦點(diǎn)包括來(lái)自面部和手勢(shì)識(shí)別的情感識(shí)別。用戶(hù)可以使用簡(jiǎn)單的手勢(shì)來(lái)控制或與設(shè)備交互，而無(wú)需接觸他們。姿勢(shì)，步態(tài)和人類(lèi)行為的識(shí)別也是手勢(shì)識(shí)別技術(shù)的主題。手勢(shì)識(shí)別可以被視為計(jì)算機(jī)理解人體語(yǔ)言的方式，從而在機(jī)器和人之間搭建比原始文本用戶(hù)界面或甚至GUI（圖形用戶(hù)界面）更豐富的橋梁。
手勢(shì)識(shí)別使人們能夠與機(jī)器（人機(jī)交互）進(jìn)行通信，并且無(wú)需任何機(jī)械設(shè)備即可自然交互。使用手勢(shì)識(shí)別的概念，可以將手指指向計(jì)算機(jī)屏幕，使得光標(biāo)將相應(yīng)地移動(dòng)。這可能使常規(guī)輸入設(shè)備（如鼠標(biāo)，鍵盤(pán)甚至觸摸屏）變得冗余。
研究發(fā)展
最初的手勢(shì)識(shí)別主要是利用機(jī)器設(shè)備，直接檢測(cè)手胳膊各關(guān)節(jié)的角度和空間位置。這些設(shè)備多是通過(guò)有線技術(shù)將計(jì)算機(jī)系統(tǒng)與用戶(hù)相互連接，使用戶(hù)的手勢(shì)信息完整無(wú)誤地傳送至識(shí)別系統(tǒng)中，其典型設(shè)備如數(shù)據(jù)手套等。數(shù)據(jù)手套是由多個(gè)傳感器件組成，通過(guò)這些傳感器可將用戶(hù)手的位置手指的方向等信息傳送到計(jì)算機(jī)系統(tǒng)中。數(shù)據(jù)手套雖可提供良好的檢測(cè)效果，但將其應(yīng)用在常用領(lǐng)域則價(jià)格昂貴。其后，光學(xué)標(biāo)記方法取代了數(shù)據(jù)手套將光學(xué)標(biāo)記戴在人手上，通過(guò)紅外線可將人手位置和手指的變化傳送到系統(tǒng)屏幕上，該方法也可提供良好的效果，但仍需較為復(fù)雜的設(shè)備。
外部設(shè)備的介入雖使得手勢(shì)識(shí)別的準(zhǔn)確度和穩(wěn)定性得以提高，但卻掩蓋了手勢(shì)自然的表達(dá)方式為此，基于視覺(jué)的手勢(shì)識(shí)別方式應(yīng)運(yùn)而生視覺(jué)手勢(shì)識(shí)別是指對(duì)視頻采集設(shè)備拍攝到的包含手勢(shì)的圖像序列，通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行處理，進(jìn)而對(duì)手勢(shì)加以識(shí)別。
關(guān)鍵技術(shù)
手勢(shì)無(wú)論是靜態(tài)或動(dòng)態(tài)，其識(shí)別順序首先需進(jìn)行圖像的獲取手的檢測(cè)和分割手勢(shì)的分析，然后進(jìn)行靜態(tài)或動(dòng)態(tài)的手勢(shì)識(shí)別。
分割技術(shù)
手勢(shì)分割是手勢(shì)識(shí)別過(guò)程中關(guān)鍵的一步，手勢(shì)分割的效果直接影響到下一步手勢(shì)分析及最終的手勢(shì)識(shí)別。目前最常用的手勢(shì)分割法主要包括基于單目視覺(jué)的手勢(shì)分割和基于立體視覺(jué)的手勢(shì)分割。
單目視覺(jué)是利用一個(gè)圖像采集設(shè)備獲得手勢(shì)，得到手勢(shì)的平面模型。建立手勢(shì)形狀數(shù)據(jù)庫(kù)的方法是將能夠考慮的所有手勢(shì)建立起來(lái)，利于手勢(shì)的模版匹配，但其計(jì)算量隨之增加，不利于系統(tǒng)的快速識(shí)別。
立體視覺(jué)是利用多個(gè)圖像采集設(shè)備得到手勢(shì)的不同圖像，轉(zhuǎn)換成立體模型。立體匹配的方法與單目視覺(jué)中的模板匹配方法類(lèi)似，也要建立大量的手勢(shì)庫(kù); 而三維重構(gòu)則需建立手勢(shì)的三維模型，計(jì)算量將增加，但分割效果較好。
分析技術(shù)
手勢(shì)分析是完成手勢(shì)識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一。通過(guò)手勢(shì)分析，可獲得手勢(shì)的形狀特征或運(yùn)動(dòng)軌跡。手勢(shì)的形狀和運(yùn)動(dòng)軌跡是動(dòng)態(tài)手勢(shì)識(shí)別中的重要特征，與手勢(shì)所表達(dá)意義有直接的關(guān)系。手勢(shì)分析的主要方法有以下幾類(lèi): 邊緣輪廓提取法、質(zhì)心手指等多特征結(jié)合法以及指關(guān)節(jié)式跟蹤法等。
邊緣輪廓提取法是手勢(shì)分析常用的方法之一，手型因其特有的外形而與其他物體區(qū)分; 何陽(yáng)青采用結(jié)合幾何矩和邊緣檢測(cè)的手勢(shì)識(shí)別算法，通過(guò)設(shè)定兩個(gè)特征的權(quán)重來(lái)計(jì)算圖像間的距離，實(shí)現(xiàn)對(duì)字母手勢(shì)的識(shí)別。多特征結(jié)合法則是根據(jù)手的物理特性分析手勢(shì)的姿勢(shì)或軌跡;Meenakshi Panwar將手勢(shì)形狀和手指指尖特征相結(jié)合來(lái)實(shí)現(xiàn)手勢(shì)的識(shí)別。指關(guān)節(jié)式跟蹤法主要是構(gòu)建手的二維或三維模型，再根據(jù)人手關(guān)節(jié)點(diǎn)的位置變化來(lái)進(jìn)行跟蹤，其主要應(yīng)用于動(dòng)態(tài)軌跡跟蹤。
識(shí)別技術(shù)
手勢(shì)識(shí)別是將模型參數(shù)空間里的軌跡( 或點(diǎn)) 分類(lèi)到該空間里某個(gè)子集的過(guò)程，其包括靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別，動(dòng)態(tài)手勢(shì)識(shí)別最終可轉(zhuǎn)化為靜態(tài)手勢(shì)識(shí)別。從手勢(shì)識(shí)別的技術(shù)實(shí)現(xiàn)來(lái)看，常見(jiàn)手勢(shì)識(shí)別方法主要有: 模板匹配法神經(jīng)網(wǎng)絡(luò)法和隱馬爾可夫模型法。
模板匹配法是將手勢(shì)的動(dòng)作看成是一個(gè)由靜態(tài)手勢(shì)圖像所組成的序列，然后將待識(shí)別的手勢(shì)模板序列與已知的手勢(shì)模板序列進(jìn)行比較，從而識(shí)別出手勢(shì)。
隱馬爾可夫模型法( Hidden Markov Model，HMM) :是一種統(tǒng)計(jì)模型，用隱馬爾可夫建模的系統(tǒng)具有雙重隨機(jī)過(guò)程，其包括狀態(tài)轉(zhuǎn)移和觀察值輸出的隨機(jī)過(guò)程。其中狀態(tài)轉(zhuǎn)移的隨機(jī)過(guò)程是隱性的，其通過(guò)觀察序列的隨機(jī)過(guò)程所表現(xiàn)。
展望
手勢(shì)識(shí)別作為人機(jī)交互的重要組成部分，其研究發(fā)展影響著人機(jī)交互的自然性和靈活性。目前大多數(shù)研究者均將注意力集中在手勢(shì)的最終識(shí)別方面，通常會(huì)將手勢(shì)背景簡(jiǎn)化，并在單一背景下利用所研究的算法將手勢(shì)進(jìn)行分割，然后采用常用的識(shí)別方法將手勢(shì)表達(dá)的含義通過(guò)系統(tǒng)分析出來(lái) 但在現(xiàn)實(shí)應(yīng)用中，手勢(shì)通常處于復(fù)雜的環(huán)境下，例如: 光線過(guò)亮或過(guò)暗有較多手勢(shì)存在手勢(shì)距采集設(shè)備距離不同等各種復(fù)雜背景因素。這些方面的難題目前尚未得到解決，且將來(lái)也難以解決 因此需要研究人員就目前所預(yù)想到的難題在特定環(huán)境下加以解決，進(jìn)而通過(guò)多種方法的結(jié)合來(lái)實(shí)現(xiàn)適于不同復(fù)雜環(huán)境下的手勢(shì)識(shí)別，由此對(duì)手勢(shì)識(shí)別研究及未來(lái)人性化的人機(jī)交互做出貢獻(xiàn)。
參考資料 >