圖像處理（image processing）是對圖像進行各種加工，以達到改善圖像的視覺效果并減少數據量的過程，主要重點是圖像之間的變換及其之間的相互轉換。廣義上圖像處理泛指各種圖像技術，但狹義上專指圖像的底層基本操作。圖像處理可分為虛擬圖像處理和數字圖像處理，前者通過數學方法處理圖像，而后者依賴計算機對圖像屬性進行操作。現代圖像處理多指通過計算機進行的圖像處理。
最早的圖像處理技術誕生于20世紀20年代，當時人們利用巴特蘭（Bartlane）圖片傳輸系統傳輸數字化的新聞圖片，之后又改用光學還原技術來處理圖片。到了20世紀50年代，隨著電子計算機的普及，計算機開始應用于圖像處理領域，并在20世紀60年代逐漸成為一門獨立的學科。到了20世紀80年代、隨著離散數學理論的創立和完善，數字圖像處理理論和方法進一步完善。進入90年代，圖像處理技術朝實時性、智能性和網絡化方向發展，并在21世紀進一步涵蓋小波分析、機器學習、計算機視覺等領域。2010年后，圖像處理技術不僅廣泛應用于可見光和CT圖像處理，還擴展到紅外、磁共振和太赫茲圖像處理領域，其中AI技術促進了圖像處理技術的深入發展，2018年，法國Thales公司在其最新研發的TALIOS光電系統中采用人工智能技術，實現了對目標的自動探測和識別。
圖像處理技術主要包括圖像獲取、圖像預處理、圖像增強和復原、圖像重建、特征提取、圖像變換、圖像編碼壓縮、圖像分割以及圖像識別等。典型的圖片處理工具包括圖像處理軟件Adobe Photoshop、計算機視覺庫OpenCV、圖形處理編程語言MATLAB等。圖像處理技術被廣泛應用于安全、航空航天、生物醫學等領域。其發展趨勢在于提高處理速度，結合新技術開發新的處理方法，并加強標準化研究。
基本概念
圖像
“圖”是物體投射或反射光的分布，“像”是人的視覺系統對圖的接受在大腦中形成的印象或反映。圖像是對客觀對象的一種相似性的生動描述或寫真，或者說是客觀對象的一種表示，它包含了被描述對象的有關信息，即圖像是客觀和主觀的結合。一幅圖像是其所表示物體的信息的一個濃縮和高度概括，廣義地講，凡是記錄在紙介質上的，拍攝在底片和照片上的，顯示在電視、投影器和計算機屏幕上的所有具有視覺效果的畫面都可以稱為圖像。
圖像類型
模擬圖像：模擬圖像是通過某種物理量（光、電等）的強弱變化來記錄圖像上各點的亮度信息的，如模擬電視圖像。
數字圖像：數字圖像是指完全是用數字（即計算機存儲的數據）來記錄圖像亮度信息的。
可見圖像：人眼可以直接觀測的圖像稱為可見圖像，可見圖像包括圖片和光圖像，圖片包括照片、用線條畫的圖和畫，光圖像是用透鏡、光柵和全息技術產生的圖像。
不可見圖像：人眼不可以直接觀測圖像稱為不可見圖像，不可見圖像包括不可見光成像（如紅外線、微波等的成像）和不可見量按數學模型生成的圖像（如溫度、壓力及人口密度等的分布圖）。
圖像格式
在計算機中圖像是以位圖和矢量圖的形式顯示的，圖像處理的過程也與二者密切相關。
位圖：位圖又稱點陣圖、柵格圖像、像素圖，是以像素作為最小單位構成的圖，放大后會失真。在位圖中，每個像素都有自己的顏色對象，在進行圖像處理時，可操作的對象是每個像素。此外，位圖的像素點之間的顏色值不會互相影響，這也使得位圖可以表示任何圖像。位圖文件的格式有BMP、PCX、GIP、JPG等。
矢量圖：矢量圖又稱向量圖，即縮放不失真的圖像，它通過多個對象的組合生成，對其中的每一個對象的記錄方式，以數學函數來實現。在矢量文件中，圖像元素均為自成一體的實體，具有顏色、形狀、輪廓、大小和屏幕位置等屬性。矢量圖形與分辨率無關，清晰度不受大小影響，它的文件格式有AI（奧多比 Illustrator）、EPS、SVG、Dplus KIA等。
顏色與像素
顏色模型：顏色模型是指某個顏色空間中的一個可見光子集，它包含某個顏色域的所有顏色。例如在RGB顏色模型中，它就是三維直角坐標系顏色系統的一個單位立方體。顏色模型的用途是在某個顏色域內方便地指定顏色，由于每一個顏色域都是可見光的子集，因此任何一個顏色模型都無法包含所有的可見光。常見的顏色模型包括RGB顏色模型、CMY顏色模型、HSV顏色模型等。
像素：假設圖像是由一系列不同顏色的點排列組合而成，形成圖像的點稱為像素。像素一般是由數字表示，數字的值決定像素的顏色。把一幅圖像想象成一個正方形網格，每個網格由一個特定顏色的像素組成。像素有灰度和顏色兩種表示方式。
彩色圖像：彩色圖像的數據不僅包括亮度信息，還要包含顏色信息。常規的彩色圖像也都是用RGB三基色來表示，每個像素包括紅綠藍三種顏色的數據，每個數據用1個字節(8位二進制位)表示，則每個像素的數據為3個字節(即24位二進制)。
灰度圖像：灰度圖像是數字圖像的最基本的形式，灰度圖像可以由黑色照片數字化得到，或對彩色圖像進行去色處理得到。在灰度圖像中，每個像素的值都介于0和255之間。0表示黑色，255表示白色。中間的值表示不同程度的灰色陰影，接近0的值是較深的灰色，接近255的值是較亮的灰色。
二值圖像：二值圖像是灰度圖像經過二值化處理的結果。二至圖像只有兩個半色調，理論上只需要1個二進制表示。一幅二值圖像的二維矩陣僅由0、1兩個值構成，“0”代表黑色，“1”代表白色。由于每一像素（矩陣中每一元素）取值僅有0、1兩種可能，所以計算機中二值圖像的數據類型通常為1個二進制位。二值圖像通常用于文字、線條圖的掃描識別（OCR）和掩膜圖像的存儲。
分辨率
分辨率又稱解析度、解像度，可以細分為顯示分辨率、圖像分辨率、打印分辨率和掃描分辨率等，如無特殊強調，主要指圖像分辨率。圖像分辨率是指單位長度上的圖像像素的多少，即用每英寸多少點表示。
圖像分辨率：圖像分辨率是指圖像中存儲的信息量。其和圖像尺寸的值一起決定文件的大小及輸出質量，該值越大圖形文件所占的磁盤空間也就越大，同時，圖形分辨率以比例關系影響文件的大小，及文件大小與其圖形分辨率的平方成正比。
掃描分辨率：掃描分辨率是指在掃描一幅圖像之前所設定的分辨率，它將影響所生成的圖像文件的質量和使用性能，它決定圖形將以何種方式顯示或打印。一般情況下，掃描分辨率不會大于一般屏幕的設備分辨率。
打印分辨率：打印分辨率又稱為輸出分辨率，是指在打印輸出時橫向和縱向兩個方向上每英寸最多能夠打印的點數，通常以“點/英寸”（dpi）表示。它是衡量打印機打印質量的重要指標，它決定了打印機打印圖像時所能表現的精細程度，其中最高分辨率就是打印機所能打印的最大分辨率。
發展歷程
圖像遠距離傳輸
最早的圖像處理在計算機出現之前就已產生。但由于通信和電子技術的限制，圖像技術的發展較為緩慢，傳輸的圖像大小和清晰度都受到了極大的限制，在20世紀20年代，人們利用巴特蘭（Bartlane）圖片傳輸系統傳輸數字化的新聞圖片，在倫敦和紐約之間經大西洋海底電纜傳輸，傳輸一幅圖像的時間需要幾天或者幾個小時。為了改進傳輸圖像的清晰度，改用了一種基于光學還原的技術，在電報接收端用穿孔紙帶打出圖片。早期的Bartlane系統可以用5個灰度等級對圖像編碼，到1929年已增加到15個等級。在這一時期，由于引入了一種用編碼圖像紙帶去調制光束，而使底片感光的系統明顯地改善了復原過程。
計算機圖像處理
計算機圖像處理最早產生于20世紀50年代，當時的電子計算機已經發展到一定水平，人們可以利用計算機來處理圖形和圖像信息。然而數字圖像處理作為一門學科大約形成于60年代初期。早期的圖像處理的目的是改善圖像的質量，是以人為對象，以改善人的視覺效果為目的；常用的圖像處理方法有圖像增強、復原、編碼、壓縮等。
美國噴氣推進實驗室（JPL）首次成功將圖像處理技術應用于科學研究。他們對航天探測器勘測者7號在1964年發回的幾千張月球照片使用了圖像處理技術，如采用幾何校正、灰度變換、去除噪聲等方法進行處理，并考慮了太陽位置和月球環境的影響，由計算機成功地繪制出月球表面地圖，獲得了巨大的成功。隨后又對探測飛船發回的近十萬張照片進行更為復雜的圖像處理，構造出了月球的地形圖、彩色圖及全景鑲嵌圖，取得了非凡的成果，為人類登月奠定了堅實的基礎，也推動了數字圖像處理學科的誕生。在以后的宇航空間技術，如對火星、土星等星球的探測研究中，數字圖像處理技術都發揮了巨大的作用。
推廣應用
20世紀70年代以來，JPL以及各國有關部門已把數字圖像處理技術從空間技術推廣到生物學、X射線圖像增強、光學顯微圖像的分析、地球資源技術衛星、多波段遙感圖像的分析，粒子物理、地質鉆探、人工智能、工業檢測等應用領域。其中1972年，英國EMI公司工程師亨斯菲爾德（Housfield）發明了用于頭顱診斷的X射線計算機斷層攝影裝置，也就是通常所說的CT（Computer Tomograph）。CT 的基本方法是掃描人體組織的截面影像，經計算機處理來重建截面圖像。1975年，EMI公司成功研制了全身CT掃描儀，這種設備能夠獲取人體各部位的清晰斷層圖像。這項突破性的成就幫助EMI在1979年榮獲諾貝爾獎。CT掃描儀的成功不僅標志著醫學成像技術的進步，也極大地推動了圖像處理技術的深入發展。在這一時期，羅森菲爾德（Rosenfeld）出版了第一本專門討論數字圖像處理的專著，進一步促進了該領域的學術和應用研究。
從20世紀70年代中期開始，隨著計算機技術和人工智慧、思維科學研究的迅速發展，數字圖像處理向更高、更深層次發展。人們已開始研究如何用計算機系統解釋圖像，實現類似人類視覺系統理解外部世界，這被稱為圖像理解或計算機視覺。
新理論發展
到了20世紀80年代、隨著離散數學理論的創立和完善，數字圖像處理理論和方法進一步完善，應用范圍更為廣泛。20世紀90年代后，數字圖像處理的發展方向包括實時性、智能性、普及化、網絡化、低成本等，同時隨著因特網的迅速發展和personal computer性能提升和應用普及，大量圖像在網絡中進行傳輸，數字圖像編碼、壓縮等研究逐步深入，形成了JPEG、MPEG等圖像壓縮標準。
21世紀后，越來越多從事數學、物理等理論研究以及計算機科學研究的人員關注和加人到圖像處理這一研究領域，逐漸改變了圖像處理僅受工程技術人員關注的狀況。各種與圖像處理有關的新理論與新技術不斷出現，如小波分析、機器學習、形態學，偏微分方程，模糊集合，計算機視覺、人工神經網絡，壓縮感知等，已經成為圖像處理理論與技術的研究熱點。與此同時，計算機運算速度的提高，硬件處理器能力的增強，使得人們由僅能夠處理單幅的二維彩色圖像，到開始能夠處理多頻段彩色圖像、三維圖像和多視點視頻圖像。
新學科及新技術
隨著圖像處理技術的發展，其深入各個領域并誕生出了眾多交叉技術，例如醫學圖像處理、航天圖像處理、智能圖像處理、多媒體信息處理、遙感圖像處理、生物圖像特征識別、虛擬現實技術等。如在2010年10月，中國嫦娥2號月球探測器在距月球表面100km處用CCD立體相機拍攝的7m分辨率、100%覆蓋的全月球圖像的一個局部——Daniel環型坑，直徑29km。
2010年之后，圖像處理不僅對可見光、CT圖像進行處理，而且擴展到對紅外圖像、磁共振圖像（Magnetic 共振 lmaging，MRI），太赫茲圖像（THz Imaging）等新的研究和應用。2016年年底，World View-4衛星發射升空，其最高分辨率可達0.31米，同時AI（人工智慧）圖像處理技術也在快速的發展，2018年，法國Thales公司在其最新研發的TALIOS光電系統中采用人工智能技術，實現了對目標的自動探測和識別。
分類
虛擬圖像處理
虛擬圖像處理又稱光學處理，主要采用連續數學的方法處理，處理方式很少，往往只能進行簡單的放大、縮小等，并且模擬圖像的保存性較差。例如，望遠鏡、顯微鏡哈哈鏡、透鏡、膠片合成照相、凸透鏡都屬于模擬圖像處理的范疇。其優點是實時處理速度快；缺點是精度低，靈活度差，難有判斷功能。
數字圖像處理
數字圖像處理又稱計算機處理，是通過計算機對圖像進行去除噪聲、增強、復原、分割、提取特征等處理，從而達到某種預期的處理目的的方法和技術。隨著數字技術和數字計算機技術的飛速發展，數字圖像處理技術在近二十年的時間里，迅速發展成為一門獨立的有強大生命力的學科，應用領域十分廣泛。其優點是精度高、內容豐富、方法易變、靈活度高；缺點是處理速度較慢。數學圖像處理的特點包括再現性好、精度高、適用面廣。
圖像技術
圖像獲取
圖像的獲取過程就是將自然的影像轉變為數字化圖像的過程，它的圖像通常用掃描儀、數碼照相機直接獲取，也可以從互聯網、光盤圖片庫等來源獲取。在圖像獲取的過程中通常會涉及到圖像的采樣以及量化，其具體描述如下：
圖像預處理
圖像預處理的主要目的為消除圖像中無關的信息，恢復有用的真實信息，增強有關信息的可檢測性和最大限度地簡化數據，從而可以改進后續的特征抽取、圖像分割、邊緣檢測等。常見的圖像預處理包括噪聲去除、圖像濾波、歸一化等，這些操作旨在提取有用特征，減少計算復雜度，并適應不同算法的要求。其具體描述如下：
圖像增強
圖像增強是通過一定的方法或手段對原圖像附加一些信息或交換數據，有選擇地突出圖像中感興趣的特征或者抑制圖像中某些不需要的特征，使圖像與視覺響應特征相匹配，使之改善圖像質量。圖像增強的主要方法包括對比度增強，銳化以及顏色校正，其具體描述如下：
圖像復原
圖像復原是在假定已知模糊或噪聲的情況下，試圖估計原圖像的一種技術，它可以除去或減少在獲得圖像過程中因各種原因產生的退化，這類原因包括光學系統的像差或離焦、攝像系統與被攝物之間的相對運動、電子或光學系統的噪聲等。圖像復原的方法包括去模糊技術、超分辨率、圖像填充等，其具體描述如下：
圖像重建
圖像重建是指根據對物體的探測獲取的數據來重新建立圖像，用于重建圖像的數據一般是分時、分步取得的。圖像重建的意義在于獲取被檢測物體內部結構的圖像而不對物體造成任何物理上的損傷。圖像重建主要有投影重建、明暗恢復形狀、立體視覺重建和激光測距重建等，其具體描述如下：
特征提取
圖像特征提取是指通過計算機提取圖像中屬于特征信息的方法及過程，它通過檢查每個像素來確定該像素是否代表一個特征。其中，圖像特征包括圖像的顏色特征、紋理特征、形狀特征和空間關系特征。在圖像處理過程中，使用較廣泛的特征包括HOG（Histogram of Oriented 梯度）特征、SIFT（Scale Invariant Feature Transform）特征等，其具體描述如下：
圖像變換
圖像變換技術往往應用于圖像陣列較大時，將空間域的處理轉換為變換域處理，不僅可減少計算量，而且可獲得更有效的處理結果，圖像的變換實質上是改變圖像中像素點與像素點的空間關系，通過改變圖像的空間結構，來實現預處理的效果，常用的圖像變換方法包括縮放、平移、鏡像、旋轉、仿射變換、投射變換等，其具體描述如下：
圖像編碼壓縮
圖像編碼壓縮技術可減少描述圖像的數據量（即比特數），以便縮短圖像傳輸、處理時間和減少所占用的存儲器容量。壓縮可以在不失真的前提下進行，也可以在允許的失真條件下進行。編碼是壓縮技術中最重要的方法，它在圖像處理技術中是發展最早目比較成熟的技術。圖像數據壓縮方法根據不同的依據可產生不同的二分類，根據壓縮質量有無損失可分為有損壓縮編碼和無損壓縮編碼，其具體描述如下：
圖像分割
圖像分割是數字圖像處理中的關鍵技術之一。圖像分割是將圖像中有意義的特征部分提取出來，其有意義的特征有圖像中的邊緣、區域等，這是進一步進行圖像識別分析和理解的基礎。主要的圖像分割方法主要包括基于閾值的分割方法、基于邊緣的分割方法和基于區域的分割方法。
圖像描述
圖像描述是圖像識別和理解的必要前提。一般圖像的描述方法為二維形狀描述，它有邊界描述和區域描述兩類方法。對于特殊的紋理圖像可采用二維紋理特征描述隨著圖像處理研究的深入發展，已經開始進行三維物體描述的研究，提出了體積描述、表面描述、廣義圓柱體描述等方法。
圖像分類（識別）
圖像分類是指將一幅圖像分類到其對應的類別，其目的在于根據圖像信息所能反應的不同特征，將不同類別的圖像區別開來，換言之，圖像分類就是從已知的類別標簽集合中為給定的輸入圖像選定一個類別標簽。分類的方法有很多，其中最常用的包括場景、材質或者紋理分類等。
圖像分析
圖像分析是通過計算機技術和算法從圖像中提取有用信息的過程，它涉及圖像預處理、特征提取、模式識別和數據解釋等步驟。圖像分析廣泛應用于醫療診斷、安防監控、工業檢測和自動駕駛等領域，旨在將視覺數據轉化為可理解和可操作的信息，從而輔助決策和實現自動化處理。
形態學
形態學圖像處理是指通過數學形態學對圖像進行處理，其中數學形態學的語言是集合論，其集合表示圖像中的對象。常用的形態學算法有腐蝕、膨脹、開運算和閉運算等。
典型工具
圖像處理軟件
編程庫和框架
應用
圖像安全與隱私
圖像安全方面的應用可分為公共安全和信息安全，在公共安全方面，包括車站、機場等人員流動密集的場所設置監控器，在處理緊急情況時，警方需要得到清晰明確的圖片信息，以便做出進一步的處置；在信息安全方面，對于某些特殊領域，如軍事、商業和醫療，數字圖像還有較高的隱私保密要求，因此需要對數字圖像進行加密處理，數字圖像加密的安全模型和理論框架包括圖像安全策略、圖像安全評價標準、圖像質量的評價以及加密算法的抗攻擊性等。
航天和航空技術
數字圖像處理技術在航天和航空技術方面的應用，除了對月球、火星照片的處理，還有在飛機遙感和衛星遙感技術中的應用，其通過偵察衛星和飛機進行空中拍攝后，經過計算機進行圖像研判，及節省了人力，也加快了速度。現在世界各國都在利用陸地衛星所獲取的圖像進行資源調查、災害檢測、資源勘察、農業規劃、城市規劃。
生物醫學工程
數字圖像處理在生物醫學工程方面的應用十分廣泛，而且很有成效。除了CT技術，還有一類是對醫用顯微圖像的處理分析，如免疫細胞、紅細胞、白細胞分類，染色體分析，癌細胞識別等。以免疫細胞圖像為例，其呈現塊狀分部，但在實際操作中，由于整體噪聲的存在很難獲得滿意的結果，可以通過對獲取的圖像進行自動分割來獲得更為清晰的圖像。此外，在X光肺部圖像增晰、超聲波圖像處理、心電圖分析、立體定向放射治療等醫學診斷方面都廣泛地應用了圖像處理技術。
通信工程
當前通信的主要發展方向是聲音、文字、圖像和數據結合的多媒體通信。其中以圖像通信最為復雜和困難，其通過在發射端，圖像信源首先經過圖像數字化（A/D轉換）形成數字圖像信號，并去除或減少圖像信息中的冗余度，壓縮圖像信號的頻帶或降低其數碼率，以達到經濟有效的傳輸或存儲的目的。在上述過程中的壓縮編碼技術主要有熵編碼、DPCM編碼、變換編碼，目前國內外正在大力研究新的編碼方法，如分行編碼自適應網絡編碼、小波變換圖像壓縮編碼等。
軍事、公安領域
軍事、公安方面的應用特點是高精尖，數字圖像與數字圖像處理的算法和設備(尤其軍用的)都是最高檔的和最先進的，圖像分辨率、成像速度等技術指標甚至是保密的。在軍事方面，圖像處理和識別主要用于導彈的精確制導，各種偵察照片的判讀，具有圖片傳輸、存儲和顯示的軍事自動化指揮系統，飛機、坦克和軍艦模擬訓練系統等。在公安方面，主要用于圖片的判讀分析、指紋識別、人臉鑒別、不完整圖片的復原及交通監控、事故分析等。目前，已投入運行的高速公路不停車自動收費系統中的車輛和車牌的自動識別都是圖像處理技術成功應用的例子。
農業領域
圖像處理技術在農業領域起步較晚，近年來，隨著計算機多媒體技術的發展，農作物長勢監測、病蟲草害診斷、農作物自動收獲，種子質量檢測、農作物的缺素識別、農產品質量分級檢測等方面有著廣泛的應用。特別是在病蟲害防治方面，通過對病蟲草海的自動檢測與識別技術，開發視覺型智能化控制系統，可以準確地獲取植物受害的病因、病種及受害程度，從而保證農業生產可持續發展。
挑戰
噪聲
圖像中存咋的噪聲種類很多，例如加性高斯白噪聲、量化噪聲、泊松噪聲和斑點噪聲，雖然人們一直在研究去噪技術，但在實際應用中，噪聲往往是復雜且不規則的。一方面，改善成像硬件設備性能以抑制噪聲非常重要；另一方面，如何進一步設計從疊加的噪聲圖像中恢復“干凈”圖像的算法模型也同樣關鍵。
偽影
在CT和MRI中，容積內引入金屬材料可能會導致圖像產線偽影，這是由于金屬材料會影響周圍磁場，導致局部磁場不均勻，加大磁敏感差異以及感生出大量的渦流。該問題很難被解決，金屬導致的偽影只能被忽略掉。此外，金屬偽影在CT和MRI上的表型也不同，對圖像的影響程度也不同。在MRI中，金屬導致的偽影除了引起圖像對比度和灰度改變，還會導致圖像形變、扭曲，產生嚴重的幾何失真。
泛化能力
在圖像識別中，泛化能力的適應性與數據密切相關，在圖像識別模型中，數據集會被隨機劃分為訓練集和測試集，模型也相應地在此數據集上訓練和評估，在一般情況下，由于測試集和訓練集都是從具有相似場景內容和成像條件的數據中采集得到的，因此兩者具有相同的數據分布，但在實際應用中，由于視角、大小尺度、場景配置等因素的影響，導致測試數據與訓練數據存在較大差異，最終會導致模型的泛化能力受到限制。
圖像質量
圖像質量的含義包含兩方面，分別為圖像的逼真度和圖像的可懂度，圖像質量直接取決于成像裝備的光學性能、圖像對比度、儀器噪聲等多種因素的影響。但是，在獲取過程中必須會經過采集、傳輸和處理的過程，由于傳輸介質、記錄設備和處理技術等的不完善，不可避免的會導致圖像的失真和降質。因此，需要對圖像質量進行綜合的評價，從多角度來完善對圖像質量的控制。
發展趨勢
由于圖像處理逐漸深入人們的日常生活，因此需要進一步發展在不同領域的深度研究，其主要包括：
參考資料 >
圖像分析.什么是圖像分析？.2024-05-31