一，引言： 

AOI（automatically optical inspection）是光學(xué)自動檢測，顧名思義是通過光學(xué)系統(tǒng)成像實(shí)現(xiàn)自動檢測的一種手段，是眾多自動圖像傳感檢測技術(shù)中的一種檢測技術(shù)，核心技術(shù)點(diǎn)如何獲得準(zhǔn)確且高質(zhì)量的光學(xué)圖像并加工處理。

AOI檢測技術(shù)應(yīng)運(yùn)而生的背景是電子元件集成度與精細(xì)化程度高，檢測速度與效率更高，檢測零缺陷的發(fā)展需求。AOI檢測的最大優(yōu)點(diǎn)是節(jié)省人力，降低成本，提高生產(chǎn)效率， 統(tǒng)一檢測標(biāo)準(zhǔn)和排除人為因素干擾，保證了檢測結(jié)果的穩(wěn)定性，可重復(fù)性和準(zhǔn)確性，及時發(fā)現(xiàn)產(chǎn)品的不良，確保出貨質(zhì)量。在人工智能技術(shù)與大數(shù)據(jù)發(fā)展進(jìn)步的今天，AOI檢測不僅僅是一部檢測設(shè)備，對大量不良結(jié)果進(jìn)行分類和統(tǒng)計(jì)，可以發(fā)現(xiàn)不良發(fā)生的原因，在工藝改善和生產(chǎn)良率提升中也正逐步發(fā)揮著更重要的作用，因此，可以預(yù)期未來AOI檢測技術(shù)將在半導(dǎo)體與電子電路檢測中將會發(fā)揮越來越重要的作用。

二，AOI檢測基本原理與設(shè)備構(gòu)成：

AOI檢測原理是采用攝像技術(shù)將被檢測物體的反射光強(qiáng)以定量化的灰階值輸出，通過與標(biāo)準(zhǔn)圖像的灰階值進(jìn)行比較，分析判定缺陷并進(jìn)行分類的過程。與人工檢查做一個形象的比喻，AOI采用的普通LED或特殊光源相當(dāng)于人工檢查時的自然光，AOI采用的光學(xué)傳感器和光學(xué)透鏡相當(dāng)于人眼，AOI的圖像處理與分析系統(tǒng)就相當(dāng)于人腦，即“看”與“判”兩個環(huán)節(jié)。因此，AOI檢測的工作邏輯可以簡單地分為圖像采集階段（光學(xué)掃描和數(shù)據(jù)收集），數(shù)據(jù)處理階段（數(shù)據(jù)分類與轉(zhuǎn)換），圖像分析段（特征提取與模板比對）和缺陷報(bào)告階段四個階段（缺陷大小類型分類等）。為了支持和實(shí)現(xiàn)AOI檢測的上述四個功能，AOI設(shè)備的硬件系統(tǒng)也就包括工作平臺，成像系統(tǒng)，圖像處理系統(tǒng)和電氣系統(tǒng)四個部分，是一個集成了機(jī)械，自動化，光學(xué)和軟件等多學(xué)科的自動化設(shè)備。

（1）圖像采集階段（光學(xué)掃描和數(shù)據(jù)收集）

 AOI的圖像采集系統(tǒng)主要包括光電轉(zhuǎn)化攝影系統(tǒng)，照明系統(tǒng)和控制系統(tǒng)三個部分。因?yàn)閿z影得到的圖像被用于與模板做對比，所以獲取的圖像信息準(zhǔn)確性對于檢測結(jié)果非常重要，可以想象一下，如果圖像采集器看不清楚或看不到被檢測物體的特征點(diǎn)，那么也就無法談到準(zhǔn)確的檢出。

下面我們對光電轉(zhuǎn)化攝影系統(tǒng)，照明系統(tǒng)和控制系統(tǒng)三個部分逐一分析介紹。

首先，光電轉(zhuǎn)化攝影系統(tǒng)指的是光電二極管器件和與之搭配的成像系統(tǒng)。是獲得圖像的”眼睛”, 原理都是光電二極管接受到被檢測物體反射的光線，光能轉(zhuǎn)化產(chǎn)生電荷，轉(zhuǎn)化后的電荷被光電傳感器中的電子元件收集，傳輸形成電壓模擬信號。二極管吸收光線強(qiáng)度不同時生成的模擬電壓大小不同，依次輸出模擬電壓值被轉(zhuǎn)化為數(shù)字灰階0-255值，灰階值反映了物體反射光的強(qiáng)弱，進(jìn)而實(shí)現(xiàn)識別不同被檢測物體的目的。

光電轉(zhuǎn)化器可以分為CCD（charge Coupling diode）和CMOS（ complementary metal oxide semiconductor ）兩種。因?yàn)橹谱鞴に嚺c設(shè)計(jì)不同，CCD與CMOS傳感器工作原理主要表現(xiàn)為數(shù)字電荷傳送的方式的不同，工作原理如下圖所示，CCD采用硅基半導(dǎo)體加工工藝，并設(shè)置了垂直和水平移位寄存器，電極所產(chǎn)生的電場推動電荷鏈接方式傳輸?shù)街醒肽?shù)轉(zhuǎn)換器。這樣的結(jié)構(gòu)與設(shè)計(jì)很難集成很多的感光單元，制造成本高且功耗大；而CMOS采用無機(jī)半導(dǎo)體加工工藝，每像素設(shè)計(jì)了額外的電子電路，每個像素都可以被定位，而無需CCD中那樣的電荷移位設(shè)計(jì)，對圖像信息的讀取速度遠(yuǎn)遠(yuǎn)高于CCD芯片，因光暈和拖尾等過度曝光而產(chǎn)生的非自然現(xiàn)象的發(fā)生頻率要低得多，價格和功耗比CCD光電轉(zhuǎn)化器也低，但其缺點(diǎn)是半導(dǎo)體工藝制作的像素單元缺陷多，靈敏度會有一些問題，同時，為每個像素電子電路提供所需的額外空間不會作為光敏區(qū)域。芯片表面上的光敏區(qū)域部分（定義為填充因子）小于CCD芯片。從理論上講，這個原因?qū)е驴梢允占膱D像信息光子數(shù)會有所減少，所以，CMOS光電轉(zhuǎn)化元件一般需要搭配高亮度光源，噪音也比較大。

不論CCD還是CMOS結(jié)構(gòu)，一個光電轉(zhuǎn)化器單元即為一個像素點(diǎn)，若干個光電轉(zhuǎn)化器以行列的方式進(jìn)行排列形成矩陣就構(gòu)成了圖像傳感器。衡量圖像傳感器性能主要是有解析度，尺寸或面積，靈敏度，信噪比等，其中解析度與尺寸是最重要的指標(biāo)。圖像傳感器拍攝被檢測物體畫面時，光電轉(zhuǎn)化器的尺寸越小像素密度越小就可以將物體“看”得更細(xì)致。因此，理論上光電轉(zhuǎn)化器件的像素?cái)?shù)量應(yīng)該越多越好。但像素?cái)?shù)量的增加會提高制造成本和導(dǎo)致成品率下降。因此，將光學(xué)透鏡與光電轉(zhuǎn)化器件結(jié)合在一起，可以將微小的被檢測物體放大成像在光電轉(zhuǎn)化器件上，也可以實(shí)現(xiàn)高解析度檢測效果，所以，實(shí)際AOI檢測設(shè)備會根據(jù)客戶的需求進(jìn)行配置。

近年來，CMOS制作工藝的半導(dǎo)體技術(shù)化，加上其快的掃描和圖像傳輸速度優(yōu)勢，CMOS面掃描圖像傳感器也開始被采用在工業(yè)級AOI檢測設(shè)備中， 逐步形成了線掃描CCD圖像傳感器和CMOS面掃描圖像傳感器兩種主流技術(shù)。

下圖例為線掃面圖像傳感器工作例：

線掃描圖像傳感器的掃描寬度方向只有一個像素，通過移動來獲得圖像，沒有自身放大電路且噪音小，所有一般解析度比較好。被檢測物體的同一位置信號在掃描過程中會被多次收集，光電轉(zhuǎn)化后的信號累加輸出，所以即使其中一個光電傳感器出現(xiàn)問題也不影響檢查結(jié)果，但缺點(diǎn)是要求平臺的運(yùn)動精度非常高，采集區(qū)域要準(zhǔn)確。

面掃描圖像采集器CMOS的每一個光電二極管都可以獨(dú)立輸出電壓信號，因此，輸出速度非常快，節(jié)省了工作時間，因此，對運(yùn)動平臺的移動精度要求沒有線掃描那么嚴(yán)格，但缺點(diǎn)是信號沒有了積分過程，要求被檢測物體反射光要足夠強(qiáng)，感光二極管出現(xiàn)問題后會造成假點(diǎn)和誤判，信號的噪音也會相應(yīng)增強(qiáng)。

 近年來，平板顯示行業(yè)的玻璃基板尺寸不斷增加和工藝節(jié)拍不斷縮短，對自動光學(xué)檢測設(shè)備的檢測速度 （TACT time）提出了更高的要求。以色列奧寶科技利用了CMOS圖像傳感器極高的圖像信息獨(dú)區(qū)和處理速度優(yōu)勢，基于對CMOS 圖像傳感器的深刻理解基礎(chǔ)上，客制化的開發(fā)了數(shù)據(jù)傳輸與幀頻速度高的面陣相機(jī)，并系統(tǒng)解決了面陣CMOS傳感器，光源以及同步性等系統(tǒng)問題，成功開發(fā)了基于面陣CMOS 圖像傳感器的AOI檢測系統(tǒng)，在保證產(chǎn)業(yè)要求的工藝節(jié)拍同時，克服了CMOS圖像傳感器填充因子小和信噪比偏高先天劣勢，檢測能力及各項(xiàng)指標(biāo)都得到了行業(yè)內(nèi)的認(rèn)可。

除光電傳感器外，AOI圖像采集過程中照明系統(tǒng)也非常重要，選擇最佳光源目的是保證被檢測物體的特征區(qū)別于其他背景，涉及到光源的光譜特性，光源顏色，色溫特性。高效率長壽命，高亮度且均勻的光源是必須考慮的參數(shù)，高亮度均勻性好的光源可以提高信噪比，而長壽命高效率則可以提高設(shè)備的穩(wěn)定性，降低工作負(fù)荷。

照明光源按照波長分類可以分為可見波長光源，特殊波長光源?？梢姴ㄩL光源也就是一般現(xiàn)代工業(yè)AOI檢測設(shè)備中最常用的紅綠藍(lán)LED光源。特殊波長光源一般是指紅外或紫外波長光源，一些特殊材料在可見光范圍內(nèi)吸收差別不大，灰階變化不明顯時可以考慮采用特殊波長光源，比如說利用紫外光能量高可以激發(fā)熒光材料的原理，檢測具有熒光發(fā)光特性物質(zhì)微殘留時紫外光源就是一種比較有效的手段，因材料成分與紅外光譜有對應(yīng)關(guān)系的原理，紅外光源對不具有發(fā)光性質(zhì)的有機(jī)化合物殘留缺陷檢出就有很大的作用，甚至可以實(shí)現(xiàn)成分分析。特殊光源中，利用偏振光與物體相互作用后偏振態(tài)的變化，利用光學(xué)干涉原理的白光干涉（white light interferometry）在特定缺陷檢測中的得到了應(yīng)用，例如通過相干光的干涉圖案計(jì)算出對應(yīng)的相位差和光程差，可以測量出被測物體與參考物體之間的差異，且分辨率與精度為可以達(dá)到亞波長，測量三維物體形貌與高度也正成為AOI檢測的新需求。（下圖為側(cè)光源與同軸光源實(shí)例）

除波長參數(shù)外，光源的入射角度也是提高檢出的重要參數(shù)。根據(jù)光源入射角度的不同分為同軸光源，側(cè)光和背光三種，選擇某種角度的光源是由光在被檢測物體表面散射特性的差異最大化來決定的。同軸光源的燈源排列密度高，亮度高且均勻，能夠凸顯物體表面不平整，克服表面反光造成的干擾，主要用于檢測物體平整光滑表面的碰傷、劃傷、裂紋和異物。 同軸光基本是紅、綠、藍(lán)三色光源，也可以是不同波長光源的任意組合。側(cè)光源與同軸光源的平行照射理念正好相反，低角度光源從很小的角度將光線直接照射到被檢測物體上。由于光的方向幾乎與物體表面平行，物體表面高度的任何變化都會改變反射光到光電傳感器的光路，從而突出變化，適合有一定高度的缺陷物檢出。側(cè)光源的角度與高度變化時，有一定高度的被檢出物體的強(qiáng)反射面（陽面）和弱反射面（陰面）的角度和反射光強(qiáng)度都會有變化。為檢出結(jié)果的判定提供了豐富的信息。背光源的原理則是利用被檢測物體中不同部分光透過率差異實(shí)現(xiàn)檢出的方法，硬件上與其他光源的擺放位置不同，光源不與光電傳感器同側(cè)，而是置于光電傳感器的對面，接受被檢測物體透過光的強(qiáng)弱，適合被檢測物體中有缺失部分檢出。

基于對平板顯示工藝的深入理解，以色列奧寶科利用CMOS掃描幀頻快的特點(diǎn)，將上述不同光源類型，強(qiáng)度與待檢測面板的材料進(jìn)行有針對性考察，在不增加工作節(jié)拍的同時進(jìn)行多種掃描條件的交叉確認(rèn)，實(shí)現(xiàn)了極低的誤檢出，極高的檢測精度和準(zhǔn)確率。

AOI圖像采集的最后一個關(guān)鍵步驟是控制系統(tǒng)，光電傳感器的FOV （視窗）有限，物體高速運(yùn)動中準(zhǔn)確地抓拍到清晰的圖像，軟硬件協(xié)調(diào)動作非常重要，如下圖所示，當(dāng)圖像傳感器與機(jī)臺移動速度不匹配時造成圖像的拉伸，收縮等變形，所以，載物移動平臺XY方向移動與圖像采集光電傳感器的同步移動影響到數(shù)據(jù)的準(zhǔn)確，要在固定光照，等間距下拍攝一幅清晰的圖像，高精度的導(dǎo)軌，電機(jī)和運(yùn)動控制程序是非常必要的。

（2）數(shù)據(jù)處理階段（數(shù)據(jù)分類與轉(zhuǎn)換）

數(shù)據(jù)處理階段是圖像的預(yù)處理階段，是采集圖像的加工處理過程，為圖像比對提供準(zhǔn)確可靠的圖片信息，主要包含了背景噪音減少，圖像增強(qiáng)和銳化等過程。圖像背景噪音減小一般為圖像的低通濾波平滑法，圖像增強(qiáng)和銳化則是提高被檢測特征的對比度，突出圖像中需要關(guān)注的特征，忽略不需要關(guān)注的部分，方法是圖像二值化處理，經(jīng)過二值化處理的圖像數(shù)據(jù)量明顯減少，能凸顯出需要關(guān)注的輪廓。

首先濾波的定義是將信號中特定波段頻率濾除的操作，是抑制和防止干擾的一項(xiàng)重要措施。在AOI檢測中，噪聲是造成圖像退化的因素之一，起因是AOI圖像獲取，傳輸過程中，外界雜散光，光電二極管電子噪聲及溫度，光源的不穩(wěn)定不均勻，機(jī)械系統(tǒng)的抖動，傳感器溫度等原因?qū)е?，不可避免的使得圖像因含有噪音而變得模糊。給圖像識別，圖像切割等后續(xù)處理工作帶來了困難。因此，為了獲得真實(shí)的圖像信息，除去噪聲的濾波處理必不可少。

濾波的過程簡單說就是圖像平滑技術(shù)，空域?yàn)V波與頻域?yàn)V波是濾波經(jīng)常采用的方法。具體講空域?yàn)V波是一種鄰域處理方法，通過直接在圖像空間中對鄰域內(nèi)像素進(jìn)行處理，達(dá)到平滑或銳化，圖像空間中增強(qiáng)圖像的某些特征或者減弱圖像的某些特征。頻域?yàn)V波指的是允許或者限制一定的頻率成分通過。在數(shù)字圖像處理中，線性濾波通常是利用濾波模板與圖像的空域進(jìn)行卷積來實(shí)現(xiàn)。濾波的方法很多，要達(dá)到好的使用效果和目的，必須對圖像中的噪音類型有所了解，才能做到有的放矢。

空域?yàn)V波中鄰域處理平滑的具體方法有均值，中值和K領(lǐng)域均值三種，合理性各有利弊。 均值濾波是采用鄰域平均法，基本思想是對一個像素和他臨近區(qū)域的全體像素取平均值，然后把這個計(jì)算出來的均值賦予給輸出的圖像的相應(yīng)像素，實(shí)現(xiàn)圖像的平滑處理。屬于線性濾波。 中值濾波是把一個像素點(diǎn)鄰域窗口內(nèi)的所有像素點(diǎn)灰階值的中間值作為該像素點(diǎn)的灰階值，是基于排序統(tǒng)計(jì)理論的信號處理技術(shù)，對于隨機(jī)噪聲處理能力好，屬于典型的非線性濾波技術(shù)。K鄰域均值濾波技術(shù)是結(jié)合了中間值濾波和均值濾波的特點(diǎn)，主要思想是在待處理像素點(diǎn)鄰域內(nèi)，找到一像素灰階值最接近的K個像素點(diǎn)，計(jì)算這K個像素點(diǎn)灰階均值來代替原像素點(diǎn)的灰階值，對于孤立不規(guī)則的像素點(diǎn)起到很好的濾波作用。

圖像的平滑除了在空間域中進(jìn)行外，也可以在頻率域中進(jìn)行。頻域?yàn)V波簡單說就是在頻域里，采用簡單平均法求頻譜的直流分量?？梢詷?gòu)造一個低通濾波器，使低頻分量順利通過而有效地阻于高頻分量，再經(jīng)過反變換來取得平滑的圖像。頻域?yàn)V波可以分為高斯濾波，巴特沃斯濾波，梯形濾波等。由于噪聲主要集中在高頻部分，阻擋高頻率噪聲處理后就可達(dá)到平滑圖像的目的。

除圖像平滑處理外，圖像增強(qiáng)處理也是圖像預(yù)處理的常用方法，分為頻域和空域兩種。頻域增強(qiáng)是在圖像的變換域上對圖像進(jìn)行運(yùn)算，然后再將計(jì)算后的圖像進(jìn)行逆向變換轉(zhuǎn)到空間域?？沼蛟鰪?qiáng)則是直接在空域?qū)D像的像素進(jìn)行運(yùn)算處理，常見的是直方圖處理和灰階變化?？沼蛟鰪?qiáng)的方法主要是直方圖法，還有差影法和灰度變化法。

圖像直方圖（HE， Histogram Equalization）指圖像中任意一個像素分布在某灰階等級上的概率密度，反映出各個灰階的分布概率，是一種經(jīng)典的統(tǒng)計(jì)性質(zhì)的圖像增強(qiáng)處理法，用于增強(qiáng)動態(tài)范圍偏小的圖像反差，圖像整體對比度得到明顯增強(qiáng)。當(dāng)選取合適的閾值做削波處理后，將有圖像傳感器產(chǎn)生的灰階圖像中低于該灰階的部分與高于該灰階的部分做絕對黑白灰階處理，對比度得到大大增強(qiáng)，有利于缺陷的觀察與判定。

合適閾值消波是根據(jù)不同應(yīng)用場合有不同的閾值取值方法。二值化是最簡單的處理方法，就是包像素點(diǎn)的灰階值定義為0和255兩種極端值，這樣就可以讓整個圖像有突出的黑白效果，給圖像設(shè)定適當(dāng)?shù)拈撝?，?jīng)過二值化處理后的圖像數(shù)據(jù)量明顯變少。此外還有全局閾值法，最小偏態(tài)法和自適應(yīng)閾值等，全局閾值法是根據(jù)整個圖像的灰階值范圍來決定，就是取灰階平均值閾值作為唯一的閾值進(jìn)行二值化處理，有時取整個圖像的灰階值的直方圖，進(jìn)而確定合適的閾值，一般情況下選擇兩個波峰之間的波谷最低位置作為圖像二值化處理的閾值。

關(guān)于最小偏態(tài)法，是隨機(jī)樣本的數(shù)據(jù)平均值是樣品的一階統(tǒng)計(jì)距，衡量數(shù)據(jù)的平均值，樣本的方差是樣本的二階統(tǒng)計(jì)中心距，用來衡量數(shù)據(jù)的離散程度，偏態(tài)是樣本的三階統(tǒng)計(jì)距，用來衡量數(shù)據(jù)的正太分布。當(dāng)閾值取得合理時，被閾值劃分后的背景與物體的灰階值分布就會最接近正太分布。自適應(yīng)閾值分割法，是加入了學(xué)習(xí)的方法，能夠根據(jù)圖像的不同，選擇最優(yōu)化的閾值。

直方圖細(xì)分為直方圖拉伸法和直方圖均衡法，直方圖拉伸法是通過對比度拉伸來調(diào)整直方圖，進(jìn)而增強(qiáng)前后景物的灰階差實(shí)現(xiàn)增強(qiáng)效果；直方圖均衡法是領(lǐng)用累積函數(shù)來修正灰階值從而達(dá)到對比度增強(qiáng)的目的。直方圖某種意思上也是圖像分割的手段。直方圖增強(qiáng)屬于間接對比度增強(qiáng)方法，

差影處理法是將圖像的背景去除來強(qiáng)化圖像中新增加元素的差影處理手段。將標(biāo)準(zhǔn)圖像部分與檢測圖像部分做差影處理，通過設(shè)定臨界閾值也可以將圖像中的缺陷部分找尋出來，是直方圖二值化的另外一種表現(xiàn)形式 屬于直接對比增強(qiáng)方法。

灰度變換法，灰階變化是解決過度曝光或曝光不足而導(dǎo)致圖像的灰階值分布不均勻的問題，通過灰度變換包圖像的灰度再一次均勻化來達(dá)到圖像增強(qiáng)對比的效果，擴(kuò)大了動態(tài)灰階范圍，突出圖像的特征。

圖像銳化處理是指補(bǔ)償不清楚圖像的輪廓，增強(qiáng)灰階跳變的部分和圖像的邊緣， 因?yàn)閳D像平滑處理的同時也會破壞圖像的邊界輪廓，使得邊界變得模糊。圖像平滑的過程是一個積分或平均值的計(jì)算，因此，銳化就是其反方向的微分運(yùn)算，具體方法有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是歐幾里得空間的一個二階微分算子，表示為梯度的散度，在圖像處理中被用于線性銳化濾波器使用。微分算子的物理意義，微分標(biāo)識一個物理量的變化快慢，圖像處理中微分預(yù)算的值愈大說明區(qū)域灰階值的變化與快，邊緣就會越突出。Sobel算子會產(chǎn)生一個相應(yīng)的梯度矢量，包含了兩組3X3的矩陣，橫向與縱向。邊緣模糊是圖像中的高頻分量被衰減，所以，采用高通濾波方法就可以讓圖像邊緣清楚化。

關(guān)于頻域增強(qiáng)方法是通過改變圖像中不同頻率分量來實(shí)現(xiàn)的，不同的濾波器濾除的頻率和保留的保留的頻率不同，可獲得不同的增強(qiáng)效果，其方法步驟分為先將圖像從圖像空間轉(zhuǎn)換到頻域空間，如傅里葉變化，然后在頻域空間對圖像增強(qiáng)，如玉頻率濾波器相乘， 最后增強(qiáng)后的圖像再從頻域空間轉(zhuǎn)化到圖像空間，做傅里葉的反變換。

（3）圖像分析段（特征提取與模板比對）

圖像分析階段就是將圖像中包含的邊，角和區(qū)域等擁有獨(dú)有屬性的特征，使用數(shù)學(xué)手段通過編程實(shí)現(xiàn)圖像屬性的量化表達(dá)。進(jìn)而進(jìn)行圖像的分割后比對完成分析處理。

邊緣的表現(xiàn)形式是組成兩個圖像區(qū)域之間邊界（或邊緣）的像素。 表現(xiàn)為局部一維結(jié)構(gòu)。實(shí)踐中邊緣一般被定義為圖像中擁有大的梯度的點(diǎn)組成的子集，可以認(rèn)為灰階相同點(diǎn)的集合。角是圖像中點(diǎn)的特征，在局部它有兩維結(jié)構(gòu)，現(xiàn)在的主流算法是直接在圖像梯度中尋找高度曲率，可以在圖像中本來沒有角的地方發(fā)現(xiàn)具有同角一樣的特征的區(qū)域。區(qū)域的表現(xiàn)形式是面形式的區(qū)域結(jié)構(gòu)，區(qū)域的大小可能僅由一個像素組成，也可能是一個比較多的像素組成的面，如果面積比較大，則體現(xiàn)的形式即是灰階值相同的區(qū)域。

特征提取的方法主要是HOG，LBP和HAAR三種主要手段，HOG （Histogram of Oriented Gradient）方向梯度直方分布圖，它的大致做法是將歸一化的圖像分割為若干小塊，再在每一小塊內(nèi)進(jìn)行亮度梯度的直方統(tǒng)計(jì)，最后將所有區(qū)塊的亮度梯度的直方統(tǒng)計(jì)串聯(lián)起來，就構(gòu)成圖像的HOG特征；LBP（Local Binary Patterns）即局部二值模式，它通過遍歷圖像，將每一個像素點(diǎn)周圍的像素與其相比較，比較值大于等于為1，比較值小于為0，得出四周的二值將這些二值連起來得到一個二進(jìn)制的數(shù)，轉(zhuǎn)換為10進(jìn)制之后變?yōu)樵撓袼氐?/span>LBP值，所以LBP特征維度大小是和原圖一樣大的（邊緣部分會做特殊處理）。Haar特征起初是用于人臉表示。它包括了三類特征邊緣特征的線性，中心和對角線特征，組合成特征模板。特征模板內(nèi)有白色和黑色兩種矩形，該模板的特征值為白色矩形像素和減去黑色矩形像素和。Haar特征值反映了圖像的灰度變化情況。

圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法。它是根據(jù)圖像灰度直方圖來決定圖像空間域像素聚類，但它只利用了圖像灰度特征，并沒有利用圖像中的其它有用信息，使得分割結(jié)果對噪聲十分敏感。二是空間域區(qū)域增長分割方法。它是對在某種意義上如灰度級、組織、梯度等具有相似性質(zhì)的像素連通集構(gòu)成分割區(qū)域。該方法有很好的分割效果，但缺點(diǎn)是運(yùn)算復(fù)雜，處理速度慢。其它的方法還有如邊緣追蹤法、錐體圖像數(shù)據(jù)結(jié)構(gòu)法、標(biāo)記松弛迭代法、基于知識的分割方法等等。  

特征提取后進(jìn)入圖像分析階段的邏輯比較階段，主要包含了模板匹配和模式分析二個方面。模板匹配就是先設(shè)定已知模板，已知模板是AOI檢測中沒有缺陷的實(shí)物影像或最小重復(fù)單元影像，通常情況下PCBAOI檢測中以實(shí)物影像為已知模板，FPD AOI檢測中則是最小重復(fù)單元。將采集到的圖像與模板影像進(jìn)行重合比對，然后平移到下一個單元進(jìn)行同樣比對，出現(xiàn)灰階有差異的部分就被懷疑為缺陷，這里我們給灰階差異設(shè)定一個閾值，當(dāng)灰階差超過設(shè)定閾值后，就被判定為真正的缺陷。從細(xì)節(jié)上講，閾值的設(shè)定過于嚴(yán)格出現(xiàn)誤判的概率就會增加，而閾值設(shè)定過于寬松漏檢出的概率就會增加，因此，被檢測物體的特征提取可以提高比對的對位精度，進(jìn)而對檢測結(jié)果起到了決定性的作用。

此外，缺陷部分是否上報(bào)時，系統(tǒng)算法主要有增加比對次數(shù)和范圍（Multi check）。增加對比次數(shù)，也就是比對的維度從一維擴(kuò)展到二維，甚至三維。以下圖為例，當(dāng)要判定紅色單元是否為缺陷時，通常的算法是縱向或橫向的一維比較，隨著算法的邏輯關(guān)系的不斷優(yōu)化，先進(jìn)行縱向重復(fù)模板對比，再增加橫向，對角線，甚至更外圍的模板比較，可以大大提高檢測結(jié)果的準(zhǔn)確度。

此外，模板比較時即便進(jìn)行了多次數(shù)比較，仍有不容易判定的情況，這時可以追加多重判定算法，以下圖為例，例如一種光源檢測時所得到的信息往往是有限的，將多種光源掃描的信息合并在一起綜合判定，會進(jìn)一步提高判定的準(zhǔn)確性。其中，典型的多角度判定方法之一是多重閾值設(shè)定模式（MTS：multi Thresholds system），針對不同缺陷物質(zhì)的特性對不同波長光的敏感度不同分別設(shè)定閾值，一般采集不同光學(xué)波長下的灰階值，并追加三者之間判定的邏輯關(guān)系達(dá)到提高檢出正確性。在實(shí)際應(yīng)用中，將以上方法相結(jié)合，通過對采集圖像進(jìn)行預(yù)處理去噪，對影響增強(qiáng)，進(jìn)行多重邏輯關(guān)系判定可以達(dá)到很好的效果。

隨著現(xiàn)代電子產(chǎn)品的高精細(xì)化發(fā)展，微小缺陷的檢出要求越來越高，提高圖像傳感器解析度是一種比較直接的選擇，對細(xì)微缺陷點(diǎn)，線寬有更強(qiáng)識別能力，但檢測能力提升的同時，也必須考慮到設(shè)備成本問題，IP（image  processor）處理量大，數(shù)據(jù)處理能力要求高，甚至出現(xiàn)影響產(chǎn)能等負(fù)面問題，因此，不會單獨(dú)提高硬件成本，搭配合適的光源，提高后臺算法邏輯對同一缺陷進(jìn)行復(fù)判是各AOI公司重點(diǎn)研發(fā)的方向。

更多詳情敬請關(guān)注以下二維碼