一，引言：

AOI（automatically optical inspection）是光學(xué)自動(dòng)檢測(cè)，顧名思義是通過(guò)光學(xué)系統(tǒng)成像實(shí)現(xiàn)自動(dòng)檢測(cè)的一種手段，是眾多自動(dòng)圖像傳感檢測(cè)技術(shù)中的一種檢測(cè)技術(shù)，核心技術(shù)點(diǎn)如何獲得準(zhǔn)確且高質(zhì)量的光學(xué)圖像并加工處理。AOI檢測(cè)技術(shù)應(yīng)運(yùn)而生的背景是電子元件集成度與精細(xì)化程度高，檢測(cè)速度與效率更高，檢測(cè)零缺陷的發(fā)展需求。AOI檢測(cè)的最大優(yōu)點(diǎn)是節(jié)省人力，降低成本，提高生產(chǎn)效率， 統(tǒng)一檢測(cè)標(biāo)準(zhǔn)和排除人為因素干擾，保證了檢測(cè)結(jié)果的穩(wěn)定性，可重復(fù)性和準(zhǔn)確性，及時(shí)發(fā)現(xiàn)產(chǎn)品的不良，確保出貨質(zhì)量。在人工智能技術(shù)與大數(shù)據(jù)發(fā)展進(jìn)步的今天，AOI檢測(cè)不僅僅是一部檢測(cè)設(shè)備，對(duì)大量不良結(jié)果進(jìn)行分類和統(tǒng)計(jì)，可以發(fā)現(xiàn)不良發(fā)生的原因，在工藝改善和生產(chǎn)良率提升中也正逐步發(fā)揮著更重要的作用，因此，可以預(yù)期未來(lái)AOI檢測(cè)技術(shù)將在半導(dǎo)體與電子電路檢測(cè)中將會(huì)發(fā)揮越來(lái)越重要的作用。

二，AOI檢測(cè)基本原理與設(shè)備構(gòu)成：

AOI檢測(cè)原理是采用攝像技術(shù)將被檢測(cè)物體的反射光強(qiáng)以定量化的灰階值輸出，通過(guò)與標(biāo)準(zhǔn)圖像的灰階值進(jìn)行比較，分析判定缺陷并進(jìn)行分類的過(guò)程。與人工檢查做一個(gè)形象的比喻，AOI采用的普通LED或特殊光源相當(dāng)于人工檢查時(shí)的自然光，AOI采用的光學(xué)傳感器和光學(xué)透鏡相當(dāng)于人眼，AOI的圖像處理與分析系統(tǒng)就相當(dāng)于人腦，即“看”與“判”兩個(gè)環(huán)節(jié)。因此，AOI檢測(cè)的工作邏輯可以簡(jiǎn)單地分為圖像采集階段（光學(xué)掃描和數(shù)據(jù)收集），數(shù)據(jù)處理階段（數(shù)據(jù)分類與轉(zhuǎn)換），圖像分析段（特征提取與模板比對(duì)）和缺陷報(bào)告階段四個(gè)階段（缺陷大小類型分類等）。為了支持和實(shí)現(xiàn)AOI檢測(cè)的上述四個(gè)功能，AOI設(shè)備的硬件系統(tǒng)也就包括工作平臺(tái)，成像系統(tǒng)，圖像處理系統(tǒng)和電氣系統(tǒng)四個(gè)部分，是一個(gè)集成了機(jī)械，自動(dòng)化，光學(xué)和軟件等多學(xué)科的自動(dòng)化設(shè)備。

（1）圖像采集階段（光學(xué)掃描和數(shù)據(jù)收集）

 AOI的圖像采集系統(tǒng)主要包括光電轉(zhuǎn)化攝影系統(tǒng)，照明系統(tǒng)和控制系統(tǒng)三個(gè)部分。因?yàn)閿z影得到的圖像被用于與模板做對(duì)比，所以獲取的圖像信息準(zhǔn)確性對(duì)于檢測(cè)結(jié)果非常重要，可以想象一下，如果圖像采集器看不清楚或看不到被檢測(cè)物體的特征點(diǎn)，那么也就無(wú)法談到準(zhǔn)確的檢出。

下面我們對(duì)光電轉(zhuǎn)化攝影系統(tǒng)，照明系統(tǒng)和控制系統(tǒng)三個(gè)部分逐一分析介紹。

首先，光電轉(zhuǎn)化攝影系統(tǒng)指的是光電二極管器件和與之搭配的成像系統(tǒng)。是獲得圖像的”眼睛”, 原理都是光電二極管接受到被檢測(cè)物體反射的光線，光能轉(zhuǎn)化產(chǎn)生電荷，轉(zhuǎn)化后的電荷被光電傳感器中的電子元件收集，傳輸形成電壓模擬信號(hào)。二極管吸收光線強(qiáng)度不同時(shí)生成的模擬電壓大小不同，依次輸出模擬電壓值被轉(zhuǎn)化為數(shù)字灰階0-255值，灰階值反映了物體反射光的強(qiáng)弱，進(jìn)而實(shí)現(xiàn)識(shí)別不同被檢測(cè)物體的目的。

光電轉(zhuǎn)化器可以分為CCD（charge Coupling diode）和CMOS（ complementary metal oxide semiconductor ）兩種。因?yàn)橹谱鞴に嚺c設(shè)計(jì)不同，CCD與CMOS傳感器工作原理主要表現(xiàn)為數(shù)字電荷傳送的方式的不同，工作原理如下圖所示，CCD采用硅基半導(dǎo)體加工工藝，并設(shè)置了垂直和水平移位寄存器，電極所產(chǎn)生的電場(chǎng)推動(dòng)電荷鏈接方式傳輸?shù)街醒肽?shù)轉(zhuǎn)換器。這樣的結(jié)構(gòu)與設(shè)計(jì)很難集成很多的感光單元，制造成本高且功耗大；而CMOS采用無(wú)機(jī)半導(dǎo)體加工工藝，每像素設(shè)計(jì)了額外的電子電路，每個(gè)像素都可以被定位，而無(wú)需CCD中那樣的電荷移位設(shè)計(jì)，對(duì)圖像信息的讀取速度遠(yuǎn)遠(yuǎn)高于CCD芯片，因光暈和拖尾等過(guò)度曝光而產(chǎn)生的非自然現(xiàn)象的發(fā)生頻率要低得多，價(jià)格和功耗比CCD光電轉(zhuǎn)化器也低，但其缺點(diǎn)是半導(dǎo)體工藝制作的像素單元缺陷多，靈敏度會(huì)有一些問(wèn)題，同時(shí)，為每個(gè)像素電子電路提供所需的額外空間不會(huì)作為光敏區(qū)域。芯片表面上的光敏區(qū)域部分（定義為填充因子）小于CCD芯片。從理論上講，這個(gè)原因?qū)е驴梢允占膱D像信息光子數(shù)會(huì)有所減少，所以，CMOS光電轉(zhuǎn)化元件一般需要搭配高亮度光源，噪音也比較大。

不論CCD還是CMOS結(jié)構(gòu)，一個(gè)光電轉(zhuǎn)化器單元即為一個(gè)像素點(diǎn)，若干個(gè)光電轉(zhuǎn)化器以行列的方式進(jìn)行排列形成矩陣就構(gòu)成了圖像傳感器。衡量圖像傳感器性能主要是有解析度，尺寸或面積，靈敏度，信噪比等，其中解析度與尺寸是最重要的指標(biāo)。圖像傳感器拍攝被檢測(cè)物體畫面時(shí)，光電轉(zhuǎn)化器的尺寸越小像素密度越小就可以將物體“看”得更細(xì)致。因此，理論上光電轉(zhuǎn)化器件的像素?cái)?shù)量應(yīng)該越多越好。但像素?cái)?shù)量的增加會(huì)提高制造成本和導(dǎo)致成品率下降。因此，將光學(xué)透鏡與光電轉(zhuǎn)化器件結(jié)合在一起，可以將微小的被檢測(cè)物體放大成像在光電轉(zhuǎn)化器件上，也可以實(shí)現(xiàn)高解析度檢測(cè)效果，所以，實(shí)際AOI檢測(cè)設(shè)備會(huì)根據(jù)客戶的需求進(jìn)行配置。

近年來(lái)，CMOS制作工藝的半導(dǎo)體技術(shù)化，加上其快的掃描和圖像傳輸速度優(yōu)勢(shì)，CMOS面掃描圖像傳感器也開(kāi)始被采用在工業(yè)級(jí)AOI檢測(cè)設(shè)備中， 逐步形成了線掃描CCD圖像傳感器和CMOS面掃描圖像傳感器兩種主流技術(shù)。

下圖例為線掃面圖像傳感器工作例：

線掃描圖像傳感器的掃描寬度方向只有一個(gè)像素，通過(guò)移動(dòng)來(lái)獲得圖像，沒(méi)有自身放大電路且噪音小，所有一般解析度比較好。被檢測(cè)物體的同一位置信號(hào)在掃描過(guò)程中會(huì)被多次收集，光電轉(zhuǎn)化后的信號(hào)累加輸出，所以即使其中一個(gè)光電傳感器出現(xiàn)問(wèn)題也不影響檢查結(jié)果，但缺點(diǎn)是要求平臺(tái)的運(yùn)動(dòng)精度非常高，采集區(qū)域要準(zhǔn)確。

面掃描圖像采集器CMOS的每一個(gè)光電二極管都可以獨(dú)立輸出電壓信號(hào)，因此，輸出速度非?？?，節(jié)省了工作時(shí)間，因此，對(duì)運(yùn)動(dòng)平臺(tái)的移動(dòng)精度要求沒(méi)有線掃描那么嚴(yán)格，但缺點(diǎn)是信號(hào)沒(méi)有了積分過(guò)程，要求被檢測(cè)物體反射光要足夠強(qiáng)，感光二極管出現(xiàn)問(wèn)題后會(huì)造成假點(diǎn)和誤判，信號(hào)的噪音也會(huì)相應(yīng)增強(qiáng)。

 近年來(lái)，平板顯示行業(yè)的玻璃基板尺寸不斷增加和工藝節(jié)拍不斷縮短，對(duì)自動(dòng)光學(xué)檢測(cè)設(shè)備的檢測(cè)速度 （TACT time）提出了更高的要求。以色列奧寶科技利用了CMOS圖像傳感器極高的圖像信息獨(dú)區(qū)和處理速度優(yōu)勢(shì)，基于對(duì)CMOS 圖像傳感器的深刻理解基礎(chǔ)上，客制化的開(kāi)發(fā)了數(shù)據(jù)傳輸與幀頻速度高的面陣相機(jī)，并系統(tǒng)解決了面陣CMOS傳感器，光源以及同步性等系統(tǒng)問(wèn)題，成功開(kāi)發(fā)了基于面陣CMOS 圖像傳感器的AOI檢測(cè)系統(tǒng)，在保證產(chǎn)業(yè)要求的工藝節(jié)拍同時(shí)，克服了CMOS圖像傳感器填充因子小和信噪比偏高先天劣勢(shì)，檢測(cè)能力及各項(xiàng)指標(biāo)都得到了行業(yè)內(nèi)的認(rèn)可。

除光電傳感器外，AOI圖像采集過(guò)程中照明系統(tǒng)也非常重要，選擇最佳光源目的是保證被檢測(cè)物體的特征區(qū)別于其他背景，涉及到光源的光譜特性，光源顏色，色溫特性。高效率長(zhǎng)壽命，高亮度且均勻的光源是必須考慮的參數(shù)，高亮度均勻性好的光源可以提高信噪比，而長(zhǎng)壽命高效率則可以提高設(shè)備的穩(wěn)定性，降低工作負(fù)荷。

照明光源按照波長(zhǎng)分類可以分為可見(jiàn)波長(zhǎng)光源，特殊波長(zhǎng)光源。可見(jiàn)波長(zhǎng)光源也就是一般現(xiàn)代工業(yè)AOI檢測(cè)設(shè)備中最常用的紅綠藍(lán)LED光源。特殊波長(zhǎng)光源一般是指紅外或紫外波長(zhǎng)光源，一些特殊材料在可見(jiàn)光范圍內(nèi)吸收差別不大，灰階變化不明顯時(shí)可以考慮采用特殊波長(zhǎng)光源，比如說(shuō)利用紫外光能量高可以激發(fā)熒光材料的原理，檢測(cè)具有熒光發(fā)光特性物質(zhì)微殘留時(shí)紫外光源就是一種比較有效的手段，因材料成分與紅外光譜有對(duì)應(yīng)關(guān)系的原理，紅外光源對(duì)不具有發(fā)光性質(zhì)的有機(jī)化合物殘留缺陷檢出就有很大的作用，甚至可以實(shí)現(xiàn)成分分析。特殊光源中，利用偏振光與物體相互作用后偏振態(tài)的變化，利用光學(xué)干涉原理的白光干涉（white light interferometry）在特定缺陷檢測(cè)中的得到了應(yīng)用，例如通過(guò)相干光的干涉圖案計(jì)算出對(duì)應(yīng)的相位差和光程差，可以測(cè)量出被測(cè)物體與參考物體之間的差異，且分辨率與精度為可以達(dá)到亞波長(zhǎng)，測(cè)量三維物體形貌與高度也正成為AOI檢測(cè)的新需求。（下圖為側(cè)光源與同軸光源實(shí)例）

 除波長(zhǎng)參數(shù)外，光源的入射角度也是提高檢出的重要參數(shù)。根據(jù)光源入射角度的不同分為同軸光源，側(cè)光和背光三種，選擇某種角度的光源是由光在被檢測(cè)物體表面散射特性的差異最大化來(lái)決定的。同軸光源的燈源排列密度高，亮度高且均勻，能夠凸顯物體表面不平整，克服表面反光造成的干擾，主要用于檢測(cè)物體平整光滑表面的碰傷、劃傷、裂紋和異物。 同軸光基本是紅、綠、藍(lán)三色光源，也可以是不同波長(zhǎng)光源的任意組合。側(cè)光源與同軸光源的平行照射理念正好相反，低角度光源從很小的角度將光線直接照射到被檢測(cè)物體上。由于光的方向幾乎與物體表面平行，物體表面高度的任何變化都會(huì)改變反射光到光電傳感器的光路，從而突出變化，適合有一定高度的缺陷物檢出。側(cè)光源的角度與高度變化時(shí)，有一定高度的被檢出物體的強(qiáng)反射面（陽(yáng)面）和弱反射面（陰面）的角度和反射光強(qiáng)度都會(huì)有變化。為檢出結(jié)果的判定提供了豐富的信息。背光源的原理則是利用被檢測(cè)物體中不同部分光透過(guò)率差異實(shí)現(xiàn)檢出的方法，硬件上與其他光源的擺放位置不同，光源不與光電傳感器同側(cè)，而是置于光電傳感器的對(duì)面，接受被檢測(cè)物體透過(guò)光的強(qiáng)弱，適合被檢測(cè)物體中有缺失部分檢出。

基于對(duì)平板顯示工藝的深入理解，以色列奧寶科利用CMOS掃描幀頻快的特點(diǎn)，將上述不同光源類型，強(qiáng)度與待檢測(cè)面板的材料進(jìn)行有針對(duì)性考察，在不增加工作節(jié)拍的同時(shí)進(jìn)行多種掃描條件的交叉確認(rèn)，實(shí)現(xiàn)了極低的誤檢出，極高的檢測(cè)精度和準(zhǔn)確率。

AOI圖像采集的最后一個(gè)關(guān)鍵步驟是控制系統(tǒng)，光電傳感器的FOV （視窗）有限，物體高速運(yùn)動(dòng)中準(zhǔn)確地抓拍到清晰的圖像，軟硬件協(xié)調(diào)動(dòng)作非常重要，如下圖所示，當(dāng)圖像傳感器與機(jī)臺(tái)移動(dòng)速度不匹配時(shí)造成圖像的拉伸，收縮等變形，所以，載物移動(dòng)平臺(tái)XY方向移動(dòng)與圖像采集光電傳感器的同步移動(dòng)影響到數(shù)據(jù)的準(zhǔn)確，要在固定光照，等間距下拍攝一幅清晰的圖像，高精度的導(dǎo)軌，電機(jī)和運(yùn)動(dòng)控制程序是非常必要的。

（2）數(shù)據(jù)處理階段（數(shù)據(jù)分類與轉(zhuǎn)換）

數(shù)據(jù)處理階段是圖像的預(yù)處理階段，是采集圖像的加工處理過(guò)程，為圖像比對(duì)提供準(zhǔn)確可靠的圖片信息，主要包含了背景噪音減少，圖像增強(qiáng)和銳化等過(guò)程。圖像背景噪音減小一般為圖像的低通濾波平滑法，圖像增強(qiáng)和銳化則是提高被檢測(cè)特征的對(duì)比度，突出圖像中需要關(guān)注的特征，忽略不需要關(guān)注的部分，方法是圖像二值化處理，經(jīng)過(guò)二值化處理的圖像數(shù)據(jù)量明顯減少，能凸顯出需要關(guān)注的輪廓。

首先濾波的定義是將信號(hào)中特定波段頻率濾除的操作，是抑制和防止干擾的一項(xiàng)重要措施。在AOI檢測(cè)中，噪聲是造成圖像退化的因素之一，起因是AOI圖像獲取，傳輸過(guò)程中，外界雜散光，光電二極管電子噪聲及溫度，光源的不穩(wěn)定不均勻，機(jī)械系統(tǒng)的抖動(dòng)，傳感器溫度等原因?qū)е?，不可避免的使得圖像因含有噪音而變得模糊。給圖像識(shí)別，圖像切割等后續(xù)處理工作帶來(lái)了困難。因此，為了獲得真實(shí)的圖像信息，除去噪聲的濾波處理必不可少。

濾波的過(guò)程簡(jiǎn)單說(shuō)就是圖像平滑技術(shù)，空域?yàn)V波與頻域?yàn)V波是濾波經(jīng)常采用的方法。具體講空域?yàn)V波是一種鄰域處理方法，通過(guò)直接在圖像空間中對(duì)鄰域內(nèi)像素進(jìn)行處理，達(dá)到平滑或銳化，圖像空間中增強(qiáng)圖像的某些特征或者減弱圖像的某些特征。頻域?yàn)V波指的是允許或者限制一定的頻率成分通過(guò)。在數(shù)字圖像處理中，線性濾波通常是利用濾波模板與圖像的空域進(jìn)行卷積來(lái)實(shí)現(xiàn)。濾波的方法很多，要達(dá)到好的使用效果和目的，必須對(duì)圖像中的噪音類型有所了解，才能做到有的放矢。

空域?yàn)V波中鄰域處理平滑的具體方法有均值，中值和K領(lǐng)域均值三種，合理性各有利弊。 均值濾波是采用鄰域平均法，基本思想是對(duì)一個(gè)像素和他臨近區(qū)域的全體像素取平均值，然后把這個(gè)計(jì)算出來(lái)的均值賦予給輸出的圖像的相應(yīng)像素，實(shí)現(xiàn)圖像的平滑處理。屬于線性濾波。 中值濾波是把一個(gè)像素點(diǎn)鄰域窗口內(nèi)的所有像素點(diǎn)灰階值的中間值作為該像素點(diǎn)的灰階值，是基于排序統(tǒng)計(jì)理論的信號(hào)處理技術(shù)，對(duì)于隨機(jī)噪聲處理能力好，屬于典型的非線性濾波技術(shù)。K鄰域均值濾波技術(shù)是結(jié)合了中間值濾波和均值濾波的特點(diǎn)，主要思想是在待處理像素點(diǎn)鄰域內(nèi)，找到一像素灰階值最接近的K個(gè)像素點(diǎn)，計(jì)算這K個(gè)像素點(diǎn)灰階均值來(lái)代替原像素點(diǎn)的灰階值，對(duì)于孤立不規(guī)則的像素點(diǎn)起到很好的濾波作用。

圖像的平滑除了在空間域中進(jìn)行外，也可以在頻率域中進(jìn)行。頻域?yàn)V波簡(jiǎn)單說(shuō)就是在頻域里，采用簡(jiǎn)單平均法求頻譜的直流分量。可以構(gòu)造一個(gè)低通濾波器，使低頻分量順利通過(guò)而有效地阻于高頻分量，再經(jīng)過(guò)反變換來(lái)取得平滑的圖像。頻域?yàn)V波可以分為高斯濾波，巴特沃斯濾波，梯形濾波等。由于噪聲主要集中在高頻部分，阻擋高頻率噪聲處理后就可達(dá)到平滑圖像的目的。

除圖像平滑處理外，圖像增強(qiáng)處理也是圖像預(yù)處理的常用方法，分為頻域和空域兩種。頻域增強(qiáng)是在圖像的變換域上對(duì)圖像進(jìn)行運(yùn)算，然后再將計(jì)算后的圖像進(jìn)行逆向變換轉(zhuǎn)到空間域。空域增強(qiáng)則是直接在空域?qū)D像的像素進(jìn)行運(yùn)算處理，常見(jiàn)的是直方圖處理和灰階變化?？沼蛟鰪?qiáng)的方法主要是直方圖法，還有差影法和灰度變化法。

圖像直方圖（HE， Histogram Equalization）指圖像中任意一個(gè)像素分布在某灰階等級(jí)上的概率密度，反映出各個(gè)灰階的分布概率，是一種經(jīng)典的統(tǒng)計(jì)性質(zhì)的圖像增強(qiáng)處理法，用于增強(qiáng)動(dòng)態(tài)范圍偏小的圖像反差，圖像整體對(duì)比度得到明顯增強(qiáng)。當(dāng)選取合適的閾值做削波處理后，將有圖像傳感器產(chǎn)生的灰階圖像中低于該灰階的部分與高于該灰階的部分做絕對(duì)黑白灰階處理，對(duì)比度得到大大增強(qiáng)，有利于缺陷的觀察與判定。

合適閾值消波是根據(jù)不同應(yīng)用場(chǎng)合有不同的閾值取值方法。二值化是最簡(jiǎn)單的處理方法，就是包像素點(diǎn)的灰階值定義為0和255兩種極端值，這樣就可以讓整個(gè)圖像有突出的黑白效果，給圖像設(shè)定適當(dāng)?shù)拈撝?，?jīng)過(guò)二值化處理后的圖像數(shù)據(jù)量明顯變少。此外還有全局閾值法，最小偏態(tài)法和自適應(yīng)閾值等，全局閾值法是根據(jù)整個(gè)圖像的灰階值范圍來(lái)決定，就是取灰階平均值閾值作為唯一的閾值進(jìn)行二值化處理，有時(shí)取整個(gè)圖像的灰階值的直方圖，進(jìn)而確定合適的閾值，一般情況下選擇兩個(gè)波峰之間的波谷最低位置作為圖像二值化處理的閾值。

關(guān)于最小偏態(tài)法，是隨機(jī)樣本的數(shù)據(jù)平均值是樣品的一階統(tǒng)計(jì)距，衡量數(shù)據(jù)的平均值，樣本的方差是樣本的二階統(tǒng)計(jì)中心距，用來(lái)衡量數(shù)據(jù)的離散程度，偏態(tài)是樣本的三階統(tǒng)計(jì)距，用來(lái)衡量數(shù)據(jù)的正太分布。當(dāng)閾值取得合理時(shí)，被閾值劃分后的背景與物體的灰階值分布就會(huì)最接近正太分布。自適應(yīng)閾值分割法，是加入了學(xué)習(xí)的方法，能夠根據(jù)圖像的不同，選擇最優(yōu)化的閾值。

直方圖細(xì)分為直方圖拉伸法和直方圖均衡法，直方圖拉伸法是通過(guò)對(duì)比度拉伸來(lái)調(diào)整直方圖，進(jìn)而增強(qiáng)前后景物的灰階差實(shí)現(xiàn)增強(qiáng)效果；直方圖均衡法是領(lǐng)用累積函數(shù)來(lái)修正灰階值從而達(dá)到對(duì)比度增強(qiáng)的目的。直方圖某種意思上也是圖像分割的手段。直方圖增強(qiáng)屬于間接對(duì)比度增強(qiáng)方法，

差影處理法是將圖像的背景去除來(lái)強(qiáng)化圖像中新增加元素的差影處理手段。將標(biāo)準(zhǔn)圖像部分與檢測(cè)圖像部分做差影處理，通過(guò)設(shè)定臨界閾值也可以將圖像中的缺陷部分找尋出來(lái)，是直方圖二值化的另外一種表現(xiàn)形式 屬于直接對(duì)比增強(qiáng)方法。

灰度變換法，灰階變化是解決過(guò)度曝光或曝光不足而導(dǎo)致圖像的灰階值分布不均勻的問(wèn)題，通過(guò)灰度變換包圖像的灰度再一次均勻化來(lái)達(dá)到圖像增強(qiáng)對(duì)比的效果，擴(kuò)大了動(dòng)態(tài)灰階范圍，突出圖像的特征。

圖像銳化處理是指補(bǔ)償不清楚圖像的輪廓，增強(qiáng)灰階跳變的部分和圖像的邊緣， 因?yàn)閳D像平滑處理的同時(shí)也會(huì)破壞圖像的邊界輪廓，使得邊界變得模糊。圖像平滑的過(guò)程是一個(gè)積分或平均值的計(jì)算，因此，銳化就是其反方向的微分運(yùn)算，具體方法有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是歐幾里得空間的一個(gè)二階微分算子，表示為梯度的散度，在圖像處理中被用于線性銳化濾波器使用。微分算子的物理意義，微分標(biāo)識(shí)一個(gè)物理量的變化快慢，圖像處理中微分預(yù)算的值愈大說(shuō)明區(qū)域灰階值的變化與快，邊緣就會(huì)越突出。Sobel算子會(huì)產(chǎn)生一個(gè)相應(yīng)的梯度矢量，包含了兩組3X3的矩陣，橫向與縱向。邊緣模糊是圖像中的高頻分量被衰減，所以，采用高通濾波方法就可以讓圖像邊緣清楚化。

關(guān)于頻域增強(qiáng)方法是通過(guò)改變圖像中不同頻率分量來(lái)實(shí)現(xiàn)的，不同的濾波器濾除的頻率和保留的保留的頻率不同，可獲得不同的增強(qiáng)效果，其方法步驟分為先將圖像從圖像空間轉(zhuǎn)換到頻域空間，如傅里葉變化，然后在頻域空間對(duì)圖像增強(qiáng)，如玉頻率濾波器相乘， 最后增強(qiáng)后的圖像再?gòu)念l域空間轉(zhuǎn)化到圖像空間，做傅里葉的反變換。

（3）圖像分析段（特征提取與模板比對(duì)）

圖像分析階段就是將圖像中包含的邊，角和區(qū)域等擁有獨(dú)有屬性的特征，使用數(shù)學(xué)手段通過(guò)編程實(shí)現(xiàn)圖像屬性的量化表達(dá)。進(jìn)而進(jìn)行圖像的分割后比對(duì)完成分析處理。

邊緣的表現(xiàn)形式是組成兩個(gè)圖像區(qū)域之間邊界（或邊緣）的像素。 表現(xiàn)為局部一維結(jié)構(gòu)。實(shí)踐中邊緣一般被定義為圖像中擁有大的梯度的點(diǎn)組成的子集，可以認(rèn)為灰階相同點(diǎn)的集合。角是圖像中點(diǎn)的特征，在局部它有兩維結(jié)構(gòu)，現(xiàn)在的主流算法是直接在圖像梯度中尋找高度曲率，可以在圖像中本來(lái)沒(méi)有角的地方發(fā)現(xiàn)具有同角一樣的特征的區(qū)域。區(qū)域的表現(xiàn)形式是面形式的區(qū)域結(jié)構(gòu)，區(qū)域的大小可能僅由一個(gè)像素組成，也可能是一個(gè)比較多的像素組成的面，如果面積比較大，則體現(xiàn)的形式即是灰階值相同的區(qū)域。

特征提取的方法主要是HOG，LBP和HAAR三種主要手段，HOG （Histogram of Oriented Gradient）方向梯度直方分布圖，它的大致做法是將歸一化的圖像分割為若干小塊，再在每一小塊內(nèi)進(jìn)行亮度梯度的直方統(tǒng)計(jì)，最后將所有區(qū)塊的亮度梯度的直方統(tǒng)計(jì)串聯(lián)起來(lái)，就構(gòu)成圖像的HOG特征；LBP（Local Binary Patterns）即局部二值模式，它通過(guò)遍歷圖像，將每一個(gè)像素點(diǎn)周圍的像素與其相比較，比較值大于等于為1，比較值小于為0，得出四周的二值將這些二值連起來(lái)得到一個(gè)二進(jìn)制的數(shù)，轉(zhuǎn)換為10進(jìn)制之后變?yōu)樵撓袼氐?/span>LBP值，所以LBP特征維度大小是和原圖一樣大的（邊緣部分會(huì)做特殊處理）。Haar特征起初是用于人臉表示。它包括了三類特征邊緣特征的線性，中心和對(duì)角線特征，組合成特征模板。特征模板內(nèi)有白色和黑色兩種矩形，該模板的特征值為白色矩形像素和減去黑色矩形像素和。Haar特征值反映了圖像的灰度變化情況。

圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法。它是根據(jù)圖像灰度直方圖來(lái)決定圖像空間域像素聚類，但它只利用了圖像灰度特征，并沒(méi)有利用圖像中的其它有用信息，使得分割結(jié)果對(duì)噪聲十分敏感。二是空間域區(qū)域增長(zhǎng)分割方法。它是對(duì)在某種意義上如灰度級(jí)、組織、梯度等具有相似性質(zhì)的像素連通集構(gòu)成分割區(qū)域。該方法有很好的分割效果，但缺點(diǎn)是運(yùn)算復(fù)雜，處理速度慢。其它的方法還有如邊緣追蹤法、錐體圖像數(shù)據(jù)結(jié)構(gòu)法、標(biāo)記松弛迭代法、基于知識(shí)的分割方法等等。  

特征提取后進(jìn)入圖像分析階段的邏輯比較階段，主要包含了模板匹配和模式分析二個(gè)方面。模板匹配就是先設(shè)定已知模板，已知模板是AOI檢測(cè)中沒(méi)有缺陷的實(shí)物影像或最小重復(fù)單元影像，通常情況下PCBAOI檢測(cè)中以實(shí)物影像為已知模板，FPD AOI檢測(cè)中則是最小重復(fù)單元。將采集到的圖像與模板影像進(jìn)行重合比對(duì)，然后平移到下一個(gè)單元進(jìn)行同樣比對(duì)，出現(xiàn)灰階有差異的部分就被懷疑為缺陷，這里我們給灰階差異設(shè)定一個(gè)閾值，當(dāng)灰階差超過(guò)設(shè)定閾值后，就被判定為真正的缺陷。從細(xì)節(jié)上講，閾值的設(shè)定過(guò)于嚴(yán)格出現(xiàn)誤判的概率就會(huì)增加，而閾值設(shè)定過(guò)于寬松漏檢出的概率就會(huì)增加，因此，被檢測(cè)物體的特征提取可以提高比對(duì)的對(duì)位精度，進(jìn)而對(duì)檢測(cè)結(jié)果起到了決定性的作用。

此外，缺陷部分是否上報(bào)時(shí)，系統(tǒng)算法主要有增加比對(duì)次數(shù)和范圍（Multi check）。增加對(duì)比次數(shù)，也就是比對(duì)的維度從一維擴(kuò)展到二維，甚至三維。以下圖為例，當(dāng)要判定紅色單元是否為缺陷時(shí)，通常的算法是縱向或橫向的一維比較，隨著算法的邏輯關(guān)系的不斷優(yōu)化，先進(jìn)行縱向重復(fù)模板對(duì)比，再增加橫向，對(duì)角線，甚至更外圍的模板比較，可以大大提高檢測(cè)結(jié)果的準(zhǔn)確度。

此外，模板比較時(shí)即便進(jìn)行了多次數(shù)比較，仍有不容易判定的情況，這時(shí)可以追加多重判定算法，以下圖為例，例如一種光源檢測(cè)時(shí)所得到的信息往往是有限的，將多種光源掃描的信息合并在一起綜合判定，會(huì)進(jìn)一步提高判定的準(zhǔn)確性。其中，典型的多角度判定方法之一是多重閾值設(shè)定模式（MTS：multi Thresholds system），針對(duì)不同缺陷物質(zhì)的特性對(duì)不同波長(zhǎng)光的敏感度不同分別設(shè)定閾值，一般采集不同光學(xué)波長(zhǎng)下的灰階值，并追加三者之間判定的邏輯關(guān)系達(dá)到提高檢出正確性。在實(shí)際應(yīng)用中，將以上方法相結(jié)合，通過(guò)對(duì)采集圖像進(jìn)行預(yù)處理去噪，對(duì)影響增強(qiáng)，進(jìn)行多重邏輯關(guān)系判定可以達(dá)到很好的效果。

隨著現(xiàn)代電子產(chǎn)品的高精細(xì)化發(fā)展，微小缺陷的檢出要求越來(lái)越高，提高圖像傳感器解析度是一種比較直接的選擇，對(duì)細(xì)微缺陷點(diǎn)，線寬有更強(qiáng)識(shí)別能力，但檢測(cè)能力提升的同時(shí)，也必須考慮到設(shè)備成本問(wèn)題，IP（image  processor）處理量大，數(shù)據(jù)處理能力要求高，甚至出現(xiàn)影響產(chǎn)能等負(fù)面問(wèn)題，因此，不會(huì)單獨(dú)提高硬件成本，搭配合適的光源，提高后臺(tái)算法邏輯對(duì)同一缺陷進(jìn)行復(fù)判是各AOI公司重點(diǎn)研發(fā)的方向。

更多詳情敬請(qǐng)關(guān)注以下二維碼