AI前沿：工業視覺的技術與產品挑戰

背景：人工智能公司創新奇智的工業視覺產品團隊依托ManuVision工業視覺平臺，在工業制造的多個典型場景中，積累了寶貴的AI技術賦能與產品落地經驗。本文以問答方式與創新奇智的工業視覺產品負責人探討了AI在工業視覺領域落地面臨的現實挑戰，以及創新奇智團隊應對這些挑戰的核心方法論與技術產品策略。

問：以AI為代表的前沿科技在工業制造特別是工業視覺場景中能貢獻哪些核心價值？

答：工業視覺是工業自動化的核心領域，包括檢測、識別、測量、定位等關鍵任務。擅長解決視覺感知問題的AI技術已成為創造價值的重要切入點。今天，全球制造業面臨巨大的產業升級壓力。除了頭部少數大型生產企業，大部分制造業生產線面臨需求快速迭代和信息化、自動化、柔性化不足的矛盾：一方面，快速變化的全球市場呼喚按需生產、按需定制、按需迭代的高效產線；另一方面，數據采集難、連通難，自動化程度低，自動化工位之間缺少協同，良品率難于定量評估和精確歸因等現實問題，共同構成了制造業效率提升的整體挑戰。

大部分制造業企業需要在較短的建設周期里，大跨步補齊信息化、自動化、智能化這三塊短板，實現跨越式發展。物聯網、大數據、機器視覺、自動規劃與決策、自動控制等前沿科技是此過程中的關鍵技術。其中，AI相關的技術更是由“制造”到“智造”躍升的基礎。

問：具體到工業視覺場景，為什么工業視覺需要人工智能？

工業視覺要解決的是如何“看”清制造場景與如何“感知”“理解”關鍵信息的問題。當前，光學成像技術，多傳感器融合技術，感光和光學處理芯片技術大幅進步，使“看得更小、看得更清”成為現實。在此基礎上，AI恰好可以幫助我們“感知更準確、理解更深刻”。

以電子制造行業為例，我國相關生產線上與視覺檢測有關的工位每年人工成本約60億元。前沿科技的切入，會將視覺檢測這一工序從較粗放、難量化的勞動密集型工位升級為可精準定量、可完整溯源、可智能集成數據的全自動工位，帶來生產效率和產品質量的大幅提升。

問：在工業視覺領域規劃、定義、設計一款產品或解決方案，是一種怎樣的體驗？

挑戰很大。要說體驗么，“苦其心志、勞其筋骨”吧。在工業視覺領域，一個產品的正向開發會經歷需求調研、總體方案設計、關鍵技術驗證、子系統方案設計、樣機試制、現場方案驗證、產品發布和市場推廣等環節，每個階段都要產品經理帶領團隊在正確的方向上，投入全部精力去打磨和優化。

上述過程中，產品經理的思路需要在宏觀和微觀之中隨時切換：在考慮客戶需求、產品定位時需要宏觀思考；在考慮技術實現時需要聚焦在各個關鍵層級的技術細節；在布局產品線時需要考慮差異化配置對各類客戶的匹配；在現場方案驗證時需要關注具體數據和定制化需求。

但在這個領域做產品經理也是成就感滿滿的：工業視覺類產品，特別是自動化視覺設備是最能夠帶給人成就感的產品。當產品成功交付并在客戶產線穩定運轉時，客戶的肯定就是對產品開發團隊的最好回報。

問：這個領域，有哪些不同于其他領域的產品規律？

首先，需求條目多：在工業制造領域，客戶最關注的兩個指標是產能和質量。圍繞這兩個看似矛盾的指標，工業視覺的產品設計可拆解為多項設計指標：

• 產能相關的主要指標包括上下游交接方式，產品/設備/儀器TT（tack time）時間，產品穩定性（MTBF、MTBR），機種切換時間等。

• 質量相關的主要指標包括檢測/測量準確率，過漏檢，重復性等。

• 由于工業現場的特殊環境（恒溫、恒濕、超凈、安全）需要考慮的主要指標包括產品的ESD，重量，急停，FFU等。

行業內客戶在方案溝通階段，均會給出詳細的規格要求，有時甚至覆蓋幾百到上千條規格定義。

其次，需求來源多：工業制造領域的產品，有鮮明的企業級（ToB）產品的特征，其決策方、購買方和使用方通常不是同一團隊。例如，決策方可能是工程技術部或設備制造部，購買方是采購部門，使用方是生產部門。不同階段面向的客戶部門不同，不同部門對產品的訴求也不同。

再次，定制化程度高：由于不同客戶的產線布局不同，產線線速不同，上下游制程設備不同，甚至電梯高度不同（決定設備最高的高度），因此交付給每個客戶的產品有較大的定制化。但相同的工業視覺產品系列，其核心功能應保持穩定。

問：工業視覺技術可抽象為如何“看”、如何“感知/理解”、如何“規劃/決策”、如何“執行”等幾個方面。以“看”為例，相關的成像技術、照明技術等今天達到了何種水平？

從成像芯片維度（更精、更優、更廣、更快）看：

• 芯片工藝制程水平的提高使得大靶面的CMOS芯片成為主流工業相機芯片，2M→12M→29M→60M→71M→150M的演進使工業檢測能夠觸達微米級精度，高滿井容量、高動態范圍、低噪聲的特性大幅提高了工業相機的成像質量；

• 高精度的鍍膜工藝實現了像素級的鍍膜，基于上述技術的偏振相機、高光譜相機能夠在工業檢測場景獲取待檢測產品更多維度的信息；

• TDI技術能大幅降低曝光時間，提高相機的掃描頻率，配合高速圖像采集卡，將視覺檢測搭載在高線速的自動化產線。

從照明光源維度看：十年前機器視覺行業的光源產品基本被日本企業壟斷。今天，國內機器視覺光源廠家迅速崛起，光源產品的種類和質量不斷提升。目前常見的LED光源（條形光、環形光、同軸光、穹頂光、背光源）及光源控制器已廣泛應用在各種視覺系統，國內供應商也積極配合各類需求和場景的打光驗證和光源方案。同時，國內各光源供應商積極推進自主光源甚至視覺系統的研發，例如多角度線光源、線掃分時曝光系統、視覺一體化控制器等。此外，投影結構光、激光線光源也在多項3D輪廓或缺陷檢測場景得到應用。

成像方案維度：目前的工業視覺產品和設備成像方案多樣，面陣方案（靜止或飛拍檢測）、線陣方案、線激光掃描、編碼結構光、白光共聚焦等多種方案已經得到成熟應用，而復雜的多工位檢測設備常常集成上述多種方案，實現更高成像率的覆蓋和3D輪廓測量。相信在不久的將來，計算成像、高光譜成像、光場相機等新技術會進一步集成在工業視覺方案中。

問：“光”和“光學”是如何影響著具體項目的技術實現的？想在產品中用好光學技術，在設計上要著重思考哪些問題？

作為光學工程師，“Garbage in, garbage out（垃圾圖像進，垃圾結果出）”是基本理念，光學系統對工業視覺項目的影響也可見一斑。

總體方案層面：復雜的工業視覺設備基本都會集成多種成像方案，因此也會有多工位的設計，只有光學方案確定，才能夠確定設備的工位分布、設備布局。

光學系統對產品的結構和自動化設計有約束：受需求驅動，工業視覺產品的分辨率高，同時還要考慮設備的可調試、可維護等DFX需求，視覺系統通常需要預留調節機制。合格的光學工程師會在設計光學方案的同時輸出視覺方案對機臺抖動、定位重復性、視覺機構調節自由度、各自由度調節范圍、載臺平面度等指標約束，只有這些指標明確，才能夠讓下游設計不返工、調試變輕松。

光學系統對算法性能有指標約束：在工業檢測場景中，工業視覺檢測裝備的核心指標為缺陷檢出率和檢測準確率等。例如，客戶要求90%的缺陷檢出率，一般可拆解為x%的缺陷成像率乘以y%的在成像中的缺陷檢出率。兩項指標的乘積約為90%，則單項指標還需要高不少。光學工程師在進行成像驗證時需要和算法工程師緊密溝通，確認缺陷成像是否滿足算法檢出的需求，以保證缺陷檢出率為最終目標。

總體上，我們認為，工業視覺的產品研發和設計一定要光學先行。視覺工程師除了設計光學方案之外，還需要投大量精力在先進的成像方式預研、先進產品預研等課題上。例如，在LCD時代預研OLED產品和制程，在OLED時代預研QLED和Micro LED，這樣在上游產品和制程不斷更迭的過程中，知識積累才不會落伍。簡單說，視覺工程師應和自動化工程師一樣——甚至需要更加——了解制程和工藝。

問：在“感知”層面，工業視覺軟硬件組件到底需要對工位場景感知到什么程度才能滿足業務需求？

感知有多重含義：在檢測場景，視覺產品實現缺陷的準確檢測，又快又好地替代人工；在對位場景，視覺產品識別待抓取/組裝/壓接等操作的物體并精確反饋物體位置；在測量場景，視覺產品對制程重點關注的幾何量進行測量，反饋準確的測量結果。上述場景都需要視覺算法的合理選取、設計和配置。

對檢測場景，感知的基礎需要建立在客戶的人工檢測基準上。對于膜材、卷料、玻璃等各類待檢測產品和工藝，只要存在人工檢測工位，就會有具體、詳細的人工檢測基準。通過各類算法/模型將圖像上的“疑似異常”檢出是第一步（特征檢測、對象檢測）。之后，如何讀懂客戶的人工判定邏輯并設計相應的算法邏輯更為重要。例如，常見的人工判定基準會規定缺陷的長、寬、面積、點群距離、深度等，我們的算法邏輯也需要以此為依據進行設計。

對于測量場景，常見方式包括2D和3D測量。此類場景首先需要確認客戶要求的檢測精度，據此拆解出視覺系統的分辨率和測量算法精度等關鍵指標。曾經有客戶將二次元（投影影像測量儀）設備作為測量的基準設備，一切測量設備如通過驗收，均需要和二次元設備的測量結果進行對比——在這種情況下，就算某個設備的測量結果已達到其測量原理的極限，但如果和基準設備無法吻合，也無法順利交貨。

對位場景在組裝、抓取、貼裝、打孔等工藝較為常見。這同樣需要首先確認客戶要求的對位精度。電子制造行業要求的定位精度已達到微米級。對位視覺組件的標定、特征識別、坐標計算等各環節均要求亞像素級別的精度，有的場景還需要多次對位才能保證精度。

問：一個好的工業視覺產品或解決方案該如何選擇、組合使用不同的感知技術？

綜合能力是關鍵。制造業客戶更傾向于將整條產線或整條產線中的視覺產品指定給一家方案供應商/設備制造商去集成。這種背景下，如果想要拿到更優質的訂單，就必須在專攻一種視覺產品的基礎上，同時擁有其余視覺產品或方案的掌控/設計/開發能力。對于好的工業視覺產品或解決方案，一定要具備完整的各類視覺場景的解決能力，以2D/3D測量、特征檢測等傳統算法為基礎，并依靠基于深度學習的檢測、分類、分割在某些復雜的場景打出差異化。

問：和傳統計算機圖形學、傳統計算機視覺技術相比，以深度學習為代表的新一代AI技術有何特長？深度學習技術與傳統技術之間，在解決工業視覺問題上是一種什么樣的關系？

舉個例子，在某些外觀缺陷檢測的項目中，前期只使用傳統算法，在保證缺陷檢出率的前提下，過檢率較高，客戶的人工復判工作量較大，并沒有為客戶減少太多人力。在對過檢圖像進行分析后發現，過檢主要由臟污、灰塵等引起，而這些過檢源依靠傳統算法很難與真實缺陷進行區分。通過引入深度學習算法，驗證了基于深度學習分類的過檢抑制效果，通過幾輪模型優化（現場過檢圖像返回→模型訓練并更新模型→現場驗證并繼續反饋過檢圖像）后，過檢率大幅降低，客戶十分滿意。

另一個例子，手機整機的外觀檢測一直是電子制造領域難度很大的方向。2017年前鮮有廠商敢于嘗試。2017年后，隨著視覺器件硬件方案（頻閃、飛拍、6軸機器人）的多樣化，市場上逐漸有廠商開始嘗試。由于手機功能模塊多（攝像頭、聽筒、揚聲器、按鍵、充電孔）、形態多樣（玻璃、金屬、鏡面、磨砂面、倒角、弧面）、缺陷類型多樣（所有外觀缺陷的集大成場景），導致成像情況復雜，難以用傳統的基于特征檢測的算法完成所有缺陷覆蓋。基于深度學習的算法在最近幾年的試用中獲得很不錯的反饋。相信在不久的將來，一定會有一款成熟產品能越過整機外觀檢測極高的技術門檻。

這說明，成熟可用性能可靠的機器視覺產品，一定需要傳統算法和深度學習算法的相輔相成。例如，面板行業的平均節拍時間可短至2.5s，在高線速要求下，單枚產品（按100Mb數據量）的算法檢測時間需控制在1.5s以內，這時，傳統算法通常較深度學習算法有速度優勢。另一方面，對傳統算法較難實現的分類以及復雜場景，深度學習算法更容易大顯身手。

問：在“規劃/決策”和“執行”層面，好的工業視覺組件應如何與工業制造的整體自動化系統交互？有哪些較難解決的產品和解決方案設計問題？

“規劃/決策”層面與“執行”層面的交互，可直觀理解為視覺系統與整機自動化系統的交互和握手，或者上位機軟件與下位機板卡/PLC的交互和握手。從功能劃分維度講，視覺系統理論上只負責視覺相關的動作，PLC對機臺所有的運動軸、電磁閥、傳感器進行控制。

因此，在控制層面，相機/采集卡的初始化、光源的亮滅、光源亮度的調節、圖像的存儲和檢測完全由視覺系統控制，產品的搬運/交接、各個軸的運動、氣路的通斷、氣壓/溫度/安全光柵/掃碼/急停復位啟動按鈕的控制完全由PLC控制。

在交互層面，圖像采集和檢測結果反饋需要上下位機的通訊交互。當PLC拿到掃碼設備回傳的產品ID后，會將該ID發送給上位機執行圖像的命名和存儲；當產品運動到預設的采圖位置時，PLC會通知上位機可以采圖并且等待上位機的采集完畢信號，之后再執行后續流程；在上位機完成圖像檢測后，會將該枚產品的OK/NG結果反饋給PLC，便于實現產品的分級和下料。

當設備中的視覺工位數量較多時，上下位機之間的交互包含各視覺工位上位機間的通訊以及各視覺工位與PLC的通訊交互，由于各視覺工位動作流程并行，且各工位的產品并不一致（同一時刻設備中可能存在多枚產品），因此交互方案會變得非常復雜。

問：創新奇智承接了很多工業視覺的典型項目。在這些項目中，你認為技術上最大的挑戰是什么？

創新奇智在工業視覺項目中既提供核心軟件和算法，也同時集成自研或外購的機臺與設備。這個過程中，最大的挑戰是機器視覺為主的軟件算法團隊，與光機電為主的自動化團隊之間如何默契配合。例如，高精度的AOI自動光學檢測需要完備的光學方案，需要穩定防震的機臺，需要高重復定位精度的運動機構，需要上下游精確聯動匹配產線節拍。軟硬件必須協同一致，才能達到最優效果。

另一個技術挑戰是快速應對待檢測/測量產品的上新。工業行業產品種類多樣，產品迭代速度快。以電子制造行業為例，機種的切換需要調節產品載臺、調節搬運機構真空吸嘴位置、調節相機工作距離/鏡頭對焦/光源位置、調節采圖位置、調節探針下壓位置、切換軟件模板、調節檢測參數、優化算法模型、調節放料位置等幾十項操作。每次切換，機器視覺模型以及整體方案中的定制部分都必須快速適應新場景。

問：創新奇智的ManuVision工業視覺平臺將“感知/理解”“規劃/決策”“執行”等工序串聯到一個完整的技術平臺上，大幅降低了工業視覺解決方案的開發和實施難度。從產品角度說，ManuVision平臺可以為工業視覺場景貢獻哪些價值？

ManuVision平臺的設計理念在于讓工業視覺的產品開發更快，讓工業視覺的項目交付更輕。ManuVision平臺包含Designer、Runtime和Trainer三大關鍵功能模塊。

Runtime模塊為設備業務執行模塊，通過該模塊的界面可實時觀察設備產能、各工位圖像、檢測結果、異常信息、操作日志等；當設備切換對應產品時，可通過Runtime模塊切換相應的業務流程和深度學習模型。

Designer模塊為檢測方案及業務流程配置模塊。Designer模塊將工業視覺流程中的核心操作封裝為功能塊，通過對功能塊的直觀添加和連接，交付團隊和客戶的產線設備工程師可快速搭建完整的業務流程。

Trainer模塊預置預訓練模型。產線設備工程師、QC和操作員無需任何算法基礎，只需利用標注工具完成缺陷標注，便可由Trainer模塊自動完成預置模型的優化及測試，模型可在runtime界面一鍵部署。

總體上，ManuVision工業視覺平臺將我們對工業視覺技術與產品的整體思考整合在一個統一的軟件框架內，是工業視覺類場景實現“制造”到“智造”升級的高效工具。

作者：創新奇智工業視覺產品團隊

雷鋒網雷鋒網