h1_key

  恩智浦敢為人先，敢于引領(lǐng)和創(chuàng)新。恩智浦一直致力于支持i.MX應(yīng)用處理器的攝像頭模塊接口。恩智浦還實(shí)現(xiàn)了CPU、GPU等多個(gè)SOC共享資源的機(jī)器學(xué)習(xí)。該功能仍然運(yùn)行良好(根據(jù)應(yīng)用程序的需要而異)，本文將解釋為什么恩智浦決定升級(jí)它，并在i.MX8MPlus中添加圖像信號(hào)處理器(ISP)和機(jī)器學(xué)習(xí)(ML)加速器。

  機(jī)器學(xué)習(xí)的重要性與日俱增。

  云機(jī)器學(xué)習(xí)是支持人們使用智能手機(jī)語(yǔ)音助手或智能揚(yáng)聲器語(yǔ)音助手的關(guān)鍵技術(shù)。它還支持社交媒體甚至手機(jī)分組包含特定人員的照片。但這些用例都依賴于運(yùn)行在云服務(wù)器上的機(jī)器學(xué)習(xí)。

  真正的挑戰(zhàn)是邊緣機(jī)器學(xué)習(xí)。I.MX8MPlus等邊緣處理器本地運(yùn)行所有機(jī)器學(xué)習(xí)推理。ML推理在邊緣運(yùn)行意味著，即使網(wǎng)絡(luò)訪問(wèn)中斷，應(yīng)用程序也可以繼續(xù)運(yùn)行——這對(duì)于監(jiān)控或異常檢測(cè)等應(yīng)用程序非常重要，在沒有網(wǎng)絡(luò)訪問(wèn)的偏遠(yuǎn)地區(qū)運(yùn)行也非常重要。ML推理在邊緣運(yùn)行也減少了決策延遲，而不是必須將數(shù)據(jù)發(fā)送到服務(wù)器進(jìn)行處理并發(fā)回結(jié)果。例如，在實(shí)施工業(yè)工廠現(xiàn)場(chǎng)目視檢查時(shí)，低延遲非常重要，或者需要決定是接受還是拒絕掠過(guò)的產(chǎn)品。

邊緣機(jī)器學(xué)習(xí)的另一個(gè)關(guān)鍵優(yōu)勢(shì)是保護(hù)數(shù)據(jù)安全。收集的專有數(shù)據(jù)(如邊緣設(shè)備捕獲的員工、生產(chǎn)在邊緣處理并保存在本地。該系統(tǒng)不會(huì)將信息發(fā)送到云進(jìn)行處理，只記錄和跟蹤云。企業(yè)的隱私不會(huì)受到損害，企業(yè)可以決定是否在云中共享信息。

  邊緣機(jī)器學(xué)習(xí)需要多大程度?

  現(xiàn)在，考慮到對(duì)邊緣機(jī)器學(xué)習(xí)的巨大需求，問(wèn)題變成了機(jī)器學(xué)習(xí)需要多大程度。衡量機(jī)器學(xué)習(xí)加速器的一種方法是每秒運(yùn)算次數(shù)(通常是8位整數(shù)相乘或累加)，通常稱為TOPS(即每秒萬(wàn)億次運(yùn)算)。由于整體系統(tǒng)性能也受到許多其他因素的影響，TOPS是最常用的機(jī)器學(xué)習(xí)測(cè)量方法之一。

事實(shí)證明，在邊緣進(jìn)行完整的語(yǔ)音識(shí)別(不僅僅是關(guān)鍵字識(shí)別)大約需要1-2個(gè)TOPS(這取決于算法。如果你想理解用戶想要表達(dá)的意思，而不僅僅是將語(yǔ)音轉(zhuǎn)換為文本，你需要更多的操作次數(shù))。目標(biāo)檢測(cè)(使用Yolov3等算法)也需要大約2-3個(gè)TOPS。因此，機(jī)器學(xué)習(xí)加速(如i.MX8MPlus2.3TOPS)是此類應(yīng)用的最佳選擇。

  下一步:圖像信號(hào)處理器(ISP)

  所有基于攝像頭的系統(tǒng)都具有ISP功能，盡管有時(shí)可以集成到攝像頭模塊或嵌入到應(yīng)用程序處理器中，并可能隱藏用戶。ISP通常會(huì)增強(qiáng)各種類型的圖像，其主要目的是將原始圖像傳感器每像素輸出的單色重量轉(zhuǎn)換為系統(tǒng)其他部分更常用的RGB或YUV圖像。

  當(dāng)攝像頭輸入網(wǎng)絡(luò)或網(wǎng)絡(luò)攝像頭(通常通過(guò)以太網(wǎng)或USB連接到應(yīng)用程序處理器)時(shí)，基于視覺的系統(tǒng)中沒有ISP的應(yīng)用程序處理器運(yùn)行良好。對(duì)于這些應(yīng)用處理器保持一定的距離，甚至可以達(dá)到100米左右。相機(jī)本身內(nèi)置ISP和處理器，可以轉(zhuǎn)換圖像傳感器信息，編碼視頻流，然后通過(guò)網(wǎng)絡(luò)發(fā)送。

  無(wú)ISP的應(yīng)用處理器也適用于分辨率相對(duì)較低的攝像頭。在100萬(wàn)像素或更低的分辨率下，圖像傳感器通常內(nèi)置ISP，可以將RGB或YUV圖像輸出到不需要ISP的應(yīng)用處理器中。

  但在大約200萬(wàn)像素(1080p)或更高的分辨率下，大多數(shù)圖像傳感器依賴于系統(tǒng)中其他部件的ISP，而不是內(nèi)置ISP。它可能依賴于獨(dú)立的ISP芯片(可以運(yùn)行，但會(huì)增加系統(tǒng)的功率和成本)或集成在應(yīng)用程序處理器中的ISP。因此，恩智浦選擇使用i.MX8MPlus解決方案——提供高質(zhì)量的成像，特別是在200萬(wàn)像素和更高分辨率的情況下，優(yōu)化成像解決方案。

在智能視覺系統(tǒng)的幫助下，智能工廠可以提高生產(chǎn)率、質(zhì)量和安全性。

  促進(jìn)智能邊緣設(shè)備的發(fā)展

  綜上所述，i.MX8MPlus應(yīng)用處理器集2.3TOPS機(jī)器學(xué)習(xí)加速器和ISP于一體，無(wú)論是智能建筑、智能城市還是工業(yè)物聯(lián)網(wǎng)應(yīng)用，都將成為邊緣嵌入式視覺系統(tǒng)的關(guān)鍵組成部分。

  在嵌入式ISP的幫助下，它可以創(chuàng)建一個(gè)高質(zhì)量的圖像優(yōu)化系統(tǒng)，直接連接到本地圖像傳感器，甚至為更新的機(jī)器學(xué)習(xí)算法提供這些圖像數(shù)據(jù)，都可以減輕本地機(jī)器學(xué)習(xí)加速器的負(fù)擔(dān)。

  I.MX8MPlus架構(gòu)是為機(jī)器學(xué)習(xí)和視覺系統(tǒng)而優(yōu)化的，邊緣設(shè)備設(shè)計(jì)師可以像恩智浦一樣敢于引領(lǐng)和創(chuàng)新。具有較強(qiáng)的機(jī)器學(xué)習(xí)能力，配合高清攝像頭系統(tǒng)，能使設(shè)備看得更清晰、更遠(yuǎn)。新的創(chuàng)新機(jī)遇不斷涌現(xiàn)在嵌入式領(lǐng)域。

  I.MX8MPlus架構(gòu)是為機(jī)器學(xué)習(xí)和視覺系統(tǒng)而優(yōu)化的，邊緣設(shè)備設(shè)計(jì)師可以像恩智浦一樣敢于引領(lǐng)和創(chuàng)新。具有較強(qiáng)的機(jī)器學(xué)習(xí)能力，配合高清攝像頭系統(tǒng)，能使設(shè)備看得更清晰、更遠(yuǎn)。新的創(chuàng)新機(jī)遇不斷涌現(xiàn)在嵌入式領(lǐng)域。