《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 設計應用 > 用FPGA實現低成本實時深度感知
用FPGA實現低成本實時深度感知
摘要: 針對立體攝像的深度感知,FPGA解決方案能使處理器的時間得到緩解,減少或除去器件的成本,例如MPU、DSP、激光器和昂貴的鏡頭。通過提供給機器人其環境中的差異測繪,FPGA使機器人中的CPU專注于重要的高層任務,例如建圖和定位。
Abstract:
Key words :

 引言

  對于自主機器人導航和其它機器視覺應用來說,實時深度感知是很關鍵的。目前通過立體圖像來計算深度的算法計算量很大,例如差異測繪,要占用CPU大量的時間,或者需要用昂貴的器件進行實時操作。

  針對立體攝像的深度感知,FPGA解決方案能使處理器的時間得到緩解,減少或除去器件的成本,例如MPU、DSP、激光器和昂貴的鏡頭。通過提供給機器人其環境中 的差異測繪,FPGA使機器人中的CPU專注于重要的高層任務,例如建圖和定位。

差異測繪

  加深度感知到機器人的常用技術是用兩個水平放置的獨立攝像機,互相之間平行分開放置。用差異測繪算法對兩個攝像機進行比較,見圖1。

圖1 差異測繪計算

  簡單來說,差異是指右面和左面圖像之間的差別。物體越接近攝像機,兩個圖像之間的差異越大。

  你可以自己來做一個實驗,對著你的臉水平地向上握住一支筆,不停地眨你的左眼和右眼。移動的筆越接近你的臉,你眨眼時覺得移動越多。做更多的移動時,物體越接近你的眼睛,圖像中的差異越大。

  如圖1所示,從兩個圖像之間物體的位置算出差異:d=x1-x2。為了計算點M的實際坐標,可通過左面和右面的攝像機來進行計算:
X=Bx1/d
Y=By1/d
Z=fB/d

相關的問題

  計算差異測繪依賴于相關的圖像,以及左面圖像和右面圖像的匹配性質。逐點計算相關的像素的計算量是很大的,因此用其它算法來簡化這個問題。有一種方法稱為圖像點相關,仔細檢查左面圖像的像素塊,稱為點,然后在右面圖像中尋找相同的點。其它的方法包括邊沿檢測和匹配。一旦定位了相應的圖像,就可進行差異計算。

失真與曝光問題

  如果使用高質量的攝像機,可以忽略鏡頭失真。為了省錢,使用便宜的CMOS 或者CCD攝像機,或者低成本廣角鏡頭。這些較低質量的產品會引入失真或曝光問題。

  鏡頭會引起比例和定位失真,例如白點效應,靠近圖像外面的物體出現彎曲狀,使用眾所周知的圖像處理算法可以進行補償。針對移動或者其它幾何算法,糾正白點的一種方法是使用坐標的查找表重測圖像中的像素。

  在非常明亮和非常暗的環境中,其它的算法需要可靠地捕獲圖像中的詳細特征。例如,針對不同的區域確定最佳的曝光設置,使用區域的合成圖像可以補償缺少背景亮度。

用含有嵌入式DSP的FPGA的解決方案

  本文中闡述的深度感知算法計算復雜,以實時的視頻速率來實現。系統設計者必須評估CPU/軟件、ASIC, ASSP(例如DSP處理器)和FPGA解決方案,確定哪個是最佳的,以及FPGA價格。
圖2展示了提出的FPGA協處理器解決方案,解決失真、曝光、通信和針對深度感知差異測繪算法。這個方法使CPU騰出時間,允許DSP處理器處理更多的串行任務。


圖2 FPGA支持計算量大的差異測繪算法

通常選擇FPGA時,需要評估三個電路方面的需求:

  ●針對利用并行特性的協處理功能,DSP的功能和性能。

  ●DDR(雙數據速率)和LVDS(低電壓差分信號)支持接口至片外SDRAM緩沖存儲器,直接連接到來自攝像機的圖像數據。

  ●安全方案以保護知識產權。

  對于圖像處理算法,傳統的DSP處理器的并行功能有限,每個DSP芯片只有1到4個乘法器,見圖3中的左面。因此DSP用很高的時鐘速率來進行補償,時鐘速率高達1GHz或更高,以達到高的吞吐量。需要很快完成的復雜串行任務的DSP算法應該用DSP處理器實現。

  然而,許多深度感知圖像處理功能需要大量的并行處理,例如線性插值技術,媒體濾波器和幾何估計。與DSP芯片比較,FPGA可以用并行來執行串行功能,以加速系統性能,見圖3的右面所示。例如圖像對應是很簡單的算法,比較大量的像素值,或者兩個圖像之間的像素點。為了得到有效均方差的和(SSD),圖像對應算法必須對圖像中的像素進行百萬次計算,對串行執行功能的DSP芯片來說這是一個挑戰性的任務。

  具有DSP功能的FPGA包含幾個乘法器塊,但是一些FPGA還有嵌入式加法器、減法器和大大增加處理性能的累加器。盡管低成本FPGA以低于300MHz系統時鐘頻率工作,但用片內多個DSP塊以并行方式實現多個DSP功能可以達到高的DSP吞吐量(3,000 MMAC)。

存儲器和DDR

  由于有多個乘法器,利用FPGA并行的靈活性有益于存儲器的訪問。能夠容易地并行訪問各種存儲器。片內分布式存儲器可以用來建立小的高性能便箋,針對去除白點使用坐標的查找表,對于在圖像中再測繪像素是很有用的。片內較大的嵌入式存儲器塊能構建較大的高性能存儲器,用于FIFO和線緩沖器。

  片外存儲器DDR II SDRAM可以提供大的高性能存儲器。針對常用于圖像處理,存儲整個幀的DDR SDRAM,FPGA可以為DDR SDRAM提供存儲器控制和接口。

  較低的時鐘速度(100MHz以下),DDR存儲器控制器接口是容易做的,可用FPGA中的通用I/O和邏輯實現。然而在較高的頻率,擁有專門電路的FPGA要求穩健的DDR存儲器接口。不是所有FPGA器件都有這些專門電路的,實現高速DDR存儲器接口的成本和復雜性差別很大,取決于特殊的FPGA。

LVDS

  針對攝像機和通過LVDS接口的視頻芯片集的深度感知,例如攝像機鏈接, FPGA接口圖像處理引擎。LVDS是低噪聲、低功耗,小擺幅差分信號用于通過銅線傳送高速(每秒吉比特)數據。

  作為一個用于視頻接口的例子是7:1 LVDS接口,有多個LVDS信號對用于數據傳送,一個信號對用于時鐘。對一些FPGA來說,這是本身的I/O接口。視頻數據通過3個LVDS對進入FPGA,I/O結構對這個包進行解串,然后把FPGA中并行的數據送到邏輯陣列。

安全性

  因為自主的機器人有時用于軍事應用,在配置期間FPGA不應對系統引入額外的脆弱性。對于基于SRAM的FPGA,配置數據來自外部的非易失存儲器。有些FPGA擁有內置的128位AES解密引擎,防止黑客通過逆向工程來獲取FPGA中的功能。

  只要密鑰是未知的,AES配置位流加密提供了保護措施。然而,非易失FPGA完全去除了這種安全性的風險。一些非易失FPGA在同一芯片上組合了Flash和SRAM。上電后SRAM獲得工作配置。這種技術提供了高配置安全性,同時又利用了SRAM無限次重構的優點。

結語

  支持DSP、差分信號LVDS和DDR II存儲器接口的FPGA使得機器人的實時感知成為可能。

  對于機器人的立體視覺應用,針對實時圖像處理實現,CPU、DSP處理器和FPGA協處理器的組合能夠對性能和價格做出最佳的平衡。FPGA能夠處理高度并行差異測繪和深度感知算法。DSP進行較少并行處理、高速和簡單代碼的更加復雜的功能。CPU做需要靈活性和高層軟件實行的那些部分。

  基于Flash,非易失LatticeXP2 FPGA支持許多需求,包括LVDS、內置DDRII存儲器和完整特性的DSP塊,以及大量的可編程邏輯和存儲器塊支持接口和其它的定制功能。許多DSP知識產權核和MATLAB SIMULINK使設計更加便利。Lattice還有基于7:1 LVDS視頻接口的參考設計和平臺。免費參考設計IP提供的一些功能是色深度轉換、亮度、對比度和視頻覆蓋。
 

此內容為AET網站原創,未經授權禁止轉載。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          欧美在线地址| 欧美日韩一区二区三区免费| 久久久久久久久蜜桃| 亚洲人成人一区二区在线观看| 亚洲美女在线视频| 国产精品a久久久久| 美女啪啪无遮挡免费久久网站| 久久精品亚洲热| 亚洲精品日韩激情在线电影| 亚洲国产精品www| 国产精品欧美精品| 欧美日韩国产色综合一二三四| 91久久精品国产91性色| 亚洲欧美国产视频| 国产精品国产三级国产aⅴ浪潮| 免费成人av在线| 亚洲狼人精品一区二区三区| 欧美jizz19性欧美| 9i看片成人免费高清| 亚洲国产福利在线| 一区二区三区久久网| 亚洲国产成人porn| 欧美成熟视频| 国产精品麻豆成人av电影艾秋| 国产精品国产三级国产专播精品人| 狠狠色2019综合网| 久久精品国产综合| 中国成人亚色综合网站| 激情六月婷婷综合| 国产精品一区=区| 欧美精品电影在线| 欧美视频一二三区| 久久亚洲影院| 国产精品美女主播| 国产欧美精品一区aⅴ影院| 欧美高清视频一区| 免费亚洲婷婷| 亚洲综合二区| 国模套图日韩精品一区二区| 欧美肥婆在线| 精品粉嫩aⅴ一区二区三区四区| 欧美日韩视频在线一区二区| 欧美日韩免费观看一区=区三区| 亚洲一区二区三区在线看| 久久本道综合色狠狠五月| 亚洲一区美女视频在线观看免费| 亚洲激情影视| 国产亚洲电影| 国产精品女主播一区二区三区| 99精品欧美一区二区三区综合在线| 欧美一区二区三区四区在线观看| 亚洲欧美日韩综合一区| 国产午夜精品视频免费不卡69堂| 9色国产精品| 亚洲图片欧洲图片日韩av| 国产精品日本| 欧美成人综合一区| 亚洲日本无吗高清不卡| 欧美网站在线观看| 欧美经典一区二区三区| 亚洲激情国产精品| 国内自拍视频一区二区三区| 米奇777在线欧美播放| 久久嫩草精品久久久精品一| 亚洲精品一区在线观看香蕉| 久久精品在线播放| 欧美一区二区久久久| 亚洲国产成人精品久久久国产成人一区| 欧美日韩一区二区免费在线观看| 欧美日韩在线三级| 国产亚洲欧美激情| 欧美主播一区二区三区| 欧美在线日韩在线| 亚洲男人的天堂在线aⅴ视频| 欧美日韩视频在线第一区| 中国成人亚色综合网站| 欧美在线观看一区二区三区| 欧美成人激情在线| 国产亚洲精品成人av久久ww| 亚洲视频在线看| 久久久亚洲人| 在线观看国产精品淫| 亚洲免费视频观看| 久久一区激情| 欧美91福利在线观看| 1000部精品久久久久久久久| 在线观看欧美一区| 欧美久久九九| 欧美一区激情视频在线观看| 国产精品乱人伦中文| 欧美一区日韩一区| 91久久久久久久久久久久久| 亚洲精品视频中文字幕| 欧美一区二区| 国产真实久久| 国产亚洲一本大道中文在线| 一区二区三区久久网| 欧美日本国产视频| 性欧美video另类hd性玩具| 欧美一级艳片视频免费观看| 国产视频自拍一区| 久久在精品线影院精品国产| 一区二区欧美亚洲| 欧美一区二区在线观看| 在线免费观看日本欧美| 亚洲人成77777在线观看网| 国产美女精品视频| 在线观看久久av| 欧美午夜剧场| 免费日本视频一区| 91久久精品久久国产性色也91| 久久久精品欧美丰满| 在线观看的日韩av| 欧美午夜一区二区三区免费大片| 99这里只有久久精品视频| 欧美精品一卡二卡| 性色一区二区| 欧美高清在线视频观看不卡| 伊人色综合久久天天五月婷| 精品成人一区二区| 欧美一区二区三区视频在线| 亚洲在线一区| 国模私拍视频一区| 羞羞视频在线观看欧美| 欧美精品日韩一本| 日韩一区二区高清| 国产精品无人区| 国产欧美精品在线| 国产精品免费视频xxxx| 久久av一区二区三区漫画| 欧美日韩亚洲一区二区三区四区| 一区二区三欧美| 亚洲一区二区欧美日韩| 亚洲精品国产精品国产自| 亚洲高清在线观看| 亚洲欧美怡红院| 国产亚洲一区二区精品| 一区二区欧美国产| 久久爱另类一区二区小说| 国产精品美女xx| 欧美揉bbbbb揉bbbbb| 亚洲国产成人高清精品| 激情小说亚洲一区| 美国三级日本三级久久99| 国产精品久久久亚洲一区| 日韩一级黄色av| 老司机亚洲精品| 欧美区一区二| 欧美一区午夜视频在线观看| 国产欧美一区二区三区在线老狼| 欧美激情一区二区三区成人| 国产性天天综合网| 亚洲国产精品一区在线观看不卡| 亚洲一区不卡| 久久亚洲综合色| 国产一区二区剧情av在线| 欧美电影在线| 国产日韩精品一区二区三区| 欧美日韩在线播放| 国产婷婷色综合av蜜臀av| 欧美肉体xxxx裸体137大胆| 亚洲欧美日韩视频二区| 美女视频黄a大片欧美| 亚洲一区图片| 国产麻豆综合| 欧美一区不卡| 激情久久久久| 亚洲综合色丁香婷婷六月图片| 国产精品va在线| 狂野欧美激情性xxxx欧美| 欧美精品久久久久久久| 欧美精品一区三区在线观看| 猫咪成人在线观看| 99re热这里只有精品视频| 在线观看成人av| 久久人人爽爽爽人久久久| 99综合精品| 国产精品午夜春色av| 国产精品白丝jk黑袜喷水| 国产精品美女在线| 99精品国产高清一区二区| 欧美有码在线观看视频| 久久亚洲国产精品一区二区| 国产精品wwwwww| 国产日产亚洲精品| 午夜一区二区三视频在线观看| 欧美色视频在线| 国产精品红桃| 欧美日韩国产成人在线观看| 久久精品在线观看| 久久人人97超碰精品888| 乱码第一页成人| 欧美日韩精品一区二区三区四区| 亚洲九九精品| 亚洲色诱最新| 欧美一区二区大片| 亚洲第一综合天堂另类专| 国产精品一区2区| 国产精品黄视频| 欧美日本亚洲| 亚洲二区免费| 国产一区二区久久精品| 欧美在线亚洲综合一区| 亚洲午夜一级| 欧美亚洲综合在线| 欧美日韩综合久久| 在线观看欧美一区| 亚洲免费一级电影| 亚洲三级国产| 久久综合一区| 欧美高清在线播放| 亚洲精品小视频在线观看| 欧美午夜片在线免费观看| 国产精品国产自产拍高清av| 亚洲第一天堂无码专区| 一区二区动漫| 男女激情视频一区| 欧美理论视频| 久久久午夜视频| 一区二区免费在线视频| 亚洲欧美经典视频| 国产美女扒开尿口久久久| 国产真实精品久久二三区| 久久精品九九| 午夜视频一区在线观看| 中文在线不卡| 欧美人与性动交α欧美精品济南到| 国产精品国产三级国产aⅴ无密码| 亚洲欧美日韩久久精品| 欧美专区第一页| 妖精视频成人观看www| 亚洲国产成人精品久久| 欧美日韩天堂| 亚洲欧美一区二区三区久久| 欧美日韩情趣电影| 一区在线视频| 亚洲靠逼com| 亚洲人线精品午夜| 免费av成人在线| 欧美日韩成人综合天天影院| 欧美精品久久一区| 欧美成人dvd在线视频| 欧美精品在线免费观看| 美女国产精品| 欧美日韩1080p| 黄色资源网久久资源365| 国内精品视频在线观看| 在线国产欧美| 欧美极品影院| 国产欧美一区二区精品婷婷| 国产精品影院在线观看| 午夜精品视频| 欧美日韩一区成人| 久久国产主播精品| 亚洲一区美女视频在线观看免费| 久久手机精品视频| 一区二区三区国产精华| 国产精品一区在线观看你懂的| 国产精品激情av在线播放| 国产精品一卡二卡| 午夜影视日本亚洲欧洲精品| 国产精品美女久久久浪潮软件| 亚洲理伦在线| 久久亚洲私人国产精品va| 亚洲人成亚洲人成在线观看图片| 久久久久免费视频| 亚洲韩国一区二区三区| 久久精品成人| 国产精品美女久久久久aⅴ国产馆| 国产综合久久久久影院| 久久激情久久| 美女主播精品视频一二三四| 欧美日韩成人综合| 亚洲国产精品一区二区三区| 国产精品第三页| 免费看黄裸体一级大秀欧美| 国产一区欧美日韩| 国产精品激情| 制服丝袜激情欧洲亚洲| 在线视频国产日韩| 欧美精品福利视频| 亚洲一区二区三区午夜| 欧美与欧洲交xxxx免费观看| 亚洲欧洲日韩综合二区| 亚洲看片网站| 亚洲第一页在线| 国产美女一区二区| 午夜宅男久久久| 欧美大色视频| 激情成人综合网| 在线天堂一区av电影| 久久精品2019中文字幕| 久久久中精品2020中文| 欧美日韩国产页| 亚洲精品久久久久久一区二区| 国产亚洲网站| 欧美aa国产视频| 国产日韩欧美精品综合| 欧美精品亚洲一区二区在线播放| 国产一区白浆| 国产精品盗摄一区二区三区| 在线观看视频一区| 日韩午夜电影在线观看| 国产精品igao视频网网址不卡日韩| 久久精品视频导航| 欧美寡妇偷汉性猛交| 尤物99国产成人精品视频| 欧美日韩中文| 亚洲国产精品久久久久秋霞蜜臀| 午夜免费日韩视频| 亚洲天堂成人在线视频| 欧美在线一级va免费观看| 欧美成人精品| 99精品欧美一区二区三区综合在线| 国产日本欧美一区二区三区在线| 久久国产日本精品| 狠狠色丁香久久综合频道| 亚洲视频综合| 欧美日韩不卡| 亚洲高清不卡| 久久人人看视频| 亚洲二区三区四区| 国产自产在线视频一区| 亚洲男人第一av网站| 亚洲精品一品区二品区三品区| 午夜精品一区二区在线观看| 久久夜色撩人精品| 国产精品久久久久9999|