《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 業界動態 > 用于幀頻提升的三步搜索及其硬件實現

用于幀頻提升的三步搜索及其硬件實現

2008-07-17
作者:孫世鵬, 李斌橋, 姚素英, 張

  摘 要: 提出了用于運動補償幀頻提升" title="幀頻提升">幀頻提升的改進三步搜索" title="三步搜索">三步搜索,并描述了算法的系統實現。系統具有高度并行、實時性高等優點,經過FPGA系統驗證,所處理的圖像主觀質量良好,滿足應用需要。
  關鍵詞: 運動補償 幀頻提升 三步搜索


  隨著數字電視和多媒體信息技術的發展,圖像掃描格式的種類與日俱增,要求現今的圖像顯示系統具備多制式兼容及掃描格式轉換能力。為使信號的傳輸頻帶降低,我國現行的電視信號為50Hz隔行PAL制式,有較明顯的視覺缺陷,例如爬行及大面積閃爍。解決上述缺陷的方法就是去隔行,并提高系統的幀頻[1]。簡單的幀復制或幀平均頻率提升方法會導致運動圖像的模糊或抖動,降低圖像的動態分辨率,嚴重影響視頻圖像序列的主觀質量。為了提高圖像的顯示質量,采用運動補償的掃描頻率轉換方法逐漸為人們所青睞,文獻[2~3]給出了兩種實現方法。運動補償頻率提升的核心就是準確、高速的運動矢量計算。為此,本文提出了一種用于高速運動估計" title="運動估計">運動估計的改進三步搜索并用FPGA實現了該運動估計器的硬件原型。
1 運動估計/補償幀頻提升原理
1.1 改進的三步搜索
  三步搜索(Three Step Search)具有計算簡單、性能良好等特點,因而在視頻系統中得到了廣泛的應用[4]。筆者根據具體的項目要求,在原有的TSS基礎上做了相應的改進,提出了改進的三步搜索。
  (1)原有的三步搜索一般都是步長折半搜索,也就是說,如果第一步的步長為4(像素),那么第二步與第三步的步長分別為2和1。對幀頻提升而言,每兩幀之間的時間間隔非常小(約20ms), 說明兩幀之間匹配塊的運動矢量比較小?;谏鲜黾僭O,將三步搜索中第一步的步長調整為3,其它兩步的步長保持不變,可以直接計算出新三步搜索的搜索范圍是±6。經過上述調整,運動估計器明顯提升了中心點L4(圖1所示)附近小運動的估計效果,彌補了原三步法因為第一步步長過大而造成的運動估計精度下降。


  (2)傳統三步搜索的匹配塊大小為16×16,顯然不適合精細的運動補償線性插補" title="插補">插補。但是,由于真實物體運動的一致性,過小的匹配塊會產生較多不正確的運動矢量[5]。于是,將匹配塊的大小調整為8×8,以適應插補要求。
  新三步搜索的過程如圖1所示。每個8×8匹配塊的中心點定為該塊左上角的像素,搜索區(Searching Area)的大小為20×20(20=8+6+6)。
  第1步 搜索t幀搜索區內以L0~L8為中心的匹配塊,用MAD(Mean Absolute Difference)函數計算塊匹配誤差BME(Block Matching Error),得出與t+1幀內當前塊最匹配的塊;
  第2步 以第1步搜索得到的最小誤差點為中心,即圖中空心圓代表的位置,步長為2,搜索其周圍的8個頂點,計算以這8個點為中心的匹配塊的BME,得出與當前塊最為匹配的塊;
  第3步 同第2步,步長變為1。
  經過三步搜索后,運動估計器找到了當前塊在前一幀內的匹配塊以及用相對坐標表示的運動矢量,為后續的線性插補做準備。如圖1所示,當前塊的運動矢量為{5,5}。
1.2 幀頻提升原理簡介
  運動估計器計算出當前塊的運動矢量后,將運動矢量除以2,就可得到插值" title="插值">插值幀(t+0.5)內與當前塊相對應插值塊的位置,或者說相對坐標。如果運動估計足夠準確,則插值幀內所有的塊都能找到與它對應的當前塊,這樣,可以將插值幀插補出來。將插值幀連同原始幀按順序送顯,可以實現50Hz~100Hz的幀頻提升。插補的原理如圖2所示,其中A代表前一幀內與當前塊相匹配的塊,A’代表A在當前幀內的映射塊,I代表插補塊,B代表當前塊。以上只是簡要說明插補的原理,在實際應用中,幀頻一般不會很高,例如VGA格式的LCD顯示器,其最佳掃描頻率為75Hz。要想將逐行的50Hz數字電視信號在液晶屏上顯示,只需將幀頻提升到75Hz并調整分辨率即可。當然,使用的插補方法會與前述的略有不同,由于篇幅所限,本文就不再敷述。


2 運動估計器的硬件實現
  標準數字PAL制式的分辨率為720×576[6],也就是說,每一幀圖像內有6480個8×8的像素塊。要想在一幀的間隔內(約20ms)將所有像素塊的運動矢量(MV)計算出來,并將插值幀連同原始幀實時送顯,就要求運動估計進行得非常快。為了滿足矢量計算的高速性,本文提出的運動估計器采用了高度并行的處理結構。
2.1 系統結構
  該系統主要分為三部分,即存儲子系統、運算子系統以及數據組織子系統,如圖3所示。


  存儲子系統主要由1塊片外雙口RAM和若干塊片內RAM組成。片外RAM用于存儲當前幀和上一幀的像素數據,一個端口用來接收輸入視頻流,另外一個端口用來向片內RAM緩沖區發送數據。片內RAM主要用于緩沖當前塊和搜索區的數據,采用Xilinx VirtexⅡ2V1500的內置RAM充當,在編寫代碼時用RAMB4_S16_S16原語調用。片內RAM又分為當前塊片內RAM以及搜索區(SA)片內RAM兩大部分。地址產生及控制單元應該位于存儲子系統內部,但是考慮到它的重要性,便將其單獨表示。
  運算子系統即運動估計單元,主要負責運動矢量的計算。它由三組處理單元(PE)、一組比較單元以及部分控制電路組成。
  數據組織子系統主要包括幀到宏像素塊轉換模塊(Frame To Macro Block)以及一些控制電路,它主要負責輸入視頻的序列緩沖,然后存入片外RAM以及將片外RAM的數據緩沖,寫入片內RAM。
2.2 片內RAM的組織結構
  用于存儲當前塊(8×8)的片內RAM由4塊32位RAM組成,2塊構成1頁,共有2頁。這樣做的目的是為了在讀取第n個當前塊送入運動估計單元進行計算時,還能用另一頁RAM載入第n+1個當前塊的數據。這種乒乓存儲結構大大提高了運算速度,實現了時間的復用。圖4表示了1頁RAM的結構,其中地址線3根,可以計算出1頁RAM的容量為:,剛好容納1個當前塊。


  用于存儲搜索區像素片內RAM的組成結構與當前塊片內RAM基本相同,不同的是用到的RAM的塊數為10塊。RAM陣列提供了足夠的數據帶寬,使運動估計器能自由尋址搜索區內的一行20個像素數據。
2.3 運動估計單元
  運動估計單元是整個運動估計器的核心,在文獻[7~8]的基礎上,提出了24個(三組)處理單元同時并行工作的高速結構。如圖5所示,基于這種結構,運動估計單元每個時鐘周期能計算出24個差值。


  當數據組織子系統將當前幀的前8行數據存入片外RAM后,運動估計單元開始工作。系統與時鐘的上升沿同步,T表示時鐘周期。圖6給出了運動估計單元的工作時序圖;圖7給出了處理單元PE的硬件結構。


  0~7 T 依次讀入匹配塊L0、L1、L2的第0行到第7行,送入并行PE陣列;
  8~9 T 每一個PE計算出有效結果;
  10~12 T 樹狀加法器陣列計算出匹配塊L0、L1、L2的匹配誤差BME,并送入結果緩存。
  13~20 T 依次讀入匹配塊L3、L4、L5的第0行到第7行,送入并行PE陣列;
  21~22 T 每一個PE計算出有效結果;
  23~25 T 樹狀加法器陣列計算出匹配塊L3、L4、L5的匹配誤差BME,并送入結果緩存。
  26~38 T 運動估計單元計算出匹配塊L6、L7、L8的匹配誤差;
  39~41 T 比較陣列得出新三步搜索第一步的最佳匹配塊。
  第二步和第三步的情況與第一步類似:第83個時鐘的上升沿比較陣列求得第二步的最佳匹配塊,第125個時鐘的上升沿比較陣列求得最終的最佳匹配塊。
  這樣,每經過126個時鐘周期,運動估計器找到一個當前塊的最佳匹配塊,并以運動矢量的方式將結果輸出。取主頻100MHz,處理大小為720×576的一幀圖像所用的時間是=8.1648≈8.2ms<幀間隔20ms的一半,為后續的插幀過程留下足夠的處理時間。
3 實驗結果
  用Verilog硬件描述語言編寫源代碼,綜合采用Xilinx ISE 6.3i;用ModelSim做后仿真,將運動矢量輸出到記錄文件中;用計算機處理輸出的結果,插補出來的t+0.5幀圖像效果良好。輸入采用football序列,軟硬件的結果對比如圖8、9所示。


  本文提出了一種適用于幀頻提升的三步搜索系統實現,并用FPGA對其硬件原型驗證。實驗結果表明采用高速并行結構的運動估計器具有速度快、精度高等優點,滿足幀頻提升系統的要求。
參考文獻
1 C. Hentchel. Linear and nonlinear procedures for flicker reduction. [J]in IEEE Trans. Consumer Electron., 1987;CE-33(8)192~198
2 T. Reuter. Improved TV standards conversion with 3-dimen-sional motion compensating interpolation filter. [J]in Proc.Club de Rennes Young TV Researchers Conf.[C],Cambridge, MA, Oct. 1988
3 D. P. Siohan, B.Choquet.Field-rate conversion by motion estimation/compensation.[J]in Signal Processing of HDTV, L.Chiariglione,Ed.Amsterdam: Elsevier, 1988:319~328
4 H. M. Jong,L. G. Chen,T. D. Chiueh. Performance improvements and cost reductions of the 3-step block-matching algorithm.[J]in IEEE Trans.Circ. and Syst.for Video Technol
5 吳 勇.數字視頻的時-空處理算法及其VLSI實現[J].西安交通大學博士學位論文,2002;0401
6 Roberto Castagno, Petri Haavisto, G. Ramponi.A method for motion adaptive frame rate up-conversion.[J]in IEEE Trans-actions on Circuits and Systems for Video Technology, Oct 1996;6(5)
7 H. M. Jong,L. G. Chen,T. D. Chiueh. Parallel architecture for 3-step hierarchical search block-matching algorithm. [J]in IEEE Trans. Circ. and Syst. for Video Technol.Aug.1994;4(4)
8 G. Gupta and C. Chakrabatri. Architectures for hierarchical and other block matching algorithms.[J]in IEEE Trans.Circ. and Syst. for Video Technol.Dec. 1995;5(6)

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          欧美性做爰猛烈叫床潮| 亚洲欧美成人综合| 亚洲一级黄色| 欧美国产欧美亚洲国产日韩mv天天看完整| 黑人巨大精品欧美黑白配亚洲| 欧美日韩中文字幕综合视频| 欧美日韩亚洲一区二区三区在线观看| 狠狠做深爱婷婷久久综合一区| av72成人在线| 亚洲日本电影在线| 国产精品v亚洲精品v日韩精品| 在线观看视频一区二区欧美日韩| 国产精品综合网站| 国产麻豆视频精品| 欧美噜噜久久久xxx| 欧美二区乱c少妇| 伊人伊人伊人久久| 91久久久一线二线三线品牌| 久久最新视频| 亚洲精品美女91| 在线日韩日本国产亚洲| 国产一区二区三区黄视频| 国产精品99久久久久久有的能看| 久久精品夜色噜噜亚洲aⅴ| 国产精品成人免费| 久久综合九色综合欧美就去吻| 国产精品九九| 蜜桃久久精品一区二区| 欧美性大战久久久久久久蜜臀| 国产日韩欧美亚洲一区| 欧美成人乱码一区二区三区| 亚洲免费伊人电影在线观看av| 国产一区二区精品久久99| 欧美日韩国产精品一区二区亚洲| 欧美三级不卡| 欧美激情一区二区| 亚洲人妖在线| 欧美11—12娇小xxxx| 在线成人www免费观看视频| 国产欧美日本一区二区三区| 欧美激情 亚洲a∨综合| 国产一区二区黄色| 欧美天天视频| 精品9999| 欧美国产亚洲另类动漫| 精品av久久久久电影| 国产一区在线免费观看| 日韩一二三在线视频播| 欧美 亚欧 日韩视频在线| 黄色成人片子| 亚洲狼人精品一区二区三区| 欧美中文字幕| 欧美日韩国产色站一区二区三区| 欧美亚洲综合另类| 国产有码一区二区| 久久久精品一品道一区| 久久精品二区| 999在线观看精品免费不卡网站| 欧美激情在线免费观看| 亚洲精品国产精品乱码不99| 在线观看亚洲一区| 欧美日韩一视频区二区| 国产日本欧美在线观看| 亚洲色诱最新| 国产一区二区三区四区老人| 最新亚洲一区| 国产亚洲欧美一区二区三区| 免费在线观看日韩欧美| 日韩亚洲精品在线| 国产美女诱惑一区二区| 99re8这里有精品热视频免费| 永久91嫩草亚洲精品人人| 狠狠久久亚洲欧美| 欧美日韩在线免费观看| 久久久久久亚洲精品不卡4k岛国| 国产精品免费观看在线| 蜜臀va亚洲va欧美va天堂| 一区二区三区在线视频免费观看| 欧美日韩国产限制| 欧美jizzhd精品欧美巨大免费| 日韩一级片网址| 猫咪成人在线观看| 亚洲女女女同性video| 午夜精品福利在线| 欧美精品一区二区久久婷婷| 在线看日韩欧美| 欧美成人中文字幕在线| 亚洲欧洲精品一区二区三区| 欧美大片在线观看一区二区| 欧美精品日韩精品| 日韩视频免费观看高清完整版| 亚洲一区二区三区午夜| 亚洲在线日韩| 欧美成人自拍| 久久久91精品国产一区二区精品| 欧美韩日精品| 国产一区二区三区自拍| 国产精品每日更新在线播放网址| 美女网站久久| 亚洲最快最全在线视频| 亚洲一区二三| 亚洲三级免费观看| 韩日成人在线| 亚洲社区在线观看| 亚洲免费中文字幕| 国产精品乱子久久久久| 国产精品久久久久影院亚瑟| 欧美日韩国产成人在线观看| 午夜国产精品影院在线观看| 欧美99久久| 欧美日韩一区二区三区视频| 欧美一区二区三区免费大片| 午夜精品福利视频| 亚洲一区免费观看| 久久人人97超碰国产公开结果| 在线欧美视频| 欧美高清视频在线播放| 欧美精品xxxxbbbb| 国产精品a久久久久| 精品动漫3d一区二区三区免费| 一区二区高清| 狠狠色丁香久久综合频道| 欧美一级理论片| 亚洲在线视频网站| 国产午夜精品在线观看| 欧美日韩国产成人高清视频| 日韩午夜一区| 欧美精品高清视频| 久久精品人人| 韩国精品久久久999| 欧美三级日本三级少妇99| 欧美人妖在线观看| 欧美色另类天堂2015| 欧美精品日日鲁夜夜添| 国产一区二区成人久久免费影院| 亚洲一区二区三区免费在线观看| 亚洲精品日韩激情在线电影| 精品成人国产在线观看男人呻吟| 亚洲一区视频在线观看视频| 国产色综合久久| 亚洲一区视频在线观看视频| 国产精品一区二区三区免费观看| 欧美日韩精品欧美日韩精品一| 夜夜躁日日躁狠狠久久88av| 国产伦精品一区二区三区高清版| 欧美夜福利tv在线| 中文在线一区| 久久亚洲国产精品一区二区| 老司机67194精品线观看| 国产欧美精品一区aⅴ影院| 久久综合九色综合欧美就去吻| 久久www免费人成看片高清| 欧美激情综合色| 欧美高清视频在线| 一区二区三区四区国产| 91久久黄色| 欧美日韩在线播放一区| 久久亚洲精品视频| 欧美一区视频| 国产精品在线看| 免费在线成人| 在线视频你懂得一区二区三区| 国产精品亚洲片夜色在线| 久久综合九色综合欧美就去吻| 欧美一区国产在线| 亚洲激情在线| 国内精品视频在线观看| 久久久久久午夜| 性亚洲最疯狂xxxx高清| 99一区二区| 欧美顶级大胆免费视频| 欧美色欧美亚洲高清在线视频| 99国产精品一区| 欧美日韩1区| 欧美性猛交xxxx乱大交蜜桃| 欧美日韩精品二区| 午夜亚洲福利在线老司机| 欧美日韩国产精品专区| 国产情侣久久| 欧美高清视频一区二区三区在线观看| 国产精品久久久久久影视| 亚洲少妇最新在线视频| 一本到高清视频免费精品| 在线精品视频在线观看高清| 国产欧美在线看| 亚洲精品国产精品国自产观看浪潮| 伊人夜夜躁av伊人久久| 一区二区三区欧美| 99re66热这里只有精品4| 亚洲啪啪91| 免费亚洲婷婷| 久久久久久综合网天天| 一区二区欧美视频| 亚洲综合第一页| 久久精品一区二区三区四区| 亚洲人成网站精品片在线观看| 亚洲午夜激情网站| 亚洲综合99| 亚洲高清视频一区二区| 欧美日韩一区二区三区四区五区| 欧美在线一二三区| 亚洲午夜三级在线| 欧美特黄视频| 亚洲成色777777在线观看影院| 中文在线资源观看视频网站免费不卡| 久久综合九色综合久99| 久久亚洲综合色一区二区三区| 一区二区三区视频在线观看| 欧美高潮视频| 黄色成人av| 久久精品在线播放| 亚洲乱码日产精品bd| 欧美三级午夜理伦三级中文幕| 欧美日韩免费区域视频在线观看| 久久精品国产96久久久香蕉| 久久伊人精品天天| 91久久久久久国产精品| 国产一区二区三区无遮挡| 久久久www免费人成黑人精品| 久久久久综合网| 亚洲一区二区精品在线观看| 亚洲片在线资源| 午夜视频久久久久久| 快射av在线播放一区| 一区二区日韩欧美| 亚洲精品乱码久久久久| 一区二区三区精密机械公司| 欧美色大人视频| 亚洲女人av| 欧美人交a欧美精品| 精久久久久久| 免费一级欧美片在线播放| 欧美亚洲在线播放| 亚洲一区中文字幕在线观看| 亚洲三级免费| 在线免费观看日韩欧美| 91久久嫩草影院一区二区| 国产精品亚洲а∨天堂免在线| 狠狠爱www人成狠狠爱综合网| 另类人畜视频在线| 免费成人高清视频| 亚洲国产一区二区三区高清| 国产精品久久久久永久免费观看| 欧美福利在线观看| 在线成人www免费观看视频| 禁久久精品乱码| 亚洲摸下面视频| 欧美电影在线观看| 亚洲国产三级网| 曰本成人黄色| 美女福利精品视频| 在线视频日韩精品| 欧美一区二区三区视频免费| 亚洲国产欧洲综合997久久| 欧美性色综合| 亚洲激情成人在线| 欧美主播一区二区三区| 欧美人在线观看| 国产精品海角社区在线观看| 久久久国产精品一区二区三区| 免费国产自线拍一欧美视频| 国产精品丝袜久久久久久app| 国产一区二区三区黄| 欧美日韩调教| 黄色亚洲大片免费在线观看| 国产视频一区在线| 午夜精品久久| 免费观看欧美在线视频的网站| 亚洲高清久久网| 亚洲人成精品久久久久| 在线欧美小视频| 久久伊伊香蕉| 亚洲女ⅴideoshd黑人| 亚洲国产精品日韩| 欧美色精品天天在线观看视频| 国产欧美一区二区精品秋霞影院| 亚洲第一精品久久忘忧草社区| 久久久噜久噜久久综合| 在线视频日本亚洲性| 亚洲欧美综合国产精品一区| 国产精品亚洲第一区在线暖暖韩国| 国产欧美日韩精品专区| 亚洲国产一区视频| 久久国产精品免费一区| 一色屋精品视频免费看| 亚洲激情视频在线| 午夜精品久久久久久久久久久| 在线看片一区| 国产午夜精品一区二区三区欧美| 欧美精品一区二区三区高清aⅴ| 国产精品视频成人| 国产日韩欧美一区在线| **性色生活片久久毛片| 欧美日韩综合在线| 国产婷婷精品| 亚洲精华国产欧美| 久久久久久亚洲精品杨幂换脸| 国产精品五月天| 欧美国产欧美亚洲国产日韩mv天天看完整| 亚洲二区在线视频| 久久精品欧美日韩精品| 国产精品xxxxx| 国产一区视频在线观看免费| 欧美午夜电影完整版| 欧美三级在线| 亚洲欧美日韩在线观看a三区| 亚洲国产另类久久久精品极度| 尤物在线观看一区| 亚洲欧洲精品一区二区三区不卡| 久久精品日产第一区二区| 久久精品国产精品| 嫩草伊人久久精品少妇av杨幂| 一区二区在线视频观看| 国产区日韩欧美| 亚洲免费黄色| 亚洲激情视频网| 日韩亚洲综合在线| 亚洲一二三级电影| 日韩视频欧美视频| 欧美一区二粉嫩精品国产一线天| 亚洲一区二区三区四区中文| 欧美激情一区二区三区在线视频| 欧美日韩一区二区在线观看| 日韩亚洲欧美成人一区| 亚洲美女av在线播放| 欧美一区二区三区四区在线| 亚洲一区二区免费在线| 女同性一区二区三区人了人一|