利用FPGA实现视频监控系统的视频处理

发布于:2008/6/3 9:25:23 | 667 次阅读

  视频监控系统在火车站、机场、银行、娱乐场、商场甚至家庭的安保方面都是一种关键设备。随着安全风险的日益增大,在各种应用场合对已发事件进行视频监控和记录的需求都在逐步上升,这就要求视频监控系统的新结构必须具备可扩展性,以便为日益多样化的视频监控需求提供高性价比的解决方案。

  在视频监控系统结构所面临的众多挑战中,上市时间压力、CODEC新标准的出台和需求范围的不断扩大(包括目标检测、运动检测、目标跟踪和目标跟踪功能) 还只是其中的一小部分。要应对这些挑战,视频监控系统的实现就必须能根据不同性能要求而进行相应调整。

  Xilinx的 FPGA产品是各种视频监控系统理想的解决方案,不论它是低端系统还是高端系统,是独立系统还是PC扩展卡系统。

  视频监控与DVR系统

  数字视频压缩技术在视频监控系统的数字录像机(DVR)中正得到快速普及。随着大多数DVR制造商从MPEG4转为采用H.264 高清(HD) CODEC,对提高分辨率和压缩率的要求也变得更急切。专用标准产品(ASSP) 比较适合量大的应用,但缺乏灵活性,而且开发时间过长,成本也高。大多数数字媒体处理器连实现H.264 HD解码都比较困难,何况H.264 HD编码比解码还复杂得多。因此,要满足H.264 HD的性能要求,方案就是采用一块FPGA加一块外部DSP或数字媒体处理器。

  采用低成本的Xilinx FPGA产品还能进一步提供运动检测、视频量化、色域转换(color-space conversion)、硬盘接口、DDR2存储器接口等功能,以及将两个27MHz的 ITU-R B+-T656数据流通过时分复用合为一路54MHz的数据流,同时为DSP处理器提供视频加速。将两个ITU-R BT656数据流复用为一个之后,系统只需单通道的视频端口就能独立传送整个双通道的视频数据。这种实现方式在连接只有一个ITU-R BT656视频输入端口的数字媒体处理器时非常实用。图1所示就是上述推荐系统的结构框图。


图1:利用FPGA和数字媒体处理器搭建的视频监控系统。

  对采用只有单个ITU-R BT656视频输入端口的TI达芬奇处理器的DVR设计而言,更高效 的实现方案是在数据流送入达芬奇处理器之前,将两个以上的ITU-R BT656数据流时分复用为单个VLYNQ数据流。这种方案减少了用于视频数据流传输的I/O管脚,因而缩小了器件的封装,降低了系统成本。图2所示为该设计的框图。


图2:利用FPGA和达芬奇处理器搭建的视频监控系统。

  PC扩展卡形式的DVR系统

  PCI总线在PC机上已成功应用了10余年。但今天的PC扩展卡DVR系统所要求的带宽已远远超出了PCI总线所能提供的极限。

  未压缩的视频(在除去空白帧之后)数据率约为165 Mbps。于是,当PCI总带宽为1 Gbps时,一条PCI总线上最多可同时连接6个发送未压缩视频的捕捉或回放设备。为降低总线带宽的占用,可以在扩展卡上采用一块MPEG4或 CODEC芯片组,但这样会提高成本,而且可选器件也局限于现有的MPEG4芯片组。

  PCI Express (PCIe)技术在流量上有了很大提高。PCI Express可以细分为多个通道,每个通道在出和入上均包含一对差分对,每对差分对支持2 Gbps的数据流量。一块主板上的每个PCIe插槽都有自己的通道,这些通道是不与其他插槽共享的。每个插槽可配置为16通道(即x16)、8通道(x8) 、4 通道 (x4)或 1通道 (x1)。因此,每块采用PCIe总线的扩展卡可提供的数据流量从2 Gbps(配置为x1通道时)到32 Gbps(配置为x16通道时)。PCIe所支持的高数据流量让我们不再只局限于每卡连接6通道的未压缩视频。

  采用图1所示的设计,我们就能用PC机代替数字媒体处理器,并将视频流通过PCIe总线送入PC机,从而快速轻松地实现一套PC扩展卡DVR系统。视频模数转换器产生4个独立的数字ITU-R BT656流,然后将其送入一个低成本的Spartan-3器件进行预处理。这块FPGA将视频数据中的空白和同步去除,并将其打成适合PCIe的数据包,然后将其送入Xilinx PCIe内核。接着由软件接收、显示和处理输入的视频,或将其存储到磁盘中。图3就是这样一个PC扩展卡视频监控系统。


图3:PC扩展卡视频监控系统。

  Xilinx的视频和图象处理算法

  Xilinx 的FPGA是十分理想的实时数字视频、图象处理和滤波平台,其功能从多相视频转换器、两维FIR滤波器、屏幕显示,到覆盖(overlay)和α混合等简单效果甚至格式和色域转换等。表1列出了一些常用视频IP模块组的应用指南。


表1:视频IP模块组应用指南。

  Xilinx FPGA无与伦比的DSP处理能力意味着它可以支持非常高的分辨率(甚至是1080p的图像质量),同时减小大型DSP阵列的尺寸。此外,Xilinx FPGA还是可重复编程的硬件,因此很容易对基于硬件的高性能新视频和图像算法进行试验,从而直接成就最终产品的独特性。

  实用的IP资源

  为加快视频监控系统中视频和图像处理算法设计、仿真、实现和验证的进程,Xilinx还提供了丰富的视频IP模块组,其中既包括设计DVR所需的基础的简单算法,也包含算法。

  另外,Xilinx及其合作伙伴还提供了一系列压缩编码、解码和编解码方案,从为需要快速实现设计的客户提供的现货内核,到为希望通过降低比特率来提供更高图像质量、并以此实现产品差异化的客户提供的模块化参考设计和硬件平台。

  采用Xilinx 的FPGA来完成某些编解码模块中极高强度的处理任务就意味着,产品不但可支持多通道高清编码、节省宝贵的系统处理器周期,而且可通过减少或消除对DSP处理器阵列的要求而真正做到成本削减,并轻松将更多特性和功能(从接口特性到更强大的视频处理功能)集成进系统。最重要的是,FPGA提供的是一种可扩展方案,因此可在同一个系统中支持不同的系统结构、额外通道或新的编解码方案。

  通过增强系统逻辑和实现新外设,Xilinx FPGA还能进一步降低DVR系统的成本。同时,Xilinx及其合作伙伴还为快速开发视频监控系统提供了以下系统接口:存储器接口、PCI Express接口、TI的VLYNQ和 EMIF接口、硬盘接口,以及ITU-R BT656接口。

  利用Xilinx提供的工具简化设计

  Xilinx 提供的System Generator for DSP允许在Simulink下用Xilinx 的视频 IP模块组搭建和调试高性能DVR系统。采用System Generator开发和实现视频处理算法可以完成经过彻底验证而且执行简单的设计。

  Xilinx已开发出多种经过预测试的新的视频IP模块组,我们只需在System Generator中拖放模块就能轻松构建起自己的视频/图像系统。这为开发人员节省了宝贵的时间,使他们无需再用HDL语言编写这些基本模块的代码。

  为了处理由开发板发往PC机的大量视频数据流,System Generator for DSP还引入了另一种新的高速硬件协同仿真(通过一个以太网接口实现)。该接口可在低延迟下实现高流量,事实证明这在System Generator环境下构建视频/图像系统时非常有用。

  Xilinx还推出了另一款基于MATLAB语言的设计工具AccelDSP综合工具,这是用于在Xilinx FPGA上设计DSP模块的工具。它可以自动完成浮点到定点的转换,产生可综合的VHDL或Verilog代码,并创建一个测试平台用于验证。我们还可以根据一段MATLAB算法生成一个定点的C++模型或System Generator模块。AccelDSP是Xilinx XtremeDSP方案中的关键组件,而Xilinx XtremeDSP则是一套结合了的FPGA、设计工具、IP核和合作伙伴关系以及设计和培训服务的方案。

  本文小结

  在一个视频监控系统中,视频信号是通过多台摄像像机产生的。FPGA的作用就是接收来自视频编码器的ITU-R BT656格式数字视频信号并将处理后的视频数据送到监视器上显示和送至数字媒体处理器或DSP中进行压缩,并存储至硬盘。

  采用Xilinx的 FPGA,客户就能在其兼容标准的系统中实现与竞争产品的差异性,同时仍能取得针对应用的平衡点。而有了Xilinx提供的视频IP模块组,客户更能轻松构建一个高度灵活和可调整的DVR系统,以便同时满足低端和高端市场的需求。Xilinx FPGA中提供的VLYNQ内核能让客户轻松地将多台摄像机发来的大量视频数据流发送到TI的达芬奇处理器进行处理。

  AccelChip与Xilinx System Generator这两种工具的集成则同时兼顾了算法开发人员偏好的基于MATLAB的算法综合开发方式与系统构建师和硬件设计师所偏好的图形化设计流程,因此设计师们可以利用丰富的MATLAB语言和附带的工具箱来创建复杂DSP算法的System Generator IP模块。通过使用这些工具,设计小组就能用效的硬件建模方式进行设计实现,并让算法开发人员在FPGA设计过程中就全面参与,从而更快实现更高品质的设计。

参与讨论
后参与讨论

//评论区

推荐阅读

智能网联汽车国际标准法规协调专家组(HEAG)召开工作会议

近年来智能网联汽车快速发展,新技术不断涌现,与相关产业融合度持续提升,正在推动全球汽车产业发生深刻变革。为应对此种形势,欧、美、日等汽车工业发达国家和地区都加大了智能网联汽车的国际标准法规协调的参与力度,在联合国世界车辆法规论坛(UN/WP.29)和国际标准化组织(ISO)层面,智能网联汽车相关国际标准法规协调活动正快速推进。 为更有效地支撑上述组织的国际标准法规协调活动,2017年全国汽车标准

0215jiejie | 发布于:2022-12-01 0评论 0赞

苹果推出搭载M2芯片的新款iPad Pro 799美元起售

据苹果官网,苹果推出搭载M2芯片的新款iPadPro。 11英寸wifi版起售价为799美元,wifi+蜂窝网络版起售价为999美元;12.9英寸wifi版起售价为1099美元,wifi+蜂窝网络版起售价为1299美元。

0215jiejie | 发布于:2022-10-19 0评论 0赞

新能源汽车领衔 “中国智造”加速登陆欧洲市场

全球五大车展之一巴黎车展时隔四年再度启幕。在这场被视为“全球汽车行业风向标”的盛会上,国内外汽车品牌云集,长城汽车、比亚迪等再次领衔中国汽车出海。 长城汽车欧洲区域总裁孟祥军表示:“欧洲是长城汽车最重要的海外市场之一,巴黎车展是长城汽车向欧洲市场展示GWM品牌和产品的最佳机会。长城汽车正在研究汽车行业碳排放的整个生命周期,到2025年,将推出50多款新能源产品,全力支持可再生能源使用,为全球用户

0215jiejie | 发布于:2022-10-19 0评论 0赞

严监管时代来临,电子烟“通配”大战走向何方?

针对通配烟弹厂商的一系列诉讼的结果,将对生产通配烟弹的品牌未来在电子烟行业的发展产生深远影响。 10月1日,《电子烟强制性国家标准》正式实施,中国电子烟监管全面生效。而在电子烟行业进入规范化、法治化阶段前夕,一场围绕着通配烟弹的争论在行业里发酵。 “通配”是电子烟从业者约定俗成的概念。换弹式电子烟由烟杆和烟弹组成,“通配”烟弹指的是非品牌商生产、可与品牌烟杆匹配使用的烟弹。多位业内人士表示,被

0215jiejie | 发布于:2022-10-19 0评论 0赞

Bourns 全新大功率分流电阻器

采用金属感应引脚,专用于大电流应用中进行精确测量 全新分流电阻器专为电池管理系统、大电流工业控制和电动汽车充电站 提供高可靠性、高成本效益的解决方案 美国柏恩Bourns全球知名电子组件领导制造供货商,宣布新增12款CSM2F系列功率分流电阻器,扩展其产品组合。全新系列采用铆接通孔金属传感引脚,可满足大电流应用中对电压测试点精确定位日益增长的需求。最新型Bourns?CSM2F系列分流电阻器

0215jiejie | 发布于:2022-10-18 0评论 0赞

请尊重元宇宙“这个筐”

元宇宙是个筐,啥都往里装,但区别在于有的像聚宝盆,有的像垃圾桶。国庆假期刚结束,中青宝“90后”董事长李逸伦便亲自上阵,玩起了元宇宙婚礼。靠着老板首秀和代言,中青宝顺势推出“MetaLove元囍”App,正式进军元宇宙婚礼赛道。 就产品而言,如同其他元宇宙产品,李逸伦的元宇宙婚礼“新奇与吐槽齐飞”:有人说是有趣的尝试,有人则认为像QQ炫舞结婚系统。要知道,QQ炫舞是一款推出了十余年的老游戏。

0215jiejie | 发布于:2022-10-13 0评论 0赞

边缘计算:突围商业模式痛点

截至8月末,中国5G基站总数达210.2万个,中国5G发展已经进入下半场。随着5G加速融入千行百业,互动直播、vCDN、安防监控等场景率先大规模落地,车联网、云游戏、工业互联网、智慧园区、智慧物流等场景也快速走向成熟,这些更大流量、更低时延、更高性能的场景涌现,对边缘计算的刚性需求势必爆发。 GrandViewResearch预测,即使在新型冠状病毒肺炎疫情肆虐全球的背景下,边缘计算和5G网络市

0215jiejie | 发布于:2022-10-13 0评论 0赞

商务部回应美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”

商务部新闻发言人10日就美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”应询答记者问。 有记者问:近日,美国商务部在半导体制造和先进计算等领域对华升级出口管制措施。同时,在将9家中国实体移出“未经验证清单”过程中,又将31家中国实体列入,请问中方对此有何回应? 对此,商务部新闻发言人回应称,中方注意到相关情况。首先,通过中美双方前一阶段共同努力,9家中国实体zui终

0215jiejie | 发布于:2022-10-13 0评论 0赞

TCL华星官宣与奔驰合作:推出全球首款横贯A柱的车载显示屏

今年1月,奔驰带来了VISIONEQSS概念车,其中控台采用了一块完全无缝的47.5英寸曲面显示屏,横贯整个A柱,令人印象深刻。今天,TCL华星正式官宣与奔驰达成合作,并认领了VISIONEQSS上这块全球首款横贯整个A柱曲面的车载显示屏。 根据TCL介绍,这款显示屏采用了完全无缝的超薄一体化设计,将仪表盘、中控与副驾娱乐显示融为一体,并能够与3D实时导航系统相辅相成。 同时,这块显示屏还采用

0215jiejie | 发布于:2022-10-12 0评论 0赞

半导体板块暴跌 谁最受伤

国庆假期后首日开盘,上证综指时隔5个月再次失守3000点,与此同时,半导体板块也再度走低,其中,北方华创、雅克科技等个股跌停。10月11日早盘期间,半导体板块持续下挫,北方华创、雅克科技再度跌停。截至下午收盘,北方华创、雅克科技维持跌停状态,华海清科、拓荆科技-U、盛美上海、清溢光电、海光信息的跌幅则超10%。同日,半导体板块中的119只个股中超五成呈现下跌趋势。 在半导体板块遭遇下挫的同时,北

0215jiejie | 发布于:2022-10-12 0评论 0赞