[其它] 3D视频处理：FPGA唱主角 ASIC急需标准

C.R.CAN

5969 主题	1 听众	39万积分

首席设计师

Rank: 8 Rank: 8

纳金币: -1
精华: 0

电梯直达

楼主

发表于 2011-12-21 20:21:48 |只看该作者 |倒序浏览

      在电影《阿凡达》中，当Neytiri救了地球人状态的Jake Sully时，Jake Sully一句深情的“I see you”推动剧情走向最***，这句台词随之也被人们广为传诵。Jake Sully和Neytiri对世界美好的愿望和共同的追求，使双方互相看到了地球人和纳威人之间不可分割的联系，而观众则通过先进的3D视频处理技术，观赏到了3D电影的逼真效果，感受到这部电影带来的震撼。

FPGA主导3D视频处理市场

      《阿凡达》3D电影的热映，引发了前所未有的3D热潮。不仅3D电影频频出击，3d电视也着实火了一把，在前不久举办的CES（国际消费电子产品展）展上，各大电视厂商包括索尼、三星、松下等等都纷纷推出3D电视，使之成为CES的最大亮点之一。而无论是电影、电视还是其他3D产品，其实都离不开一项关键技术——— 3D视频处理，目前在这方面唱主角的则是FPGA(可编程逻辑门阵列)技术。

      由于3D产业刚刚开始发展，在标准等方面还不完善，摄像设备与终端产品在视频处理上都还没有很成熟的ASIC（专用芯片）解决方案，因此FPGA就成为产品设计者的首选。据悉，FPGA两大厂商赛灵思与Altera都在积极与3D产品制造商合作，并受益于该市场的发展。赛灵思公司亚太区市场及应用总监张宇清告诉记者，在当前3D市场发展初期，半导体供应商对3D视频解决方案的投入多半不深，有些甚至还抱持着观望态度，这段过渡期正是FPGA大显身手的时机。

      在2D视频处理中常用的DSP（数字信号处理器）也难以满足3D的复杂需求，而FPGA在3D应用中则有诸多优势。另一家FPGA大厂Altera通讯及广播应用业务部资深技术市场经理杜泽心表示，传统的DSP处理器体系结构只能够实时完成不太复杂的视频处理功能，可以用在消费类产品方面，但在广播设备方面功能不够强大，而最新的FPGA方案内置了硬核DSP和存储器模块，效率和灵活性要远远优于DSP器件。

      记者对3D厂商的采访也印证了上述观点。深圳掌网立体时代视讯技术有限公司推出了3D照相机、数码相框等多种产品。公司副总经理夏登海告诉记者，由于市场及标准的不确定性，目前3D视频处理多采用FPGA来实现，它被集中应用在图像的获取和2D转3D上。他们目前采用FPGA来完成立体图像的获取、同步、合成以及显示。“FPGA的优势在于它是全硬件处理，要求的极限速度低、外围简单。”他表示。

ASIC处理器遭遇标准瓶颈

      根据以往的经验，在有些消费市场，FPGA虽然具备设计的较大灵活性，但当市场大规模启动之后，FPGA主导地位往往由于不具备成本优势而逐渐被ASIC取代。据悉，由于《阿凡达》等3D电影的带动，3D产业很可能将快速启动，产品规模量产的进程也将被提速。中国立体视像(3D)产业联盟秘书长唐斌告诉记者，3D电影的火爆必将带动整个3D消费电子的大发展，2010年被业内人士称作“3D电视元年”，这一年将有很多国际厂商将自己的3D电视推向市场。而3D笔记本、投影仪、摄像机、照相机、数码相框等产品也将随之发展。因此，3D视频处理ASIC的进展也值得业界关注。

      据夏登海预计，今年应用于电视的3D处理芯片将大量上市，目前正在积极开发的有三星等公司，预计在年中会出现在电视产品中。记者注意到，泰鼎微系统公司也推出了一款3D电视视频协处理器，其电视业务部门市场经理JosKlippert对记者表示，这款芯片能够处理3D帧序列(以多种输入格式)，采用该款器件的产品无须为了3D而采用FPGA，从而降低了3D系统的整体成本。

      虽然未来将有 ASIC的竞争，但FPGA厂商对3D视频处理市场的看法仍然十分乐观。杜泽心认为，尽管在消费类产品市场当标准最终完善后，由于成本原因ASIC或者ASSP（专用标准芯片）或将替代FPGA，但在专业广播设备领域，仍将是FPGA的天下。3D终端售价高是其不能普及的关键问题之一，从这个意义上说，FPGA能否提供不断降低成本的方案将是其生命力的关键所在。

      在成本降低方面，夏登海也提出了另一种看法，他认为将3D立体处理芯片与压缩编码芯片、CPU等合成一个SoC（系统级芯片），将是有效降低成本的办法。

      但不管是ASIC还是SoC方案，都必须有一个前提，就是标准必须明确，在没有相关行业标准的时候，FPGA无疑还是会被大多数厂家所采用。

3D市场成FPGA厂商蓝海

赛灵思公司亚太区市场及应用总监张宇清

●3D相关市场还处于早期发展阶段,正是FPGA大显身手的时机。
●3D视频对芯片硬件的处理效能要求更高，因此在系统设计中FPGA扮演的角色也有所转变。

3D视频特别是3D电视是目前比较热门的话题之一，但在当前3D市场发展初期，由于芯片供应商必须审慎评估市场风险，所以不管是标准产品或定制化解决方案的选择现在均相当有限，从而让FPGA得以在这片蓝海市场中大展身手。在这波3D风潮中，赛灵思也顺势占据了有利位置。

视频处理主要分为视频编解码和目标信息识别两大类。其中，各类编解码算法，特别是视频处理算法对计算性能的要求已经远远超出了传统DSP处理器的能力。

3D视频技术使摄像头数量翻番，进而推动所需视频数据带宽也翻了一番。制造商需要灵活的硬件来支持10G-SDI、12G-SDI和DisplayPort等各种不同的新标准。超高端FPGA可提供处理2k×4k和8k×16k标准视频所需的密度、性能以及高存储器缓冲带宽。统一架构则能提供设计可扩展性，满足不同终端产品的性价比要求。

因为3D视频对芯片硬件的处理效能要求更高，因此在系统设计中，FPGA扮演的角色也有所转变。以客户应用设计为例，FPGA已经在扮演类似超级电脑应用中的硬件加速器角色。

3D立体处理器制造商SENSIO公司的S3D-PRO处理器采用了赛灵思的Spartan-3可编程器件来进行设计，该可编程器件是适用于众多应用、成本最低的FPGA解决方案之一。与传统的高分辨率播放器结合使用，这款处理器可实现任何设备、任何格式的3D视频输出，从而可提供一种低成本、影院品质的视频体验。

FPGA视频处理在专业广播市场唱主角

● FPGA一直在大部分专业数字广播产品中扮演着主要角色。

● 用户一般会采用FPGA定制他们的设计，以提高产品竞争力。

Altera通讯及广播应用部资深技术市场经理杜泽心

      FPGA设计一直在大部分专业数字广播产品中扮演着主要角色，例如演播摄像机、视频交换机、路由器、服务器、编码器等视频传输设备。影院中用于播放3D影片的数字电影设备也被认为是专业产品。3D与2D的区别不大，只是需要规模更大、密度更高的FPGA来处理多维视频流。因此，FPGA会继续在3D视频内容制作方面扮演重要角色。在消费类市场方面，会采用某些FPGA设计进行产品的初步原型开发，在 3DLCD和LED电视等产品中也会被采用。

      最新的FPGAIC内置了硬核DSP和存储器模块，效率和灵活性要远远优于DSPIC。目前的DSPIC速度还没有快到足以处理最新的专业2D1080p高分辨率的广播视频，对于3D，DSP在处理其他的功能时显得更加困难。

      用户一般会采用FPGA定制他们的设计，以提高产品竞争力。SDI是典型的FPGA前端视频接口。FPGA接收这一未经处理的视频流，进一步处理缩放、滤波，并进行格式转换和颜色空间转换。这类功能需要使用FPGA的内部DSP模块、板上高速收发器接口和内部存储器模块。

      FPGA可以帮助消费类产品生产商在竞争中突出他们的优势。与ASSP或者ASIC相比，由于逻辑是可编程的，为标准IC增加FPGA将有助于增加更多的功能，适应新标准。考虑到成本问题，我们需要把专业广播和消费类市场分开，对于专业市场，成本并不重要，重要的是性能。对于消费类市场，增加FPGA则会提供更多的功能，但是对产品成本会有影响。

高集成度协处理器满足3D需求

●泰鼎微系统公司的视频协处理器能够处理3D帧序列。

●采用这种处理器的产品无须为了3D而采用FPGA。

泰鼎微系统电视业务部门市场经理 JosKlippert

      将3D内容显示出来有两种方法，一种是将含有“差异性”的左帧与右帧按顺序显示(一个接一个)，同时输出一个同步信号到主动性玻璃屏，当显示左帧的时候，关闭左边的玻璃屏，当显示右帧的时候，关闭右边的玻璃屏，从而实现3D的显示；另一种方法是在奇数线上显示左帧，在偶数线上显示右帧，可以选用被动性玻璃屏来实现3D效果。但采用这种方法垂直精度被减半，而且从目前来看，线偏光器也比较昂贵。

      泰鼎的PNX5130是一个非常先进的可编程器件，能够处理3D帧序列(以多种输入格式)，使用运动预计/运动补偿来避免图像“颤动”，并使用再定时来确保左右帧在时间上的同步。

      采用PNX5130器件的产品无须为了 3D而采用FPGA，从而降低了3D系统的整体成本。

PNX5130架构是基于功能强大的VLIW处理器，能够提供一种非常灵活的视频处理方式。这种灵活性使得我们能够与快速演进的3D行业合作。

3D电视普及将先行

●相关3D标准尚未制定，导致3D产品无法量产。

●从目前来看终端的发展趋势，3D电视的普及将先行。

中国立体视像(3D)产业联盟秘书长唐斌

      电影《阿凡达》以其所向披靡的骄人票房和身临其境的3D效果赢得了全球影迷的满堂彩，实实在在地印证了消费者对于3D视听走进家庭的迫切期望。3D娱乐在2010CES(国际消费电子产品展)上成为绝对的主角。各消费电子巨头索尼、三星、松下、LG等纷纷亮出各自的“3D杀手锏”，欲在未来的3D消费电子大战中大显身手。

      3D电影的火爆必将带动整个3D消费电子的大发展。毫无疑问，2010年是中国3D产业发展的关键之年。我们不能袖手旁观，要尽快行动起来，联合中国3D企业加入3D产业的大潮中，建设整个3D产业链。我们正在全力推进相关3D行业标准制定工作的开展，这是迫在眉睫的事情。

   坦白地说，目前我国3D终端市场的推广效果不甚理想，主要原因有三：一是相关3D标准尚未制定，导致3D产品无法量产；二是3D内容的严重缺乏，现在3D设备基本已经具备，但是缺乏内容支持，无法大面积推广应用；三是戴眼镜的观看方式一定程度上制约了部分消费者(弱视、散光等)的使用，如果裸眼3D显示技术能广泛应用，对3D终端市场的发展将有很大的推动作用。

从目前来看，3D电视的普及将先行。据了解，各大电子巨头包括索尼、松下、三星、LG等今年都有3D电视上市的计划。3D笔记本可能配合3D游戏加快其普及速度；3D投影机将率先进入行业市场(教育、演示)的应用，而随着内容的普及，它进入家庭，打造3D家庭影院的势头也不错；大量3D内容(电影、电视节目)的制作需求，对专业3D摄像机的普及有至关重要的推动作用；3D数码相框、3D数码相机、3D手机市场也将有不错的市场前景。

ASIC处理器遭遇标准瓶颈

      根据以往的经验，在有些消费市场，FPGA虽然具备设计的较大灵活性，但当市场大规模启动之后，FPGA主导地位往往由于不具备成本优势而逐渐被ASIC取代。据悉，由于《阿凡达》等3D电影的带动，3D产业很可能将快速启动，产品规模量产的进程也将被提速。中国立体视像(3D)产业联盟秘书长唐斌告诉记者，3D电影的火爆必将带动整个3D消费电子的大发展，2010年被业内人士称作“3D电视元年”，这一年将有很多国际厂商将自己的3D电视推向市场。而3D笔记本、投影仪、摄像机、照相机、数码相框等产品也将随之发展。因此，3D视频处理ASIC的进展也值得业界关注。

      据夏登海预计，今年应用于电视的3D处理芯片将大量上市，目前正在积极开发的有三星等公司，预计在年中会出现在电视产品中。记者注意到，泰鼎微系统公司也推出了一款3D电视视频协处理器，其电视业务部门市场经理JosKlippert对记者表示，这款芯片能够处理3D帧序列(以多种输入格式)，采用该款器件的产品无须为了3D而采用FPGA，从而降低了3D系统的整体成本。

      虽然未来将有 ASIC的竞争，但FPGA厂商对3D视频处理市场的看法仍然十分乐观。杜泽心认为，尽管在消费类产品市场当标准最终完善后，由于成本原因ASIC或者ASSP（专用标准芯片）或将替代FPGA，但在专业广播设备领域，仍将是FPGA的天下。3D终端售价高是其不能普及的关键问题之一，从这个意义上说，FPGA能否提供不断降低成本的方案将是其生命力的关键所在。

      在成本降低方面，夏登海也提出了另一种看法，他认为将3D立体处理芯片与压缩编码芯片、CPU等合成一个SoC（系统级芯片），将是有效降低成本的办法。

      但不管是ASIC还是SoC方案，都必须有一个前提，就是标准必须明确，在没有相关行业标准的时候，FPGA无疑还是会被大多数厂家所采用。

合成SoC将降低3D设备成本

●今年，应用于电视的3D处理芯片将大量上市。

●将立体处理芯片与压缩编码芯片、CPU等合成一个SoC是有效降低成本的办法。

深圳掌网立体时代视讯技术有限公司副总经理夏登海

      由于市场及标准的不确定性，目前3D处理多采用FPGA来实现，比如富士的照相机、华映的2D/3D转换等都采用FPGA。目前FPGA集中应用在图像的获取和2D转3D上。现在看到产品的是富士的立体相机和很多厂家的立体电视。

      我们目前采用FPGA来完成立体图像的获取、同步、合成以及显示。FPGA的优势在于它是全硬件处理，要求的极限速度低、外围简单，便于降低成本。在没有很复杂的图像运算与数据处理的条件下， FPGA比DSP在开发速度、运算速度、成本上均有优势。

      在立体摄录一体机没有面世前，3D内容的匮乏以及产品成本的高昂是必然的，一体机是立体普及的第一步骤。立体摄录一体机的成本比普通的2D摄像机虽然要高，但是较以前的3D方案要方便、便宜得多。在未来有两种方法可以降低成本，一是将立体处理芯片与压缩编码芯片、CPU等合成一个IC，组成SoC，这是有效降低成本的办法，但它的前提是标准必须明确，必须兼容绝大多数格式；二是开发专业的立体镜头，目前立体摄像机的做法是采用两个独立的镜头，这种镜头在2D状况下应用没有什么问题，但在3D中应用问题就比较多，比如偏心率、ZOOM和FOCUS的不同步等等，造成立体影像的破坏。

      FPGA在处理复杂运算的时候成本显得偏高，ASIC是最后必然的趋势。在今年，应用于电视的3D处理芯片将大量上市，目前正在积极开发的有三星等公司，预计在年中会出现在电视产品中，但摄像机芯片的出现要相对较晚，应该在明年初，因为应用在摄像机上的芯片对功耗、成本的要求更低。

      3年前三星制造了第一部立体手机。他们现在采用的是ASIC的方案，但这个方案的缺陷是视频分辨率很小，只能满足低端需求。而我们新的FPGA方案在价格上与这种ASIC差不多，但可以实现720p的高清视频同步、立体合成与立体显示，该芯片已经被某知名品牌使用，预计在今年3月可以给客户演示其效果，其价格也具有较大的优势。

来源：3D中国