
音视频流媒体图像编码标准ISO MPEG-4标准
对于现在高清行业的高速普及,流媒体的广泛应用,视频编码处理技术变得尤为重要,直接关系到视频行业的发展方向。九视电子作为专业音视频图像采集卡生产厂家,推出了多款高清视频采集卡
高清视频采集卡是目前在高清网络传输、高清视频会议、高清远程教学、高清医疗录像等行业领域中,其中视频采集图像编码是非常重要的一个步骤,直接关系到最重视频效果以及文件大小,现在高清视频采集卡常用的编码有MPEG2-TS、MPEG4、H.264和VC-1这四种算法。
目前市面上的视音频压缩卡采用数字视频处理芯片以及MPEG-4/H.264压缩标准,实现音视频实时编码、视频图像由板卡直接传送到显存。录像时资源占用极小,解码效率高,适用于各种带宽的网络,保证图像传输畅通无阻,广泛应用于图像处理,仪器仪表、工业控制,智能交通、医学影像、多媒体监控,机器视觉、工业监控等领域。
目前市面上绝大多数的视频采集卡都采用的是软压缩模式。其实视频采集卡它的主要功能是将视频源信号传输采集到计算机中,再利用第三方软件进行编码处理。如九视系列高清视频采集卡中,其都能兼容各种Directshow标准开发的视频应用软件,包括微软Amcap、Media Encoder等,这样就能使用用户需求的软件进行操作处理。T200AE高清VGA采集卡,其随卡配有专业的视频录播软件,录制格式包括RMS文件-(H.264,AAC)、RMS文件-(MPEG-4,MP3)、HTML课件(MPEG-4,MP3)等,这样满足了各种行业用户的需求。
音视频流媒体图像编码标准ISO MPEG-4标准
在视频编码压缩中,MPEG-4标准是现在应用非常广泛。MPEG-4于1998年10月定案,在1999年1月成为一个国际性标准,随后为扩展用途又进行了第二版的开发,于2001年有了其第二个版本。MPEG-4的国际标准编号为ISO/IEC14496。MPEG-4的特点是其更适于交互AV服务以及远程监控,是一个有交互性的动态图像标准。
MPEG-4标准构成
1) 多媒体传送整体框架(DMIF):主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题。通过DMIF,MPEG-4可以建立起具有特殊品质服务(QoS)的信道和面向每个基本流的带宽。
2) 数据平面:MPEG-4中的数据平面可以分为传输关系和媒体关系两部分,并引用了对象描述(OD)和流图桌面(SMT)的概念,使基本流和AV对象在同一场景中出现。
3) 缓冲区管理和实时识别:MPEG-4定义了一个系统解码模式(SDM),该解码模式描述了一种理想的处理比特流句法语义的解码装置,它要求特殊的缓冲区和实时模式。通过有效地管理,可以更好地利用有限的缓冲区空间。
4) 视频编码:MPEG-4支持对自然和合成的视觉对象的编码,合成的视觉对象包括2D、3D动画和人面部表情动画等。
5) 音频编码:MPEG-4不仅支持自然声音,而且支持合成声音。它将音频的合成编码和自然声音的编码相结合,并支持音频的对象特征。
6) 场景描述:场景描述主要用于描述各AV对象在具体AV场景下,如何组织与同步等问题,同时还有AV对象与AV场景的知识产权保护等问题。
MPEG-4视频编解码原理
a. 基本思想
MPEG-4编解码的基本思想是基于图像内容的第二代视频编解码方案,并将基于合成的编码方案也结合在标准中。它根据图像的内容将图像分割成不同的视频对象VO(Video Object),在编码过程中对前景对象和后景对象采用不同的编码策略,对于人们所关心的前景对象,则尽可能的保持对象的细节及平滑,而对不大关心的后景对象采用大压缩比的编码策略。
b. 编解码的数据结构
MPEG-4按照如下五个层次组织要编码的图像,从上至下依次为:视频段VS(Video Session)、视频对象VO(Video Object)、视频对象层VOL(Video Object Layer)、视频对象组层GOV(Group of Video Object Plane)、视频对象平面VOP(Video Object Plane)。
在MPEG-4中,VO主要被定义为画面中分割出来的不同物体,每个VO有三类信息来描述:运动信息、形状信息、纹理信息。VO的构成依赖于具体应用和系统实际所处环境,在要求超低比特率的情况下,VO可以是一个矩形帧(即传统MPEG-1中的矩形帧),从而与原来的标准兼容;对于基于内容的表示要求较高的应用来说,VO可能是场景中的某一物体或某一层面,如新闻节目中的解说员的头肩像 ;VO也可能是计算机产生的二维、三维图形等。
c. VOP编码器结构
编码器主要由两部分组成:形状编码和传统的运动纹理编码,其中形状编码是MPEG-4在编码任意形状的VOP时所必须的。
MPEG-4的编解码流程
MPEG-4的编码流程:第一步是VO的形成(VO Formation),先要从原始视频流中分割出VO,之后由编码控制(Coding control)机制为不同的VO以及各个VO的三类信息分配码率,之后各个VO分别独立编码,最后将各个VO的码流复合成一个位流。其中,在编码控制和复合阶段可以加入用户的交互控制或由智能化的算法进行控制。现在的MPEG-4包含了基于网格模型的编码和Sprite技术。在进行图像分析后,先考察每个VO是否符合一个模型,典型的如人头肩像,如是就按模型编码;再考虑背景能否采用Sprite技术,如是则将背景生产一幅大图,为每帧产生一个仿射变换和一个位置信息即可;最后才对其余的VO按上述流程编码。MPEG-4的解码流程则基本上为编码器的反过程,这里不再赘述。
MPEG-4的特点及优势
MPEG-4是做为一个国际化的标准来制定研究的,因而具有很好的兼容性及开放性。MPEG-4是个开放标准,编码系统也是开放的,可随时加入新的有效的算法模块。 MPEG-4提供高压缩比的同时,对数据的损失很小,达到以最小的数据获得最佳的图像质量的目的。因其高质量的数字影像,以及允许内容创建者从MPEG-2质量一直到极低带宽的Internet流式内容全程进行品质和带宽的均衡,而被全世界的无线、电脑及娱乐公司广泛采用。MPEG专家组成立了MPEG4工作组,以促进上述三个领域的集成。1999年初,定义标准框架的MPEG4(第一版)成为国际标准(ISO/IEC 14496-1),提供多种算法和工具的第二版已于1999年底成为国际标准(ISO/IEC 14496-2)。
MPEG编码方式MPEG-4的主要应用场合
从目前的情况看,MPEG-4主要被用于三个领域:数字电视、交互式的图形应用(包括内容上的合成技术)、交互式多媒体领域等。
现在大多应用MPEG编码方式中的MPEG4,其主要用于低带宽应用和交互式图形应用(游戏等合成内容)、交互式多媒体( W W W 等内容分发和访问技术)应用, 目前最新的音视频流媒体图像编码标准主要面向高清晰度和高质量数字电视广播、网络电视、数字存储媒体和其他相关应用。
MPEG-4与前面提到的JPEG、MPEG-1/2有很大的不同,它为多媒体数据压缩编码提供了更为广阔的平台,它定义的是一种格式、一种框架,而不是具体算法,它希望建立一种更自由的通信与开发环境。于是MPEG-4新的目标就是定义为:支持多种多媒体的应用,特别是多媒体信息基于内容的检索和访问,可根据不同的应用需求,现场配置解码器。应用范围包括实时视听通信、多媒体通信、远地监测/监视、VOD、家庭购物/娱乐等。
对于现在高清行业的高速普及,流媒体的广泛应用,视频编码处理技术变得尤为重要,直接关系到视频行业的发展方向。九视作为专业高清视频采集卡生产厂家,推出了多款高清视频采集卡,并且其都支持标准的Directshow进行开发可以在各种流媒体软件中直接应用。