数字电视码流基础.ppt

数字电视码流基础,数字电视码流都是以二进制信号的形式来表示的，因此他和其他的数字信号并没有什么明显的不同，在传输的时候，完全可以把它当作普通的数据来处理，也可以当作普通的文件来存储，并且可以方便地采用计算机来进行处理。,MPEG-2中的码流 MPEG-2的结构可分为压缩层和系统层。一路节目的视频、 音频及其它辅助数据经过数字化后，通过压缩层完成信源压缩编码， 分别形成视频的基本流ES (Elementary Stream)、音频的基本流和其它辅助数据的基本流。 紧接着， 系统层将不同的基本流分别加包头打包（分组）为PES(Packetized ES， 打包基本流)包。 PES又称为分组基本码流。 然后，多个PES被复接成一个节目码流(PS)和一个传输码流(TS),数字电视码流的多个层次： ES：基本码流 PES： 打包的基本码流 PS : 节目流 TS：传输流,MPEG-2中的码流层次,视频ES1,音频ES1,数据流1,视频ES2,音频ES2,数据流2,打包,打包,打包,打包,视频PES1,音频PES1,视频PES2,音频PES2,节 目 复 用,PS流1,传 输 复 用,TS流,基本码流 视频信号压缩到1Mbit/s(MPEG-1)和26Mbit/s(MPEG-2) 音频信号压缩到100400kbit/s 压缩后的视音频信号称作ES(elementary stream)流，包括： 视频流 音频流 数据流任何类型的压缩或未压缩数据 一路节目的视频、 音频及其它辅助数据经过数字化后，通过压缩层完成信源压缩编码， 分别形成视频的基本流ES (Elementary Stream)、音频的基本流和其它辅助数据的基本流。,基本码流是由编码器输出的原始基础码流，它只含有解码器所必需的、并与原始图象或原始音频相接近的信息。 ES的结构和内容根据各种数据的编码格式而不同,PES流 压缩后所有ES流被打成不同长度的包，叫做PES(packetized elementary streams)。 根据不同时刻视音频内容的不同，压缩比也时刻变化，就需要有不同长度的数据包。 每个视频包有一个或几个压缩视频帧 每个音频包有一个或多个压缩音频信号段,所有ES流首先被打包成不同长度的PES包，通常为64kbytes。 开头为6byte的PES头： 前3个byte是起始码前缀00 00 01，用于表明一个PES包的开始。 第4个byte是起始码标志，说明起始码种类，表明payload中是视频、音频还是数据流。 后两个byte是包长度，说明后面还有多少字节。如果长度为0，表示PES包大于64kbytes。 然后是可选PES头 最后是实际传送ES流的净负荷数据(payload),可选PES头： PES头的可选扩展，根据当前传送ES流的要求设置。 由12个比特的11个标志来控制可选PES头中包含哪些字段，其中有PTS(presentation time stamps)和DTS(decoding time stamps)，这对视/音频同步非常重要。 最后可能有填充字节。,例： 解码器输入的图像帧次序为I1P4B2B3P7B5B6I10B8B9 编码前视频帧次序I1B2B3P4B5B6P7B8B9I10 PTS/DTS标志表明对确定事件或确定信息解码的专用时标的存在，依靠专用时标解码器，可知道该确定事件或确定信息开始解码或显示的时刻。,由于MPEG 只定义了传输流，而没有对编码器作出规定，设计者可以选择构建一个将基本码流转换为传输流的多路复用器。在这种情况下，PES包就不再以可识别的形式存在，而是以逻辑形式存在于传输流的有效载荷中。,节目码流 将具有共同时间基准的一个或多个PES组合（复合）而成的单一的数据流称为节目流（Program Stream）。,I、B、P帧经过压缩编码后，各帧有不同的字节数； 输入输出顺序可能不一致（如输入解码器的压缩编码图像的帧顺序为I1P4B2B3P7B5B6I10B8B9 ，则其中的P4、I10帧，需要经过重新排序缓存器延迟后，才能重建编码输入图像的帧顺序I1B2B3P4B5B6P7B8B9I10；） 视频ES与音频ES是以前后不同的视频与音频的比例交错传送的。 以上3条均不利于视音频同步。所以，为解决同步问题，提出在统一系统时钟（SSTC-Single System Time Clock）条件下，在PS包头插入时间标志SCR的方法。,PS的形成分两步完成： 其一是将视频ES、音频ES、其他ES分别打包成视频PES包、 音频PES包、其他PES包：使每个PES包内只能存在1种性质的ES；每个PES包的第一个AU的包头可包含PTS和DTS；每个PES包的包头都有用于区别不同性质ES的数据流识别码。这一切，使解复用和不同ES之间同步重放成为可能。 其二是通过PS复用器将PES包复用成PS包，即将每个PES包再细分为更小的PS包。PS包头含有从数字存储媒介（DSM-Digital storage Medium）进入系统解码器各个字节的解码专用时标，即预定到达时间表，它是时钟调整和缓存器管理的参数。,PS包长度比较长且可变，适用于无误码环境，适合于节目信息的软件处理及交互多媒体应用。但是，PS包越长，同步越困难；在丢包时数据的重新组成，也越困难。因此PS用于存储（磁盘、磁带等）、演播室CD-I、MPEG-1数据流。,传输流 TS 将具有共同时间基准或具有独立时间基准的一个或多个PES组合而成的单一的数据流称为传输流（Transport Stream）。 传输流是许多种PES包的多路复用。,header包含了对包传输过程非常重要的信息： 同步字节:固定值47hex，在TS流中的间隔也固定。码流中其他位置也 可能出现47hex，因此同步字节利用固定数值和固定间隔两方面联合实现同步。解码器在接收到5个TS包后开始同步。 同步字节是作为解码器识别用的，从而可对包头和有效载荷进行串并转换 传输差错标志:由解调器在传输信道末端设置, 在传输层之上的错误校正层中，如果原始误码率(BER)太高而无法校正时，通过它的设置可以指示传输流包中可能含有错误 13bit的PID(packet identifier):描述该包中payload的内容以及该包属于哪个ES流。,有时TS包的头长度必须大于4个byte： 包头扩展到payload中，payload长度相应缩短，但总包长度仍是188bytes。 扩展的包头称作“adaptation field”。 在4bytes的包头中由Adaptation control bits标志是否有adaptation field。,除了同步字节、传输误码标识和PID以外，TS头还包括： Payload Unit Start Indicator 一个比特来标记一个payload的开始 如果该比特为1，表示该TS包是一个新payload的开始，该TS包包含了视频或音频PES包和PES头的开始，或者是表的开始，此时TS包的payload第一个字节为table ID。 Transport Priority 一个比特，表示该TS包比其他相同PID的TS包的优先级更高。,除了同步字节、传输误码标识和PID以外，TS头还包括： Transport Scrambing Control Bits 两个比特，标记TS包的payload部分是否被混杂。 如果两个比特都为0，表示payload没有混杂。 如果其中有一个比特不为0，表示payload进行了混杂，需要CAT来解扰。 Adaptation Field Control Bits 两个比特，标记是否有扩展头adaptation field 如果两个比特都为0，表示没有adaptation field 如果有adaptation field，payload变短，头变长，但总包长度保持188字节。 Continuity Counter 每个具有相同PID的TS包带有自身的4bit计数器。 从0到15连续计数TS包数目，到15以后重新从0开始。 可以发现丢失TS包的情况，并识别码流错误（计数不连续）。 允许在改变节目时出现不连续计数，由adaptation field中的Discontinuity Indicator来标记。,在节目流中，由于音频和视频均锁定于一个公共时钟，因此可利用其时间标记以重建时间轴。 传输流携带有许多不同的节目，每个节目都可以使用不同的压缩因子并具有不同的比特率。 在传输流中就必须含有重建稳定时钟的附加数据。 传输流必须为每个节目提供各自独立的同步。,对TS包再进行复用： 先复用同一个节目的TS包，一个节目可包含一个或多个视频和音频信号（如不同角度摄像机、不同语言等）。 所有节目的所有复用数据流再进行复用形成最终的TS流。 MPEG-1，视频PES包与音频PES包复用，最大码率为1.5Mbit/s，用于VCD。,MPEG-2的TS包长188字节，包含所有节目的所有数据。 由于码率不同，MPEG-2 TS流中不同ES流的包出现频率不一样。 每个节目有一个编码器对所有ES流编码，产生PES，并将PES包打包成TS包。 每个节目的码率通常约28Mbit/s，但由于节目内容随时间变化，视/音频和数据总码率可以是固定或变化的，称为统计复用。 所有节目的TS流再复用成一个总的TS流，最大约40Mbit/s。,一个TS流中通常有6,8,10甚至20个节目组成。 码率在传输过程中可变，但总码率必须保持不变。 一个节目可以包括视频和音频，或单纯音频或单纯数据，结构灵活可变。 TS流中包含一些“表”来描述组成结构，解码器可以利用这些表来确定TS流的当前结构。,两种比特流的区别： 节目码流（PS）用于误码比较小的传输或存贮媒介，节目码流可以是固定码率也可以是可变码率，其数值在系统时钟参考(SCR)中定义，为本地应用相对于无误码的环境设计； 传输码流（TS）用于误码比较大的传输或存贮媒介，其码率可以是固定的或不固定的，其数值在节目时钟参考(PCR)中定义。它是为广播应用而设计，即TS是为易误码的环境和有较高比特差错概率的噪声媒质设计的，那里往往需要把几个信道集合成一束数据。TS用在广播系统和长距离网络中。在TS中可以包括多个节目。因此接收TS时首先要解复用。 PS和TS是各针对一类应用而设计的。都以数据包为基础。PS的包长可变，通常较长；TS的包长固定为188字节，包头4个字节，184个净荷字节。并可与ATM适配。,码流的逻辑结构 模拟电视:每个频道对应一套节目，区分频率 数字电视；多套节目被复用到一个流中，每套节目只占流中的部分包，一个物理频道只能给出包含多套节目的传输流，区分：解出对应一套节目的视频及音频传输包。并解码 为了管理数字电视的码流，要为不同数据来源的TS包引入一些特殊TS数据包来确定各PES数据包间的关系，也即服务信息数据,逻辑结构的描述方法 1、表 2、节 3、描述子,接收端所需信息,A、TS流同步 MPEG-2解码器接收到MPEG-2 TS流时，首先检测包结构，在TS流中查找同步字节： 总是47hex，总位于TS包开始位置，固定间隔为188字节。同时满足这两个条件，可以确定同步。 如果出现一个字节为47hex，解码器将检测这个字节前后n倍188字节的位置是否也是同步字节。 如果是，则当前字节为同步字节； 否则，当前字节只是码流中偶尔出现的47hex，不是同步字节。 接收端收到5个TS包之后开始同步。 丢包3个之后解码器即失步。,B、读取当前节目结构 TS流中传送节目的数目和结构灵活多变，TS流中必须包含列表来描述TS流的瞬时结构。 这些列表称为PSI(program specific information),是偶尔在payload中传输的表格，包括: PAT(program association table) PMT(program map tables),MPEG2 中的PSI表 PSI 承载于含特定PID 的数据包之中。 PSI包在传输流解复用中占据重要地位，它通过四个表格来定义码流的结构： 节目关联表(PAT) 节目映射表(PMT) 条件接收表(CAT) 网络信息表(NIT) 其中最为关键的部分是PAT表和PMT表。,1、节目关联表 PAT PAT 包含了多路节目复接有关的控制信息。 节目关联表(PAT)数据包(PID=0)中列出了传输流中存在的节目流，PAT 指定了所有节目映像表(PMT)数据包的PID 每个TS流一个，每隔0.5秒重复。 描述TS流中有多少个节目。 包含该表的TS包的PID为0，便于识别。 PAT的payload中传送特殊PID的列表，每个PID对应一个节目。 这些PID是描述每个独立节目详细信息的指针。 PID指向PMT表。,传输流中的节目都列在节目关联表（PAT）数据包（PID0)中， 它含有每个PMT 包的PID。PAT 中的第一项是节目0，是为网络 数据而保留的，它含有网络信息表（NIT）包的PID。NIT 的使用 在MPEG-2 是可选项，但在DVB 中则是必须的,2、节目映射表PMT PMT表包含了与单路节目复接有关的控制息。 某一套节目的PMT丢失，将导致解码器找不到该套节目视/音频数据，使得接收端收不到图像或声音。PMT传输超时，将影响解码器切换节目时间。 对应TS包有特殊的PID和特殊的payload。 PMT的PID由PAT传送。 例如要接收节目3时，先从PAT的payload中的所有PID列表中选出节目3的PID为1FF3hex，然后查找包头中PID= 1FF3hex的TS包，就是节目3的PMT。 PMT包含该节目中所有ES流（视频、音频或数据）的PID。,一个节目可能有多个视频和音频流，解码器必须选择2个PID，一个视 频流的PID（100hex），一个音频流的PID（200hex）。 此后解码器只收集这些TS包，解复用，重新组成PES包，这些PES包再送到视频或音频解码器。 传输过程中TS流的结构也可能发生改变。解码端机顶盒， 如DVB-S，必须连续检测TS流瞬时结构，读出PAT和PMT，做自适应调整。 某一套节目的PMT丢失，将导致解码器找不到该套节目视/音频数据，使得接收端收不到图像或声音。PMT传输超时，将影响解码器切换节目时间。,C、读取一个节目 PAT和PMT读出以后，用户确定出一个节目的两个PID： 待解码视频信号的PID（如100hex） 待解码音频信号的PID（如200hex） 解码器只处理这两个PID的TS包： 解复用过程中，PID为100hex的所有TS包集合成视频PES包，送到视频解码器。 同样，PID为200hex的所有TS包重新集合成音频PES包，送到音频解码器。 如果ES流没有加扰，这时可以直接解码。,D、读取一个加扰节目 对付费电视或许可证和地域限制等情况，ES流利用电子码进行 传输保护。 ES流利用各种方法进行混扰，接收端必须配有附加硬件并授权。 附加硬件必须有TS流中合适的解扰和授权数据。 因此TS流中传送一个特殊的表CAT(conditional access table),3、条件接收表CAT(Conditional Access Table)： 提供了在复用流中条件接收系统的有关信息，指定CA系统与它们相应的授权管理信息（EMM)）之间的联系，指定EMM的PID，以及相关的参数。 CAT提供了TS流其他数据包的PID，该数据包传送了解扰所需信息： ECM(entitlement control message) 用于传送加扰码 EMM(entitlement management message) 用于用户管理,只有ES流本身可以加扰，TS包头、表格和adaptation field不能加扰。 解扰本身在MPEG解码器以外的附加硬件设备进行，附加硬件与解扰方法相关，可以做成智能板卡通过CI(common interface)插入机顶盒。 在MPEG解码器做进一步处理之前，TS流在该硬件设备中循环。 ECM和EMM的信息，以及用户的个人码可以将码流解扰。,4、网络信息表NIT(Network Information Table)： 给出物理传输网络的有关 信息。 它有Actual和Other之分， 表示当前值和其它值。 描述了一个DVB传输通道的所有物理参数，包括下列信息： 传输路径（卫星、电缆、地面） 接收频率 调制类型 误码保护 传输参数 机顶盒在扫描或变换信道时，可以存储一个物理信道的所有参数，便于以后很快跳回该信道。 信道中也可以传送相邻或其他信道的传输参数，使得信道转换灵活快捷。 如果NIT中的传输参数与实际不符，会对许多接收设备，如机顶盒，产生不可预知的影响。 如果NIT中的传输频率与实际接收频率不同，许多接收设备在没有任何原因提示的情况下，不产生任何图像和声音。,DVB中的服务信息 DVB还在TS流中定义了许多辅助信息，称为业务 信息SI(Service Information)， 以便于选择节目，了解与节目相关的一些信息， 提供节目之间的相互关系以及携带特定的数据。DVB在MPEG-2的节目特定信息PSI的基础上，补充规定了一系列SI表格， 并规定了一些表格的PID值。,1、 SDT包含对TS流中节目（服务）的更多详细描述,通过提供文本 列表，使得接收设备操作灵活。 2、业务描述表（SDT）：它包含 了描述系统中业务的数据， ： 节目名称，起始时间、持续时间等。,2、BAT BAT，与SDT密切相关： BAT与SDT的PID相同，只是table ID不同。 SDT描述一个物理信道的节目结构。 BAT描述几个或大量物理信道的节目结构。,BAT即一个多信道节目表: 提供一组信道所有服务的总体描述。 如果一个信道不足以传送所有节目，节目提供商可以利用一组信道。 一些卫星或电缆DVB信道集合成一组信道。 相应BAT在所有信道中传送，以便在该组信道内进行灵活的节目切换。,如同花瓶中的一束花，每朵花相应于一个物理信道。 例如一组8MHz带宽的电视信道，中心频率为330MHz，338MHz，346MHz，354MHz和362MHz。每个信道能包含6个节目。 每朵花有各自特性：颜色、花瓣数、花的类型等。 每个信道的节目由SDT描述，如同每朵花。,3、EIT(event information table) 即DVB中的EPG(electronic program guide)表 包含一天或一周内所有广播的计划开始和结束时间。 结构非常灵活，允许传送大量附加信息 不是所有机顶盒都支持这一特性 4、RST(running status table) 广播的计划开始和结束时间常常会发生变化和延迟 为在某时刻启动和停止一个视频录像机，由RST传送相关控制信息。 RST可以与模拟电视信号中数据线的VPS信号相比。,5、时间和日期表（TDT） 6、时间偏移表（TOT） 机顶盒操作还需要传输当前时钟和当前日期，分两步： TDT(time&date table) 传送GMT或UTC 即零度子午线的当前时刻 TOT(time offset table) 传送不同时区各自适当的时间偏移量 TDT和TOT中的信息如何计算以及计算到什么程度，取决于机顶盒的软件 对广播时间信息的完全支持还需要机顶盒得到当前的位置信息： 对拥有多个时区的国家，如澳大利亚和美国，这个问题尤其重要。,7、ST填充表(stuffing table) 用于覆盖TS流中的信息。 有时需要取消TS流中的一些表。 CATV终端站接收到一个DVB-S信号以后，NIT必须进行交换或覆盖；或者为中继信号，必须取消某些节目。 8、选择信息表（SIT）：它仅用于码流片段中，如记录一段码流，它包含了描述该码流片段业务信息间段的地方。 9、间断信息表（DIT）：它仅用于码流片段，如记录的一段码流中，它将插入到码流片段业务信息间断的地方。,TS流的逻辑结构,实际解码时还需要另外的同步步骤： 接收端时钟和发送端时钟同步 视音频同步,码流的时间信息 为什么需要同步？ 时间信息中的基本概念 系统时钟 节目时钟参考信息和系统时钟参考信息 解码时间戳和显示时间戳 码率信息 缓冲机制,时间信息中的基本概念 1、系统时钟 接收端时钟和发送端时钟同步 亮度信号采样频率13.5MHz，色度信号6.75MHz。27MHz是采样频率的倍数，作为发送端MPEG编码器所有处理过程的参考或基本频率。 编码器中27MHz振荡器作为系统时钟(STC)的输入。 STC是42bit计数器，由27MHz时钟计数，溢出后重新从0开始。 LSB位不会计数到FFF，最大只有300，大约每26.5小时计数器复位为0。 接收端也必须提供STC，其27MHz振荡器和42bit计数器必须与编码器STC完全同步。,视频和音频PES包头中需要有附加的时间信息。 该时间信息由STC获得。 STC的33位MSB(最高有效字符)被插入到视音频PES包头中，最大间隔为700ms，称为PTS(presentation time stamps) 由于编码规则限制，视频帧的传输顺序与显示顺序不同，视频流PES头需要另外的时间戳，即DTS(decoding time stamps) 机顶盒中的MPEG-2解码器就可以对一个节目的视音频码流进行解码，产生模拟或数字的视音频信号。,2、节目时钟参考信息和系统时钟参考信息 传输流的工作过程 传输流将PES 数据转换为更小的数据包，这些数据包具有固定的大小(必要时可使用填充比特)。当这些数据包到达解码器时，有可能出现定时抖动。此外时分复用也会造成时间的延迟，可以利用时间标记来解决这一问题，但前提是要有稳定的时钟。 因此，在传输流中就必须含有重建稳定时钟的附加数据。,在长距离传输应用中，对不同时钟进行分配则是不可行的。 在传输流中，不同的节目也许来自于不同的地方，它们之间也不 需要同步。因此，传输流必须为每个节目提供各自独立的同步。这种 同步方法称为PCR 用以指示一个特定的存取单元在时间轴上应处于什么位置。,PCR_Base(i)=系统时钟频率t(i)DIV300%2 PCR_Ext(i)=系统时钟频率t(i)DIV1%300 PCR(i)=PCR_Base(i)300+PCRExt(i) PCR-Base是由27MHz脉冲经300分频后的90kHz脉冲触发计数器，再对计数器状态进行取样得到的。PCR-Ext是由27MHz脉冲直接触发计数器，再对计数器状态进行取样得到的。,PCR的物理意义 1.PCR 仅仅在实时播出流中才有意义 2.前端编码器工作原理：编码器中有一个27M的时钟，编码过程中不断读取硬件时钟放入TS中PCR字段，和PES的PTS，DTS字段。 3.后端机顶盒工作原理：机顶盒中也有一个27M的时钟，它根据PES中的PTS，DTS字段中指示的时间进行解码和显示。 那么TS中的PCR还有什么用呢？,3、解码时间戳和显示时间戳 DTS是编码器在编码时定义的，为解码器预定的解码时间。 针对视频的显示，Mpeg还提出了一个视频PTS。针对音频和视频的同步显示，又提出了一个音频PTS。由于声音没有用到双向预测，它的解码次序就是它的显示次序，故对它只提出PTS的概念。 PTS是编码器定义的，为解码器规定某个单元的显示时间。 PCR、DTS、PTS应该具有相同的时间起点,4、码率信息 码率是码流数据量和所用时间的比值，单位是b/s或B/s。一个码流的码率大小决定了它在传输时所需要的带宽资源，所以它是码流的主要参数之一。码率保持恒定不变的码流被称为定码率码流；反之，若码率变化不定，则被称为变码率码流。 5、缓冲机制 收发端的缓冲机制都是为了保持缓冲器不上溢和不下溢,DTS/PTS的管理 在PCR域的33 bits中的90 kHz部分（即PCR-Base域）用于与PTS和DTS作比较，当二者相同时，相应的单元被显示或者解码。 每当解复用器解到一个PTS/DTS时，PTS/DTS就作为其后送入各个基本流解码器的输入缓冲器中的数据的显示/解码时间，但此时送入信道缓冲器中的基本流并不一定立即被解码，因此基本流解码器必须记录当前这个PTS/DTS及所对应的码流位置，以利于后面的解码和显示同步。,PTS/DTS同步实现和失步处理 （1）若当前的PTS/DTS比PCR计数器的值小于半帧以上 （2）若当前的PTS/DTS比PCR计数器的值在半帧时间以内 （3）若当前的PTS/DTS大于PCR计数器的值,以音频为基准的视音频间同步方法 人耳的敏感程度比眼睛高，因此播放时，必须首先保证声音的正常播放。并根据声音的播放情况，不断调整图象的输出内容。 具体过程： PTS在STC一帧图象输出时间内播放 PTS在STC之前丢弃 PTS在STC之后重复上一帧图像，并在下次继续考察该帧,码流复用 模拟电 视系统中，多路模拟信号是用频分复用 FDM 方式 数字电视中 的多路 ES 流的复合和多路节目传送流的复合均 是采用数字通信系统中的时分复用 TDM 方式 码流复用的基本功能 对音频、视频、数据、控制等的基本流进行系统复用。 提供用于恢复时间基准的时间标志，缓冲器初始化和管理，音频和视频的DTS、PTS。 为解码器提供节目专用信息，使它能够找到所需节目。 为误差恢复、有条件接入、随机接入、数字存储控制提供支持。,节目复用与传输复用,第一层的节目复用，有共同的时间基准，第二层的传输复用可以有独立的时间基准。,传输复用的特征： 允许单路数字电视节目可由任意组合的 ES 码 流构成 允许对多路节目进行灵活地复接 传输码流复用的最大优点是能够适用于不同构成的传送流，