数字电视码流基础

1、数字电视码流基础,数字电视码流都是以二进制信号的形式来表示的，因此他和其他的数字信号并没有什么明显的不同，在传输的时候，完全可以把它当作普通的数据来处理，也可以当作普通的文件来存储，并且可以方便地采用计算机来进行处理。,MPEG-2中的码流MPEG-2的结构可分为压缩层和系统层。一路节目的视频、音频及其它辅助数据经过数字化后，通过压缩层完成信源压缩编码，分别形成视频的基本流ES(ElementaryStream)、音频的基本流和其它辅助数据的基本流。紧接着，系统层将不同的基本流分别加包头打包（分组）为PES(PacketizedES，打包基本流)包。PES又称为分组基本码流。然后，多个PES被

2、复接成一个节目码流(PS)和一个传输码流(TS),数字电视码流的多个层次：ES：基本码流PES：打包的基本码流PS:节目流TS：传输流,MPEG-2中的码流层次,视频ES1,音频ES1,数据流1,视频ES2,音频ES2,数据流2,打包,打包,打包,打包,视频PES1,音频PES1,视频PES2,音频PES2,节目复用,PS流1,传输复用,TS流,基本码流视频信号压缩到1Mbit/s(MPEG-1)和26Mbit/s(MPEG-2)音频信号压缩到100400kbit/s压缩后的视音频信号称作ES(elementarystream)流，包括：视频流音频流数据流任何类型的压缩或未压缩数据一路节目的视

3、频、音频及其它辅助数据经过数字化后，通过压缩层完成信源压缩编码，分别形成视频的基本流ES(ElementaryStream)、音频的基本流和其它辅助数据的基本流。,基本码流是由编码器输出的原始基础码流，它只含有解码器所必需的、并与原始图象或原始音频相接近的信息。ES的结构和内容根据各种数据的编码格式而不同,PES流压缩后所有ES流被打成不同长度的包，叫做PES(packetizedelementarystreams)。根据不同时刻视音频内容的不同，压缩比也时刻变化，就需要有不同长度的数据包。每个视频包有一个或几个压缩视频帧每个音频包有一个或多个压缩音频信号段,所有ES流首先被打包成不同长度的P

4、ES包，通常为64kbytes。开头为6byte的PES头：前3个byte是起始码前缀000001，用于表明一个PES包的开始。第4个byte是起始码标志，说明起始码种类，表明payload中是视频、音频还是数据流。后两个byte是包长度，说明后面还有多少字节。如果长度为0，表示PES包大于64kbytes。然后是可选PES头最后是实际传送ES流的净负荷数据(payload),可选PES头：PES头的可选扩展，根据当前传送ES流的要求设置。由12个比特的11个标志来控制可选PES头中包含哪些字段，其中有PTS(presentationtimestamps)和DTS(decodingtimest

5、amps)，这对视/音频同步非常重要。最后可能有填充字节。,例：解码器输入的图像帧次序为I1P4B2B3P7B5B6I10B8B9编码前视频帧次序I1B2B3P4B5B6P7B8B9I10PTS/DTS标志表明对确定事件或确定信息解码的专用时标的存在，依靠专用时标解码器，可知道该确定事件或确定信息开始解码或显示的时刻。,由于MPEG只定义了传输流，而没有对编码器作出规定，设计者可以选择构建一个将基本码流转换为传输流的多路复用器。在这种情况下，PES包就不再以可识别的形式存在，而是以逻辑形式存在于传输流的有效载荷中。,节目码流将具有共同时间基准的一个或多个PES组合（复合）而成的单一的数据流称为

6、节目流（ProgramStream）。,I、B、P帧经过压缩编码后，各帧有不同的字节数；输入输出顺序可能不一致（如输入解码器的压缩编码图像的帧顺序为I1P4B2B3P7B5B6I10B8B9，则其中的P4、I10帧，需要经过重新排序缓存器延迟后，才能重建编码输入图像的帧顺序I1B2B3P4B5B6P7B8B9I10；）视频ES与音频ES是以前后不同的视频与音频的比例交错传送的。以上3条均不利于视音频同步。所以，为解决同步问题，提出在统一系统时钟（SSTC-SingleSystemTimeClock）条件下，在PS包头插入时间标志SCR的方法。,PS的形成分两步完成：其一是将视频ES、音频ES、

7、其他ES分别打包成视频PES包、音频PES包、其他PES包：使每个PES包内只能存在1种性质的ES；每个PES包的第一个AU的包头可包含PTS和DTS；每个PES包的包头都有用于区别不同性质ES的数据流识别码。这一切，使解复用和不同ES之间同步重放成为可能。其二是通过PS复用器将PES包复用成PS包，即将每个PES包再细分为更小的PS包。PS包头含有从数字存储媒介（DSM-DigitalstorageMedium）进入系统解码器各个字节的解码专用时标，即预定到达时间表，它是时钟调整和缓存器管理的参数。,PS包长度比较长且可变，适用于无误码环境，适合于节目信息的软件处理及交互多媒体应用。但是，P

8、S包越长，同步越困难；在丢包时数据的重新组成，也越困难。因此PS用于存储（磁盘、磁带等）、演播室CD-I、MPEG-1数据流。,传输流TS将具有共同时间基准或具有独立时间基准的一个或多个PES组合而成的单一的数据流称为传输流（TransportStream）。传输流是许多种PES包的多路复用。,header包含了对包传输过程非常重要的信息：同步字节:固定值47hex，在TS流中的间隔也固定。码流中其他位置也可能出现47hex，因此同步字节利用固定数值和固定间隔两方面联合实现同步。解码器在接收到5个TS包后开始同步。同步字节是作为解码器识别用的，从而可对包头和有效载荷进行串并转换传输差错标志:由

9、解调器在传输信道末端设置,在传输层之上的错误校正层中，如果原始误码率(BER)太高而无法校正时，通过它的设置可以指示传输流包中可能含有错误13bit的PID(packetidentifier):描述该包中payload的内容以及该包属于哪个ES流。,有时TS包的头长度必须大于4个byte：包头扩展到payload中，payload长度相应缩短，但总包长度仍是188bytes。扩展的包头称作“adaptationfield”。在4bytes的包头中由Adaptationcontrolbits标志是否有adaptationfield。,除了同步字节、传输误码标识和PID以外，TS头还包括：Payl

10、oadUnitStartIndicator一个比特来标记一个payload的开始如果该比特为1，表示该TS包是一个新payload的开始，该TS包包含了视频或音频PES包和PES头的开始，或者是表的开始，此时TS包的payload第一个字节为tableID。TransportPriority一个比特，表示该TS包比其他相同PID的TS包的优先级更高。,除了同步字节、传输误码标识和PID以外，TS头还包括：TransportScrambingControlBits两个比特，标记TS包的payload部分是否被混杂。如果两个比特都为0，表示payload没有混杂。如果其中有一个比特不为0，表示pa

11、yload进行了混杂，需要CAT来解扰。AdaptationFieldControlBits两个比特，标记是否有扩展头adaptationfield如果两个比特都为0，表示没有adaptationfield如果有adaptationfield，payload变短，头变长，但总包长度保持188字节。ContinuityCounter每个具有相同PID的TS包带有自身的4bit计数器。从0到15连续计数TS包数目，到15以后重新从0开始。可以发现丢失TS包的情况，并识别码流错误（计数不连续）。允许在改变节目时出现不连续计数，由adaptationfield中的DiscontinuityIndica

12、tor来标记。,在节目流中，由于音频和视频均锁定于一个公共时钟，因此可利用其时间标记以重建时间轴。传输流携带有许多不同的节目，每个节目都可以使用不同的压缩因子并具有不同的比特率。在传输流中就必须含有重建稳定时钟的附加数据。传输流必须为每个节目提供各自独立的同步。,对TS包再进行复用：先复用同一个节目的TS包，一个节目可包含一个或多个视频和音频信号（如不同角度摄像机、不同语言等）。所有节目的所有复用数据流再进行复用形成最终的TS流。MPEG-1，视频PES包与音频PES包复用，最大码率为1.5Mbit/s，用于VCD。,MPEG-2的TS包长188字节，包含所有节目的所有数据。由于码率不同，MP

13、EG-2TS流中不同ES流的包出现频率不一样。每个节目有一个编码器对所有ES流编码，产生PES，并将PES包打包成TS包。每个节目的码率通常约28Mbit/s，但由于节目内容随时间变化，视/音频和数据总码率可以是固定或变化的，称为统计复用。所有节目的TS流再复用成一个总的TS流，最大约40Mbit/s。,一个TS流中通常有6,8,10甚至20个节目组成。码率在传输过程中可变，但总码率必须保持不变。一个节目可以包括视频和音频，或单纯音频或单纯数据，结构灵活可变。TS流中包含一些“表”来描述组成结构，解码器可以利用这些表来确定TS流的当前结构。,两种比特流的区别：节目码流（PS）用于误码比较小的传

14、输或存贮媒介，节目码流可以是固定码率也可以是可变码率，其数值在系统时钟参考(SCR)中定义，为本地应用相对于无误码的环境设计；传输码流（TS）用于误码比较大的传输或存贮媒介，其码率可以是固定的或不固定的，其数值在节目时钟参考(PCR)中定义。它是为广播应用而设计，即TS是为易误码的环境和有较高比特差错概率的噪声媒质设计的，那里往往需要把几个信道集合成一束数据。TS用在广播系统和长距离网络中。在TS中可以包括多个节目。因此接收TS时首先要解复用。PS和TS是各针对一类应用而设计的。都以数据包为基础。PS的包长可变，通常较长；TS的包长固定为188字节，包头4个字节，184个净荷字节。并可与ATM

15、适配。,码流的逻辑结构模拟电视:每个频道对应一套节目，区分频率数字电视；多套节目被复用到一个流中，每套节目只占流中的部分包，一个物理频道只能给出包含多套节目的传输流，区分：解出对应一套节目的视频及音频传输包。并解码为了管理数字电视的码流，要为不同数据来源的TS包引入一些特殊TS数据包来确定各PES数据包间的关系，也即服务信息数据,逻辑结构的描述方法1、表2、节3、描述子,接收端所需信息,A、TS流同步MPEG-2解码器接收到MPEG-2TS流时，首先检测包结构，在TS流中查找同步字节：总是47hex，总位于TS包开始位置，固定间隔为188字节。同时满足这两个条件，可以确定同步。如果出现一个字节

16、为47hex，解码器将检测这个字节前后n倍188字节的位置是否也是同步字节。如果是，则当前字节为同步字节；否则，当前字节只是码流中偶尔出现的47hex，不是同步字节。接收端收到5个TS包之后开始同步。丢包3个之后解码器即失步。,B、读取当前节目结构TS流中传送节目的数目和结构灵活多变，TS流中必须包含列表来描述TS流的瞬时结构。这些列表称为PSI(programspecificinformation),是偶尔在payload中传输的表格，包括:PAT(programassociationtable)PMT(programmaptables),MPEG2中的PSI表PSI承载于含特定PID的数据

17、包之中。PSI包在传输流解复用中占据重要地位，它通过四个表格来定义码流的结构：节目关联表(PAT)节目映射表(PMT)条件接收表(CAT)网络信息表(NIT)其中最为关键的部分是PAT表和PMT表。,1、节目关联表PATPAT包含了多路节目复接有关的控制信息。节目关联表(PAT)数据包(PID=0)中列出了传输流中存在的节目流，PAT指定了所有节目映像表(PMT)数据包的PID每个TS流一个，每隔0.5秒重复。描述TS流中有多少个节目。包含该表的TS包的PID为0，便于识别。PAT的payload中传送特殊PID的列表，每个PID对应一个节目。这些PID是描述每个独立节目详细信息的指针。PID

18、指向PMT表。,传输流中的节目都列在节目关联表（PAT）数据包（PID0)中，它含有每个PMT包的PID。PAT中的第一项是节目0，是为网络数据而保留的，它含有网络信息表（NIT）包的PID。NIT的使用在MPEG-2是可选项，但在DVB中则是必须的,2、节目映射表PMTPMT表包含了与单路节目复接有关的控制息。某一套节目的PMT丢失，将导致解码器找不到该套节目视/音频数据，使得接收端收不到图像或声音。PMT传输超时，将影响解码器切换节目时间。对应TS包有特殊的PID和特殊的payload。PMT的PID由PAT传送。例如要接收节目3时，先从PAT的payload中的所有PID列表中选出节目3

19、的PID为1FF3hex，然后查找包头中PID=1FF3hex的TS包，就是节目3的PMT。PMT包含该节目中所有ES流（视频、音频或数据）的PID。,一个节目可能有多个视频和音频流，解码器必须选择2个PID，一个视频流的PID（100hex），一个音频流的PID（200hex）。此后解码器只收集这些TS包，解复用，重新组成PES包，这些PES包再送到视频或音频解码器。传输过程中TS流的结构也可能发生改变。解码端机顶盒，如DVB-S，必须连续检测TS流瞬时结构，读出PAT和PMT，做自适应调整。某一套节目的PMT丢失，将导致解码器找不到该套节目视/音频数据，使得接收端收不到图像或声音。PMT传

20、输超时，将影响解码器切换节目时间。,C、读取一个节目PAT和PMT读出以后，用户确定出一个节目的两个PID：待解码视频信号的PID（如100hex）待解码音频信号的PID（如200hex）解码器只处理这两个PID的TS包：解复用过程中，PID为100hex的所有TS包集合成视频PES包，送到视频解码器。同样，PID为200hex的所有TS包重新集合成音频PES包，送到音频解码器。如果ES流没有加扰，这时可以直接解码。,D、读取一个加扰节目对付费电视或许可证和地域限制等情况，ES流利用电子码进行传输保护。ES流利用各种方法进行混扰，接收端必须配有附加硬件并授权。附加硬件必须有TS流中合适的解扰和

21、授权数据。因此TS流中传送一个特殊的表CAT(conditionalaccesstable),3、条件接收表CAT(ConditionalAccessTable)：提供了在复用流中条件接收系统的有关信息，指定CA系统与它们相应的授权管理信息（EMM)）之间的联系，指定EMM的PID，以及相关的参数。CAT提供了TS流其他数据包的PID，该数据包传送了解扰所需信息：ECM(entitlementcontrolmessage)用于传送加扰码EMM(entitlementmanagementmessage)用于用户管理,只有ES流本身可以加扰，TS包头、表格和adaptationfield不能加扰。

22、解扰本身在MPEG解码器以外的附加硬件设备进行，附加硬件与解扰方法相关，可以做成智能板卡通过CI(commoninterface)插入机顶盒。在MPEG解码器做进一步处理之前，TS流在该硬件设备中循环。ECM和EMM的信息，以及用户的个人码可以将码流解扰。,4、网络信息表NIT(NetworkInformationTable)：给出物理传输网络的有关信息。它有Actual和Other之分，表示当前值和其它值。描述了一个DVB传输通道的所有物理参数，包括下列信息：传输路径（卫星、电缆、地面）接收频率调制类型误码保护传输参数机顶盒在扫描或变换信道时，可以存储一个物理信道的所有参数，便于以后很快跳回

23、该信道。信道中也可以传送相邻或其他信道的传输参数，使得信道转换灵活快捷。如果NIT中的传输参数与实际不符，会对许多接收设备，如机顶盒，产生不可预知的影响。如果NIT中的传输频率与实际接收频率不同，许多接收设备在没有任何原因提示的情况下，不产生任何图像和声音。,DVB中的服务信息DVB还在TS流中定义了许多辅助信息，称为业务信息SI(ServiceInformation)，以便于选择节目，了解与节目相关的一些信息，提供节目之间的相互关系以及携带特定的数据。DVB在MPEG-2的节目特定信息PSI的基础上，补充规定了一系列SI表格，并规定了一些表格的PID值。,1、SDT包含对TS流中节目（服务）

24、的更多详细描述,通过提供文本列表，使得接收设备操作灵活。2、业务描述表（SDT）：它包含了描述系统中业务的数据，：节目名称，起始时间、持续时间等。,2、BATBAT，与SDT密切相关：BAT与SDT的PID相同，只是tableID不同。SDT描述一个物理信道的节目结构。BAT描述几个或大量物理信道的节目结构。,BAT即一个多信道节目表:提供一组信道所有服务的总体描述。如果一个信道不足以传送所有节目，节目提供商可以利用一组信道。一些卫星或电缆DVB信道集合成一组信道。相应BAT在所有信道中传送，以便在该组信道内进行灵活的节目切换。,如同花瓶中的一束花，每朵花相应于一个物理信道。例如一组8MHz带

25、宽的电视信道，中心频率为330MHz，338MHz，346MHz，354MHz和362MHz。每个信道能包含6个节目。每朵花有各自特性：颜色、花瓣数、花的类型等。每个信道的节目由SDT描述，如同每朵花。,3、EIT(eventinformationtable)即DVB中的EPG(electronicprogramguide)表包含一天或一周内所有广播的计划开始和结束时间。结构非常灵活，允许传送大量附加信息不是所有机顶盒都支持这一特性4、RST(runningstatustable)广播的计划开始和结束时间常常会发生变化和延迟为在某时刻启动和停止一个视频录像机，由RST传送相关控制信息。RST可

26、以与模拟电视信号中数据线的VPS信号相比。,5、时间和日期表（TDT）6、时间偏移表（TOT）机顶盒操作还需要传输当前时钟和当前日期，分两步：TDT(time&datetable)传送GMT或UTC即零度子午线的当前时刻TOT(timeoffsettable)传送不同时区各自适当的时间偏移量TDT和TOT中的信息如何计算以及计算到什么程度，取决于机顶盒的软件对广播时间信息的完全支持还需要机顶盒得到当前的位置信息：对拥有多个时区的国家，如澳大利亚和美国，这个问题尤其重要。,7、ST填充表(stuffingtable)用于覆盖TS流中的信息。有时需要取消TS流中的一些表。CATV终端站接收到一个D

27、VB-S信号以后，NIT必须进行交换或覆盖；或者为中继信号，必须取消某些节目。8、选择信息表（SIT）：它仅用于码流片段中，如记录一段码流，它包含了描述该码流片段业务信息间段的地方。9、间断信息表（DIT）：它仅用于码流片段，如记录的一段码流中，它将插入到码流片段业务信息间断的地方。,TS流的逻辑结构,实际解码时还需要另外的同步步骤：接收端时钟和发送端时钟同步视音频同步,码流的时间信息为什么需要同步？时间信息中的基本概念系统时钟节目时钟参考信息和系统时钟参考信息解码时间戳和显示时间戳码率信息缓冲机制,时间信息中的基本概念1、系统时钟接收端时钟和发送端时钟同步亮度信号采样频率13.5MHz，色度

28、信号6.75MHz。27MHz是采样频率的倍数，作为发送端MPEG编码器所有处理过程的参考或基本频率。编码器中27MHz振荡器作为系统时钟(STC)的输入。STC是42bit计数器，由27MHz时钟计数，溢出后重新从0开始。LSB位不会计数到FFF，最大只有300，大约每26.5小时计数器复位为0。接收端也必须提供STC，其27MHz振荡器和42bit计数器必须与编码器STC完全同步。,视频和音频PES包头中需要有附加的时间信息。该时间信息由STC获得。STC的33位MSB(最高有效字符)被插入到视音频PES包头中，最大间隔为700ms，称为PTS(presentationtimestamps

29、)由于编码规则限制，视频帧的传输顺序与显示顺序不同，视频流PES头需要另外的时间戳，即DTS(decodingtimestamps)机顶盒中的MPEG-2解码器就可以对一个节目的视音频码流进行解码，产生模拟或数字的视音频信号。,2、节目时钟参考信息和系统时钟参考信息传输流的工作过程传输流将PES数据转换为更小的数据包，这些数据包具有固定的大小(必要时可使用填充比特)。当这些数据包到达解码器时，有可能出现定时抖动。此外时分复用也会造成时间的延迟，可以利用时间标记来解决这一问题，但前提是要有稳定的时钟。因此，在传输流中就必须含有重建稳定时钟的附加数据。,在长距离传输应用中，对不同时钟进行分配则是不

30、可行的。在传输流中，不同的节目也许来自于不同的地方，它们之间也不需要同步。因此，传输流必须为每个节目提供各自独立的同步。这种同步方法称为PCR用以指示一个特定的存取单元在时间轴上应处于什么位置。,PCR_Base(i)=系统时钟频率t(i)DIV300%2PCR_Ext(i)=系统时钟频率t(i)DIV1%300PCR(i)=PCR_Base(i)300+PCRExt(i)PCR-Base是由27MHz脉冲经300分频后的90kHz脉冲触发计数器，再对计数器状态进行取样得到的。PCR-Ext是由27MHz脉冲直接触发计数器，再对计数器状态进行取样得到的。,PCR的物理意义1.PCR仅仅在实时播

31、出流中才有意义2.前端编码器工作原理：编码器中有一个27M的时钟，编码过程中不断读取硬件时钟放入TS中PCR字段，和PES的PTS，DTS字段。3.后端机顶盒工作原理：机顶盒中也有一个27M的时钟，它根据PES中的PTS，DTS字段中指示的时间进行解码和显示。那么TS中的PCR还有什么用呢？,3、解码时间戳和显示时间戳DTS是编码器在编码时定义的，为解码器预定的解码时间。针对视频的显示，Mpeg还提出了一个视频PTS。针对音频和视频的同步显示，又提出了一个音频PTS。由于声音没有用到双向预测，它的解码次序就是它的显示次序，故对它只提出PTS的概念。PTS是编码器定义的，为解码器规定某个单元的显

32、示时间。PCR、DTS、PTS应该具有相同的时间起点,4、码率信息码率是码流数据量和所用时间的比值，单位是b/s或B/s。一个码流的码率大小决定了它在传输时所需要的带宽资源，所以它是码流的主要参数之一。码率保持恒定不变的码流被称为定码率码流；反之，若码率变化不定，则被称为变码率码流。5、缓冲机制收发端的缓冲机制都是为了保持缓冲器不上溢和不下溢,DTS/PTS的管理在PCR域的33bits中的90kHz部分（即PCR-Base域）用于与PTS和DTS作比较，当二者相同时，相应的单元被显示或者解码。每当解复用器解到一个PTS/DTS时，PTS/DTS就作为其后送入各个基本流解码器的输入缓冲器中的数

33、据的显示/解码时间，但此时送入信道缓冲器中的基本流并不一定立即被解码，因此基本流解码器必须记录当前这个PTS/DTS及所对应的码流位置，以利于后面的解码和显示同步。,PTS/DTS同步实现和失步处理（1）若当前的PTS/DTS比PCR计数器的值小于半帧以上（2）若当前的PTS/DTS比PCR计数器的值在半帧时间以内（3）若当前的PTS/DTS大于PCR计数器的值,以音频为基准的视音频间同步方法人耳的敏感程度比眼睛高，因此播放时，必须首先保证声音的正常播放。并根据声音的播放情况，不断调整图象的输出内容。具体过程：PTS在STC一帧图象输出时间内播放PTS在STC之前丢弃PTS在STC之后重复上一

34、帧图像，并在下次继续考察该帧,码流复用模拟电视系统中，多路模拟信号是用频分复用FDM方式数字电视中的多路ES流的复合和多路节目传送流的复合均是采用数字通信系统中的时分复用TDM方式码流复用的基本功能对音频、视频、数据、控制等的基本流进行系统复用。提供用于恢复时间基准的时间标志，缓冲器初始化和管理，音频和视频的DTS、PTS。为解码器提供节目专用信息，使它能够找到所需节目。为误差恢复、有条件接入、随机接入、数字存储控制提供支持。,节目复用与传输复用,第一层的节目复用，有共同的时间基准，第二层的传输复用可以有独立的时间基准。,传输复用的特征：允许单路数字电视节目可由任意组合的ES码流构成允许对多路节目进行灵活地复接传输码流复用的最大优点是能够适用于不同构成的传送流，接收机只