CN120111170B 一种hdmi数字信号处理方法及装置 （中科亿海微电子科技（苏州）有限公司）

(19)国家知识产权局(12)发明专利(10)授权公告号CN120111170B(65)同一申请的已公布的文献号审查员崔元善(73)专利权人中科亿海微电子科技(苏州)有限公司地址215127江苏省苏州市吴中区甪直镇长虹北路169号吴淞江商务区A幢2层(72)发明人李帅白文亮韦援丰魏育成(74)专利代理机构苏州石金知识产权代理事务所(普通合伙)32844专利代理师张璐豪本发明提供一种HDMI数字信号处理方法及装置，通过发射器和接收器传输来自于视频源的原始数据和原参考时钟，方法包括如下步骤：采用发射器接收原始数据和原参考时钟；对原始数据进行编码处理，得到编码数据；对编码数据和原参考时钟同时进行N倍倍频处理后进行传输；比特位依次进行N次复制，对应拆分形成N组倍频后数据。本发明通过对数据和时钟同时升频的方法解决了低于PLL最小参考时钟的视频分辨率的h始e5,21.一种HDMI数字信号处理方法，通过发射器和接收器传输来自于视频源的原始数据和采用发射器接收所述原始数据和原参考时钟；对所述原始数据进行编码处理，得到编码数据；对所述编码数据和所述原参考时钟同时进行N倍倍频处理后进行传输；其中，所述编码数据的N倍倍频处理为：将所述编码数据按比特位依次进行N次复制，对应拆分形成N组倍频后数据；所述原参考时钟的N倍倍频处理为：将所述原参考时钟进行N倍倍频后作为参考时钟输入串行解串器物理层IP核的锁相环中，生成对应的第一并行发送时钟；所述参考时钟的频率大于或等于所述串行解串器物理层IP核的启动频率；所述传输的过程包括：基于所述第一并行发送时钟，依次将所述N组倍频后数据传输至所述串行解串器物理层IP核中进行串行化处理，得到N组HDMI数字信号并和对应生成的第一串行发送时钟一起发送至所述接收器。2.根据权利要求1所述的一种HDMI数字信号处理方法，其特征在于，发射器在所述原参考时钟的每个周期内接收一个像素信号对应的所述原始数据，所述原始数据为并行数据。述原始数据进行数据编码处理，得到对应的编码数据，所述编码数据为10位的并行数据。4.根据权利要求3所述的一种HDMI数字信号处理方法，其特征在于，将所述编码数据按比特位从高位至低位的次序依次进行N次复制，每满10位数据对应拆分形成一组倍频后数5.根据权利要求3所述的一种HDMI数字信号处理方法，其特征在于，对当前时钟周期内的所述编码数据进行暂存处理，对暂存处理后的所述编码数据进行N倍倍频处理。6.根据权利要求1所述的一种HDMI数字信号处理方法，其特征在于，对所述编码数据和所述原参考时钟同时进行N倍倍频处理后进行传输的过程还包括：采用接收器接收所述N组HDMI数字信号和所述第一串行发送时钟，并将所述第一串行基于所述第二串行发送时钟，将所述N组HDMI数字信号传输至所述串行解串器物理层IP核中，将同一个时钟周期中连续的N位信号提取中间值为一个信号后进行解串行化处理，得到一组并行数据并和对应生成的第二并行发送时钟一起发送。7.根据权利要求6所述的一种HDMI数字信号处理方法，其特征在于，采用接收器接收所述并行数据和所述第二并行发送时钟；通过解码处理将所述并行数据恢复为所述原始数据；将所述第二并行发送时钟作为原参考时钟和所述原始数据一同发送。8.一种HDMI数字信号处理装置，其特征在于，所述处理装置用于实现如权利要求1-7中任一项所述的一种HDMI数字信号处理方法。9.根据权利要求8所述的一种HDMI数字信号处理装置，其特征在于，所述发射器和接收3技术领域[0001]本申请涉及视频数据传输领域，特别涉及一种HDMI数字信号处理方法及装置。背景技术[0002]HDMI(High-DefinitionMultimediaInterface,高清多媒体接口)是一种广泛使的HDMI由传输数据的三对差分通道以及一对TMDS时钟通道组成。每个数据传输通时钟周期内能分别传输10位的数据流。[0003]在HDMI接口中，通过TX(发射器)和RX(接收器)实现数字信号的发送和接收。发射器的主要功能是将原始的数字音视频信号进行编码和并串转换为HDMI信号后发送，RX的主器中设置的PLL(锁相环)生成高精度的时钟信号，确保数据的同步传输。际的TMDS时钟不满足PLL最小参考时钟输入时，需要将外部时钟进行数倍于原时钟的处理后再输入PLL,以使PLL输出发送链路需要的时钟。而在该过程中，为了实现数据和时钟匹配，同样需要对原始视频数据进行过采样处理后再传输给链路通道。[0005]应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。发明内容供一种HDMI数字信号处理方法，通过发射器和接收器传输来自于视频源的原始数据和原参[0007]采用发射器接收所述原始数据和原参考时钟；[0009]对所述编码数据和所述原参考时钟同时进行N倍倍频处理后进行传输；[0010]其中，所述编码数据的N倍倍频处理为：将所述编码数据按比特位依次进行N次复[0011]本发明通过对数据和时钟同时升频的方法解决了低于PLL最小参考时钟的视频分辨率的需求，和其他满足PLL最小参考时钟要求的视频格式一起覆盖了HDMI传输的所有分辨率格式；进一步，通过对数据按比特位复制的方法将低频的数据过采到高频时钟上，能够利用现有的串行化以及解串行化过程，自然的实现原始数据的恢复，不需要额外的处理操[0012]发射器在所述原参考时钟的每个周期内接收一个像素信号对应的所述原始数据，所述原始数据为并行数据。4[0013]采用TMDS技术对所述原始数据进行数据编码处理，得到对应的编码数据，所述编码数据为10位的并行数据。[0014]将所述编码数据按比特位从高位至低位的次序依次进行N次复制，每满10位数据对应拆分形成一组倍频后数据发送，直至所述N组倍频后数据全部发出。[0015]对当前时钟周期内的所述编码数据进行暂存处理，对暂存处理后的所述编码数据进行N倍倍频处理。[0016]所述原参考时钟的N倍倍频处理为：将所述原参考时钟进行N倍倍频后作为参考时钟输入串行解串器物理层IP核的锁相环中，生成对应的第一发送时钟；所述参考时钟的频率大于或等于所述串行解串器物理层IP核的启动频率。[0017]对所述编码数据和所述原参考时钟同时进行N倍倍频处理后进行传输的过程包括：基于所述第一并行发送时钟，依次将所述N组倍频后数据传输至所述串行解串器物理层IP核中进行串行化处理，得到N组HDMI数字信号并和对应生成的第一串行发送时钟一起发送；采用接收器接收所述N组HDMI数字信号和所述第一串行发送时钟，并将所述第一串行发数字信号传输至所述串行解串器物理层IP核中，将同一个时钟周期中连续的N位信号提取中间值为一个信号后进行解串行化处理，得到一组并行数据并和对应生成的第二并行发送时钟一起发送。[0018]采用接收器接收所述并行数据和所述第二并行发送时钟；通过解码处理将所述并行数据恢复为所述原始数据；将所述第二并行发送时钟作为原参考时钟和所述原始数据一同发送。[0019]另一方面，本发明提供一种HDMI数字信号处理装置，所述处理装置包括发射器和接收器，所述处理装置用于实现如第一方面中任一项所述的一种HDMI数字信号处理方法。[0020]所述发射器和接收器采用FPGA芯片实现。[0021]与现有技术相比，本发明的有益效果主要包括如下：1)本发明中实现数据升频的方法可以在按比特位复制后将低频的数据过采到高频时钟上，在数据升频时可以更加灵活；2)本发明的数据升频的方法解决了低于PLL最小参考时钟的视频分辨率的需求，和其他满足PLL最小参考时钟要求的视频格式一起覆盖了HDMI传输的所有分辨率格式；3)本发明能够利用现有的串行化以及解串行化过程，便捷的实现原始数据的恢复。附图说明[0022]为了更清楚地说明本发明具体实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0024]图2为本实施例提供的数字信号处理流程示意图。具体实施方式[0025]有关本发明的前述及其他技术内容、特点与功效，在以下配合参考图式的一优选5右、前或后等，仅是参考附加图式的方向。因此，使用的方向用语是用来说明并非用来限制本发明。[0026]下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。[0027]以下实施例中的步骤与发明内容部分并不一一对应。Transmitter)和接收器(RX,HDMIReceiver)是实现HDMI数字信号传输的两个关键的组件。视频源，用于提供原始数据和对应的参考时钟，原始数据是并行数据，每个像素通常为8b数据(即8位数据，一般为RGB或YUV数据，以RGB为例，每个通道为8位，共具有三器，与视频源连接，接收原始数据和参考时钟后，会对其进行数据编码处理以及并串转换处理。以RGB数据的接收为例，具有三个传输通道，对于每个传输通道，发射器会同时分别接收一个对应位数上的数据，通过TMDS编码技术将其转换为10位的编码数据，并转换为高速串行数据(即HDMI数字信号)后通过数据通道(设有三个数据通道，即数据通道0/1/2,分别对应一个传输传输通道)进行发送。对应的，接收器与发射器连接，其主要功能是接收并解码HDMI数字信号，还原为原始数据，即将HDMI数字信号转换为并行数据并进行[0030]在上述过程中，数据的串行化以及解串行化过程都需要SerDesPHYIP(即串行解串器物理层IP核)进行处理。SerDesPHYIP是一种集成了SerDes(串行器/解串行器)功能的物理层接口，能够将并行数据转换为串行数据进行高速传输，并在接收端将串行数据还原为并行数据，即SerDesPHYIP是完成HDMI传输的必要部件。[0031]可以理解，为了确保数据的同步传输，高精度的时钟信号是必不可少的。如图1所示，在HDMI接口中设置有专门的时钟信号通道：TMDS时钟通道，该通道即用于发送时钟信号的传递。在SerDesPHYIP中设置有锁相环，其能够利用输入的参考时钟来锁定相位和频率，从而生成所需的发送时钟，以保证HDMI数字信号的可靠传输。而不同的分辨率的视频对应的HDMI数字信号所需的发送时钟的频率是不同的，随着分辨率的降低，对应所需的发送时钟的频率也会降低。然而，SerDesPHYIP的启动具有一个最低时钟频率(以下称为启动频率),当输入低于启动频率的时钟信号时SerDesPHYIP无法正常启动，进而导致HDMI数字信号的传输无法实现。因而，在某个分辨率的视频对应所需的发送时钟的频率大于或等于SerDesPHYIP的启动频率时，使得输入锁相环的参考时钟频率等于所需的发送时钟频率即可；在某个分辨率的视频对应所需的发送时钟的频率小于SerDesPHYIP的启动频率时，直接使用该频率的时钟信号无法启动SerDesPHYIP,因而需要对原时钟信号进行倍频处理后再输入到锁相环中，此时锁相环生成的发送时钟即可满足SerDesPHYIP的启动要求。然而，对时钟信号进行了倍频处理，必然要求对相应的数据进行处理才可保证传输的数[0032]为了阐述清楚，以下通过示例进行说明：例如，SerDesPHYIP的启动频率为506MHz,分辨率A的视频对应所需的发送时钟的频率为75MHz时，此时可以使用频率为75MHz的参考时钟即可，不需要对视频源的参考时钟和原始数据进行处理。具体的，发射器接收参考时钟和原始数据，锁相环根据输入的参考时钟生成对应的发送时钟，发射器通过数据编码和并串转换处理将原始数据(8位，并行数据)转换为对应的HDMI数字信号(10位，串行数数字信号(10位，串行数据)转换为对应的原始数据(8位，并行数据)后发出。所需的发送时钟的频率为25MHz时，则不能直接使用25MHz的原参考时钟，为了满足SerDesPHYIP的启动，可以对视频源的参考时钟和原始数据都进行倍频处理。例如，将原参考时钟的25MHz进行三倍倍频(x3)至75MHz作为输入锁相环的参考时钟，此时锁相环输出的发送时钟即可满足SerDesPHYIP的启动条件，能够进行HDMI传输。应当理解，因为对原参考时钟进行了三倍倍频，对应的原始数据也要进行对应的三倍过采样才能够满足数据和时钟匹配。现有技术中，原始数据的过采样是按照像素信号进行的，每一个像素对应的原始数据是8位的并行数据，发射器会先将之编码以及并串转换为10位的串行数据(例如，1010101010),在对其进行三倍倍频得到101010101010101010101010101010之后发出，因为进行了时钟信号和数据的倍频，想要将其还原至原始数据(8位，并行数据)的过程较为繁[0034]为了解决以上问题，本发明提供了一种基于FPGA的HDMI数字信号处理方法，该方法通过对数据按比特位多次采样来实现数据升频的目的。具体的，参考图2所示，给出了一种HDMI数字信号处理方法的流程示意图。在本实施例中还是以将原参考时钟的25MHz进行以其中一个数据通道的传输过程进行示例。[0035]步骤1:视频源发出原始数据和对应的原参考时钟。[0036]如图2所示，首先，视频源发出原始数据和对应的原参考时钟至发射器中。在本实施例中，原始数据为并行数据流，每个像素对应的数据位宽为8位，对应的原参考时钟的频的原参考时钟的频率不作限定。[0037]步骤2:发射器IP核接收原始数据并进行数据编码。[0038]参考图2所示，在本实施例中，为了便于理解，将发射器和接收器中由SerDesPHYIP进行的串行化、解串行化以及相关时钟信号的生成等功能拆分到了串行解串器物理层IP核的TX端和RX端之中进行表示，即发射器主要包括发射器IP核和串行解串器物理层IP核TX端两大部分，而接收器主要包括接收器IP核和串行解串器物理层IP核RX端两大部分。[0039]首先，发射器IP核接收原始数据和原参考时钟，其在每个时钟周期内接收一个像素对应的8位并行数据；并通过TMDS技术数据编码(由数据编码模块进行编码处理)后得到对应的编码数据，该编码数据为10位并行数据(例如，1010101010)。[0040]步骤3:对原参考时钟和编码数据同时进行倍频处理。作为参考时钟(75MHz)输入锁相环中，锁相环生成对应的发送时钟(75MHz);同时，为了时7钟和数据的匹配，需要将每个时钟周期内的数据进行对应的三倍升频。如图2所示，通过时钟及数据升频模块完成原参考时钟和编码数据的倍频。一方面，对原参考时钟进行三倍倍频后作为参考时钟输入串行解串器物理层IP核TX端的锁相环中，使锁相环生成对应的第一并行发送时钟(75MHz),此处时钟的倍频方法可采用现有技术实现，在此不多赘述；另一方面，对编码数据也进行三倍倍频，具体的数据升[0043]可以理解，编码数据(例如，1010101010)为并行数据，因而需要对应数量的接收端口，即对应有10个端口(端口9至端口0),分别用于接收一位数字(即端口9接收1,端口8接收0,…,端口1接收1,端口0接收0)。即在原参考时钟的一个时钟周期下，可传输10位数据。[0044]2)对每个比特位依次进行三次复制并拆分为三次发送；[0045]将编码数据1010101010先按比特位从高位至低位三次复制后即得到111000111000111000111000111000,由于HDMI数字信号为10位数据，因而111000111000111000111000111000应当拆分为三组倍频后数据(即1110001110、0011100011和1000111000)后发出至SerDesPHYIP进行并串转换处理。[0046]一个具体过程可分为以下几个步骤：[0047]1.首先，先按比特位从高位至低位三次复制编码数据后输出data_o={data_i[9],data_i[9],data_i[9],data_i[8],data_i[8],data_i[8],data_i[7],码的第9位，也可理解为端口9的接收数据；[0048]为了防止当前组的编码数据未处理完成时便已经接收到后续数据，导致当前数据的失效，可对每次接收的编码数据先进行暂存处理，针对暂存后的编码数据按比特位进行[0049]2.然后，再按比特位接着复制更低位数上的编码数据后输出data_o={data_temp[6],data_temp[6],data_temp[5],data_temp[5],dtemp[4],data_temp[4],data_temp[3],data_temp[3]};即对应为第二组倍频后数据，data_temp[6]指代暂存后的数据编码的第6位。[0050]3.最后按比特位三次复制剩余位数的编码数据后输出data_o={data_temp[3],data_temp[2],data_temp[2],data_temp[2],data_temp[1],data应为第三组倍频后数据。[0051]以上三步即完成了一组编码数据的升频和拆分，对于后续的每一组编码数据，依次进行以上处理即可。[0052]此时，即已经完成对原参考时钟和编码数据的倍频处理，对应得到了第一并行发送时钟和三组倍频后数据，因为第一并行发送时钟(75MHz)的频率是原参考时钟(25MHz)的三倍(则原参考时钟的一个时钟周期等于第一并行发送时钟的三个时钟周期),三组倍频后数据对应的位数同样为编码数据数据的三倍，即在第一并行发送时钟的一个时钟周期下，可对应传输一组倍频后数据，在第一并行发送时钟的三个时钟周期下，对应传输完三组倍频后数据，因而第一并行发送时钟和三组倍频后数据仍然是对应的。[0053]步骤4:进行并串转换后发送至接收器。8[0054]倍频拆分后的得到的三组倍频后数据(1110001110、0011100011和1000111000)是并行数据，需要先转换为串行数据(即HDMI数字信号)后再由发射器传输到接收器。[0055]如上所述，在HDMI中，数据的串行化以及解串行化过程都是通过SerDesPHYIP进行处理的，SerDesPHYIP包括两部分，一是用于对发射器的并行数据流的串行化处理模块(即串行解串器物理层IP核TX端),一个是用于对接收器的串行数据流的并行化处理模块[0056]具体的，如上所述，在第一并行发送时钟的一个时钟周期下对应一组倍频后数据，则上述的三组倍频后数据会在第一并行发送时钟的相连的三个时钟周期下依次发送到SerDesPHYIP的TX端的并串转换模块中，以保证不会出现乱序。并串转换模块按顺序将三组倍频后数据依次转换为三组串行数据(即三组HDMI数字信号)后依次发出。具体的，信号2(0011100011)和HDMI数字信号3(1000111000)依次发送到SerDesPHYIP的RX端。可以理解，HDMI数字信号为高速串行数据，在串行时钟下的每个时钟周期传输1位数据，因而其对应的第一串行发送时钟(750MHz)频率应该为第一并行发送时钟的10倍，三组HDMI数字信号对应在30个时钟周期中传输完。[0057]步骤5:接收器接收HDMI数字信号并进行串并转换和解码。[0058]具体的，串行解串器物理层IP核RX端依次接收了三组HDMI数字信号和对应的第一串行发送时钟(750MHz)。其会把750MHz的第一串行发送时钟通过时钟降频模块对应降频1/3转换为250MHz的第二串行发送时钟。此时，在第二串行发送时钟下的每个时钟周期对应为第一串行发送时钟下的三个时钟周期，即在第二串行发送时钟下的每个时钟周期会接收三位数据，并将同一个时钟周期下的连续接收的三位数据提取中间值后输出。具体的，即先通过时钟降频模块生成三个采样时钟相位