Quality Scalability的理解-FENG.doc

Quality Scalability-FENG在SVC中，CGS是一种空间的一种特例，如果每一层做出来的分辨率大小不变的话，我们就可以叫做CGS，假设每一层的大小都固定，但每往上一层QP值都减少，做出来的效果我们就CGS。CGS的bitrate的选择和spatial分层的数是一样的。还有drift问题，所以只能在IDR作切换，不然会有drift。为了改善这个问题，就在CGS层里加上了一些refinement layer。具体做法是在每个CGS里面，再把residual切层。CGS加上residual的refinement quality layer就成了MGS。另外加上了Key picture，进行drift control。Key picture prediction用的是base layer，但quality会受到影响。原来FGS后来去掉了，现在CGS和MGS都有。MPEG4的FGS：对于BL，coding 效率是最高的。假如把enhance layer加进来的话，效率会变差，那是因为没有把上一张frame的EL考虑进来，所以他的MCP效果会很差，这是MPEG4的优缺点。在MPEG2里面他提供另外一种分层方式。完全跟FGS相反的，每一张frame的BL都是用上一张frame的EL+BL(最后的层)做参考。他这样子结果会严重drift。EL效率很好，但BL很差。另外还有一种scalability是multi-loop prediction。这里举了个例子是2-loop prediction。BL是用BL作prediction ，EL是用EL作prediction。效率介于前两种之间。EL会有drift，BL不会有，但复杂度高，因为两个都得做。BL效率好，EL效率是中等。SVC里：就是综合了MPEG2和MPEG4的概念。他主要的概念是用了key picture，两张key picture之间是用了BL作prediction，那key picture之间的就用了EL作prediction，就是这么简单。MPEG2和MPEG4的FGS是这里的一个极端例子。全部都是key picture，就是MPEG4的FGS，没有key picture那就是MPEG2。SVC其实就是取了两者的平衡。缺点是效率会差一点。MGS就这么简单。现在来看看key picture和hierarchical prediction的组合：P帧储存用作下一P帧的MCP，EL被储存用作P帧与P帧中间的B帧的MCP。这里有个coding效率和drift权衡，由GOP大小来决定。GOP越大，drift越严重，效率越高。GOP小，drift就小，效率就差。这里没有用到multi-reference。BL和最高EL之间的Max DQP是一定的，各层DQP越小，则说明切割的层越多，coding效率也就是越高。MGS就是在CGS里面切。MGS里面的refinement里面到底切了多少层，他没有讲。比如说我现在要切10层，就可以设CGS分2层，每一层里再切5层。现在就是有了CGS，配上key picture，每一层CGS里有residual，而每一个residual又可以切成很多的refinement layer。我们现在利用这些residual和refinement layer，我们就可以在不同的bitrate point里作切换，但到底refinement layer是怎么做的，我们不知道，他没有讲，这是个大问题。现在看看SVC encoder structure：首先原图像会下采样，进来，temporal scalability会在进来蓝色的地方做。Spatial scalability是分成2个layer。所以整个SVC是以spatial scalability为主体架构的。然后再从不同的spatial里面切不同的scalability。那经过H264 coding后的residual再做SNR的scalable coding，得到refinement layer。每一空间层做完的结果都会送到下一层去做encode参考，包括MC、intra 咨讯或者residual咨讯。这是SVC整个的架构。现在改一下名字，每一层spatial la