以碎形特徵侦测镜头转换

1、以碎形特徵偵測鏡頭轉換 Shot Change Detection By Fractal Signature,問題起因,影音技術的普及+網路的廣泛應用 影音資料大量產出及散佈 副產物：影音資料的氾濫及冗餘 新一代的影音技術在於追求快速的影音資料管理及檢索：Mpeg 7 應用: 位圖書，教育等的影音資庫的存儲和檢 多媒體編輯:個人化的電子新聞服務、媒體編輯 多媒體目服務:電話簿黃頁，遊客資訊 廣播媒體選擇:廣播頻道查尋，電視節目查尋 .,為何以影像內容進行檢索,傳統以人工方法對影片內容下註解：耗費人力、無法精準反應映片內容。 較理想方法：由電腦依影片內容分段，取出片段內之靜態特徵存入資料庫 使用

2、者以影片內容對資料庫進行搜尋,影片階層分類,鏡頭變換種類,突然鏡頭轉換(Abrupt Cut),漸進式鏡頭轉換（Gradual Transition）,基本轉換過程表示 , 為開始及目的端片段在時間t時畫面上座標(i,j)之像素 , 為合成畫面 座標(x,y)中開始及目的端片段所佔之比例,淡入淡出(fade in/fade out),溶解(dissolve),搖攝(Wipe)例子,Push,Wipe之變形，作用過程非取代而是將原畫面推擠出去,常見之判斷特徵,像素(Pixel) 直方圖(Histograms) 邊緣追蹤(Edge Tracking),像素(Pixel),對攝影鏡頭的動作太過敏感

3、對畫面內物體移動太過敏感,Kasturi ,Likelihood Ratio ,1991,為改善物體及鏡頭移動影響引入區塊的概念 計算畫面間相對應區塊差異值: 統計明顯變化區塊數量，用以判別是否有鏡頭轉換,直方圖(Histograms),Nagasaka,1998,引入區塊的概念，將原圖切割為16區塊 僅取各區塊中8個差值較小者並取其平均 平均值和臨界值比較判別是否有鏡頭轉換,Zabith,1995,不同類型轉換之ECR( Edge Change Ratio),動機,漸進式鏡頭轉換依然缺乏有效的解決方法 漸進式鏡頭轉換是人為刻意的安排 現今的判斷法，必須倚靠臨界值 臨界值無法反映漸進式鏡頭轉換

4、的變數： 影片的類型、轉換的類型、轉換時間的長度,碎形(Fractal),自我相似性 影像分割 Range Block Domain Block,Vines (1993)，碎形正交基底,利用複數個之 (Orthonormal basis vectors)去產生Range方塊之近似Domain方塊 在同一訓練圖I分為R、G、B三個平面訓練Orthonormal basis vectors 每個Range方塊對三個平面Orthonormal basis vectors編碼取得索引,畫面間差異量化,將比對影像之索引檔以Nonatree方法切割為兩層之子圖索引，並扣除重複者 子圖之索引檔取出後，搜尋比

5、對畫面中最相似之子圖 將子圖之個別差值加總即可得到兩張不同影像間之差異值,Dissolve開始及目的片段所佔比例由轉換時間長度及經過時間所決定 ： 轉換過程畫面上任意點由p轉換到q之像素在時間軸t到t+1之表示式: 時間t時之組成： 時間t+1時之組成： 其差為定值：,Dissolve轉換中相鄰畫面差為定值,可能轉換過程位置,精鍊起終點位置,Fpl定義：,Bpl定義:,檢查點位置之影響,多個可能點之判斷,量化Fpl機率：,量化Bpl機率：,參考參數,紅線：終止點 綠線：中位點 籃線：Corner point,多個可能點之判斷例子,搜尋效能,P(n)：搜尋輸出影像總數 n 求得之precision值 R(n)：搜尋輸出影像總數 n 求得之recall值,比對方法,B. Yeo ,1995 各畫面和其後第k個畫面進行差值比對 將轉過過程區域凸顯成”高原” 偵測”高原”的條件：,Zhang ,1993, Twin-Comparison 使用兩臨界值 臨界值是動態產生的：,使用之測試片段,TREC (Text Retrieval Conferenc