影像處理方法以及影像處理裝置的制造方法【專利說明】【
技術領域：
】[0001]本發(fā)明關于三維視覺效果重現(xiàn)，尤指一種影像處理方法及其相關裝置?！尽?br>背景技術：
】】[0002]由現(xiàn)有技術可知，三維視覺效果重現(xiàn)(three-dimens1nalvisualeffectreproduct1n,3Dvisualeffectreproduct1n)通常需要準備來源影像(sourceimage)以及復雜的計算。在準備階段期間，無論來源影像的分辨率(resolut1n)是高或是低，均會發(fā)生問題，舉例來說，來源影像應由預校正相機(pre-calibratedcamera)來擷取，其中預校正相機則應已通過預定視角(viewpoint)或預定視線(lineofview)來校正，因此，造成準備來源影像的困難。在另一個例子中，為了要有效率地執(zhí)行復雜的運算，需要準備具有強大運算能力的高端(highend)電腦，其中因為傳統(tǒng)的多功能移動電話(multifunct1nalmobilephone)似乎無法在復雜運算的繁重計算負荷下流暢地運作，所以高端電腦不會被傳統(tǒng)的多功能移動電話取代，也就是說，傳統(tǒng)的多功能移動電話不會是三維生成/重現(xiàn)(product1n/reproduct1n)的完整解決方案?？偠灾F(xiàn)有技術并無法滿足用戶的需求，因此，需要一種以聰明且強健(robust)的方式來執(zhí)行關于三維視覺效果重現(xiàn)的影像處理的創(chuàng)新方法，以于便攜式電子元件(portableelectronicdevice)(例如，多功能移動電話)之中實現(xiàn)上述來源影像準備及相關的計算?！尽?br/>發(fā)明內容】】[0003]有鑒于此，本發(fā)明的目的之一在于提供一種影像處理方法及其相關裝置，來解決上述問題。[0004]本發(fā)明的另一目的在于提供一種影像處理方法及其相關裝置，來于便攜式電子元件(例如，多功能移動電話)之中實現(xiàn)上述來源影像準備及相關的計算。[0005]本發(fā)明的另一目的在于提供一種影像處理方法及其相關裝置，以利用便攜式電子元件(例如，移動電話、筆記本電腦(laptopcomputer)或平板(tablet))來實現(xiàn)三維生成/重現(xiàn)的完整解決方案。[0006]本發(fā)明的一個實施例提供一種影像處理方法。該影像處理方法包含:接收多個影像的影像數(shù)據(jù)，其中該多個影像從不同的視角(或沿著不同的視線)來擷取；以及依據(jù)該影像數(shù)據(jù)來扭曲該多個影像以對該多個影像執(zhí)行影像對準操作，其中該多個影像是依據(jù)一組參數(shù)來扭曲，以及該組參數(shù)是通過找出受限于多個物理相機參數(shù)的多個預定范圍的一解(solut1n)來得到。[0007]本發(fā)明的另一個實施例提供一種執(zhí)行影像處理的裝置，其中該裝置包含電子元件的至少一部份。該裝置包含儲存單元以及處理電路。該儲存單元用以暫存信息。另外，該處理電路用以控制該電子元件的操作、接收多個影像的影像數(shù)據(jù)、將該影像數(shù)據(jù)暫存于該儲存單元，以及依據(jù)該影像數(shù)據(jù)來扭曲該多個影像以對該多個影像執(zhí)行影像對準操作，其中該多個影像是從不同的視角(或沿著不同的視線)來擷取、該多個影像是依據(jù)一組參數(shù)來扭曲，以及該組參數(shù)是通過找出受限于多個物理相機參數(shù)的多個預定范圍的解來得到。[0008]本發(fā)明所揭示的方法及裝置可產(chǎn)生位于解空間(例如，預定解空間(例如，預先訓練的解空間))內的扭曲影像，以使人眼視覺感覺不到相關的經(jīng)學習的幾何變形，因此，每一個重現(xiàn)影像均不會產(chǎn)生失真，此外，依據(jù)經(jīng)學習的幾何限制來在該解空間進行的最佳化可持續(xù)產(chǎn)生合理的結果。對于本發(fā)明所揭示的方法及裝置的實施范例來說，可同時并行相關計算的工作流程，以及可降低相關的運算復雜度且節(jié)省所需的存儲器資源。此外，本發(fā)明的方法及裝置具有強健的能力來抵抗影像噪聲及偏差。再者，本發(fā)明所揭示的方法及裝置可保留在扭曲影像序列中相對的視差/深度信息(disparity/depthinformat1n)?！尽靖綀D說明】】[0009]圖1為本發(fā)明用來執(zhí)行影像處理的裝置的第一實施例的示意圖。[0010]圖2為圖1所示裝置的實施范例的示意圖，其中該裝置為移動電話。[0011]圖3為圖1所示裝置之另一個實施范例的示意圖，其中該裝置為個人電腦(例如，筆記本電腦)。[0012]圖4為本發(fā)明影像處理方法的一個實施例的流程圖。[0013]圖5為圖4所示影像處理方法所涉及的學習/訓練程序的期間所產(chǎn)生的輸入影像及多個轉換影像的示意圖，其中該學習/訓練程序用來決定預定解空間。[0014]圖6為得自于涉及圖4所示影像處理方法的多視角垂直對準操作的多個影像的示意圖。[0015]圖7為得自于涉及圖4所示影像處理方法的多視角垂直對準操作的多個影像的其中之一以及得自于涉及圖4所示影像處理方法的水平對準操作的相關影像的示意圖。[0016]圖8為得自于涉及圖4所示影像處理方法的多視角垂直對準操作的多個影像其中之一以及得自于涉及圖4所示影像處理方法的水平對準操作的相關影像的示意圖。[0017]圖9為得自于涉及圖4所示影像處理方法的多視角垂直對準操作的多個影像其中之一以及得自于涉及圖4所示影像處理方法的水平對準操作的相關影像的示意圖。[0018]圖10為涉及圖4所示影像處理方法的視差直方圖的示意圖。[0019]圖11為圖1所示裝置的實施范例的示意圖(其中該裝置的處理電路包含有涉及圖4所示影像處理方法的多個處理模塊，以及在有需要的時候，該處理電路可通過多個運動感測器所產(chǎn)生的運動信息的輔助而選擇性地運作)。[0020]圖12為涉及圖4所示影像處理方法的全域/局部坐標轉換的操作下的兩個影像的示意圖。[0021]圖13為執(zhí)行于圖12所示的兩個影像的整體/局部坐標轉換的示意圖。[0022]圖14為涉及圖4所示影像處理方法與背景的運動對準以供三維顯示的兩個影像的示意圖。[0023]圖15為涉及圖4所示影像處理方法與前景的運動對準以供三維顯示的兩個影像的示意圖。[0024]圖16為涉及圖4所示影像處理方法的多個顯示模式的肖像模式的示意圖。[0025]圖17為涉及圖4所示影像處理方法的多個顯示模式的全景模式的示意圖?！尽揪唧w實施方式】】[0026]在說明書及后續(xù)的權利要求書當中使用了某些詞匯來指稱特定的元件。本領域的技術人員應可理解，制造商可能會用不同的名詞來稱呼同樣的元件。本說明書及權利要求書并不以名稱的差異來作為區(qū)別元件的方式，而是以元件在功能上的差異來作為區(qū)別的基準。在通篇說明書及權利要求當中所提及的「包含」為開放式的用語，故應解釋成「包含但不限定于」。此外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表該第一裝置可直接連接于該第二裝置，或通過其他裝置或連接手段間接地連接至該第二裝置。[0027]圖1是本發(fā)明用來執(zhí)行影像處理的裝置100的第一實施例的示意圖。在一個實施范例中，裝置100可包含電子元件的至少一部份(例如，一部份或全部)，舉例來說，裝置100可包含上述電子元件的一部份，更具體地說，裝置100可以是該電子元件內的控制電路(controlcircuit)(例如，集成電路(integratedcircuit，1C))。在另一個實施范例中，裝置100可以是上述電子元件的全部。在另一個實施范例中，裝置100可以是包含上述電子元件的音頻/視頻系統(tǒng)(aud1/videosystem)。該電子元件的各種范例可包含(但不局限于)移動電話(例如，多功能移動電話)、個人數(shù)字助理(personaldigitalassistant，PDA)、便攜式電子元件(例如，廣義的平板(tablet))，以及個人電腦(例如，平板個人電腦(tabletpersonalcomputer)(也可簡稱為平板)、筆記本電腦或桌上電腦(desktopcomputer))。[0028]由圖1可知，裝置100包含處理電路(processingcircuit)110以及儲存單元(storage)120。儲存單元120用以暫存信息(例如，輸入至處理電路110的至少一個輸入信號108所挾帶的信息)，舉例來說，儲存單元可以是存儲器(memory)(例如，易失性存儲器(volatilememory)(例如，隨機存取存儲器(randomaccessmemory,RAM))或非易失性存儲器(non-volatilememory)(例如，快閃存儲器(Flashmemory)))或硬盤驅動器(harddiskdrive，HDD)。另外，處理電路110用以控制該電子元件的操作、接收多個影像的影像數(shù)據(jù)(其中該多個影像是從不同的視角(或沿著不同的視線)來擷取)、將該影像數(shù)據(jù)暫存于儲存單元120，以及依據(jù)該影像數(shù)據(jù)來扭曲(warp)該多個影像以對該多個影像執(zhí)行影像對準操作(imagealignment)，其中該多個影像是依據(jù)一組參數(shù)(asetofparameters)來扭曲，以及該組參數(shù)是通過找出受限于多個物理相機參數(shù)(physicalcameraparameter)的多個預定范圍的解來得到。舉例來說，該多個影像是利用上述電子元件的相機模塊(cameramodule)從不同的視角來擷取，其中該影像數(shù)據(jù)可通過輸入至處理電路110的輸入信號108來接收。請注意，以上僅供說明需要，并非用來作為本發(fā)明的限制。在一個實施范例中，該多個影像是利用外接元件(externaldevice)(例如，手持式相機(hand-heldcamera))從不同的視角來擷取。[0029]請注意，上述相機模塊并不需要被校正(calibrate)，更具體地說，在此實施例中，該相機模塊并未以所述的不同的視角(或視線)來校正，舉例來說，在該電子元件夠輕巧而使得用戶可輕易地握住的情形下，用戶可握著該電子元件而任意地從不同的視角來擷取物體的影像。接下來，處理電路110自動執(zhí)行該影像對準操作以重現(xiàn)三維視覺效果，更具體地說，處理電路110自動執(zhí)行該影像對準操作產(chǎn)生多個三維影像以重現(xiàn)該三維視覺效果，其中該多個三維影像可包含不是利用相機(例如，上述相機模塊)所產(chǎn)生的多個仿真影像(emulatedimage)。處理電路110可通過挾帶該多個三當前第1頁1 2 3 4