專利名稱：提供增強(qiáng)現(xiàn)實(shí)的方法和支持該方法的終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種提供增強(qiáng)現(xiàn)實(shí)的方法和支持該方法的終端。
背景技術(shù)：
由于使用方便和容易攜帶，便攜式終端支持基于移動和廣泛用于多個(gè)領(lǐng)域的各種功能。這樣的便攜式終端具有特定功能模塊以支持各種用戶功能。例如，所述便攜式終端可包括用于圖像采集功能的相機(jī)模塊。具體地講，具有相機(jī)模塊的便攜式終端支持將通過相機(jī)模塊采集的圖像輸出到顯示單元上的預(yù)覽功能以及存儲根據(jù)用戶請求采集的圖像的存儲功能。近年來，已開發(fā)了與使用相機(jī)模塊相關(guān)的多個(gè)不同技術(shù)，例如，作為實(shí)時(shí)的、直接或間接的、現(xiàn)實(shí)世界環(huán)境的景象的增強(qiáng)現(xiàn)實(shí)，其中，通過計(jì)算機(jī)產(chǎn)生的感覺輸入來增強(qiáng)現(xiàn)實(shí)世界環(huán)境的元素。更具體地講，增強(qiáng)現(xiàn)實(shí)將現(xiàn)實(shí)環(huán)境和虛擬物體組合，并且使用圖形技術(shù)將虛擬現(xiàn)實(shí)添加到現(xiàn)實(shí)世界圖像中。然而，當(dāng)提供增強(qiáng)現(xiàn)實(shí)時(shí)，當(dāng)前的便攜式終端只是組合虛擬物體圖像，而沒有分離現(xiàn)實(shí)世界物體的立體感。具體地講，因?yàn)楫?dāng)前的便攜式終端只是組合虛擬物體而沒有分離現(xiàn)實(shí)世界物體之間的邊界和層次，所以被應(yīng)用增強(qiáng)現(xiàn)實(shí)的圖像的真實(shí)感顯著惡化并且缺少最佳的觀看者遠(yuǎn)近關(guān)系。因此，需要提高增強(qiáng)現(xiàn)實(shí)的改進(jìn)的方案，以便呈現(xiàn)給用戶滿意的事件模擬。

發(fā)明內(nèi)容
考慮到以上問題做出本發(fā)明，通過提供一種從預(yù)覽圖像識別對象的表面以便將虛擬物體布置在識別的對象的表面上用于顯示的方法，本發(fā)明提供另外優(yōu)點(diǎn)，從而增強(qiáng)觀看體驗(yàn)。根據(jù)本發(fā)明的一方面，一種提供增強(qiáng)現(xiàn)實(shí)的方法包括:在預(yù)覽圖像模式期間顯示特定圖像；根據(jù)預(yù)定標(biāo)準(zhǔn)從特定圖像識別至少一個(gè)表面，以用于在該表面上現(xiàn)實(shí)虛擬對象；組合虛擬物體的圖像和特定圖像，以便將虛擬物體的圖像顯示在識別的至少一個(gè)表面上；顯示組合圖像。根據(jù)本發(fā)明的另一方面，一種支持增強(qiáng)現(xiàn)實(shí)的終端包括:相機(jī)，產(chǎn)生特定圖像；顯示單元，在預(yù)覽圖像模式期間顯示特定圖像；控制器，根據(jù)預(yù)定標(biāo)準(zhǔn)從特定圖像識別至少一個(gè)表面，組合虛擬物體的圖像和特定圖像以便將虛擬物體的圖像顯示在識別的至少一個(gè)表面上，并控制顯示單元輸出組合圖像。


通過以下結(jié)合附圖進(jìn)行的詳細(xì)描述，本發(fā)明的以上特征和優(yōu)點(diǎn)將變得更清楚，在附圖中:
圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的終端的配置的框圖；圖2是示意性地示出圖1示出的控制器的配置的框圖；圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的提供增強(qiáng)現(xiàn)實(shí)的方法的流程圖；圖4示出根據(jù)本發(fā)明的示例性實(shí)施例的提供增強(qiáng)現(xiàn)實(shí)的處理；圖5示出根據(jù)本發(fā)明的另一示例性實(shí)施例的提供增強(qiáng)現(xiàn)實(shí)的處理。
具體實(shí)施例方式在下文中，參照附圖詳細(xì)描述本發(fā)明的示例性實(shí)施例。貫穿附圖，相同的標(biāo)號表示相同或相似的部件。為了清晰簡明，可省略包含于此的已知功能和結(jié)構(gòu)的詳細(xì)描述，以避免使本發(fā)明的主題模糊。簡略地講，本發(fā)明通過將真實(shí)物體圖像與虛擬物體圖像組合，以便根據(jù)多個(gè)標(biāo)準(zhǔn)將虛擬物體布置并顯示在現(xiàn)實(shí)物體上，來提供具有提高的現(xiàn)實(shí)感的增強(qiáng)現(xiàn)實(shí)。為此，本發(fā)明的特征在于:本發(fā)明從特定圖像(例如，觀看或反映現(xiàn)實(shí)世界的對象的預(yù)覽圖像)分析色彩、邊緣和陰影以識別用于顯示虛擬物體的理想的對象的表面。本發(fā)明的特征在于:本發(fā)明改變或修改將被容納在對象上的虛擬物體，以提高觀看或顯示體驗(yàn)。在本發(fā)明中，虛擬物體是由2D圖像或3D圖像表達(dá)的物體。虛擬物體可與特定事件(例如，圖像、日程表和終端狀態(tài)警報(bào)事件)相關(guān)。因此，虛擬物體可以是指示與將被布置的對象相關(guān)的信息的物體。例如，如果對象是特定地點(diǎn)，則虛擬物體可以是與特定地點(diǎn)相關(guān)的旅游信息或?qū)ο罂梢允桥c特定的人相關(guān)的私人信息。圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的終端的配置的框圖。本發(fā)明的終端可包括電子裝置或移動終端，諸如便攜式電話、便攜式多媒體播放器(PMP)、數(shù)字廣播播放器、個(gè)人數(shù)字助理(PDA)、音樂文件播放器(例如，MP3播放器)、便攜式游戲終端、平板PC和智能電話。為了示例性目的，為了描述方便，以下描述假設(shè)本發(fā)明在智能手機(jī)中實(shí)現(xiàn)的情況下作出。參照圖1，根據(jù)本發(fā)明的實(shí)施例的終端100包括射頻(RF)通信單元110、輸入單元120、音頻處理器130、顯示單元140、相機(jī)150、存儲器160和控制器170。RF通信單元110在控制器170的控制下形成用于語音通話的通信信道、用于圖像通話的通信信道和用于發(fā)送圖像或消息的通信信道(稱為“數(shù)據(jù)通信信道”)。具體地講，本發(fā)明的RF通信單元110可通過數(shù)據(jù)通信信道發(fā)送根據(jù)本發(fā)明的實(shí)施例的用于請求圖像分析的消息并且接收響應(yīng)于該請求的圖像分析結(jié)果。例如，RF通信單元110可在控制器170的控制下將用于請求關(guān)于增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像、對象的色彩、對象的邊緣和對象的陰影中的至少一個(gè)的分析的消息發(fā)送到特定服務(wù)器。作為響應(yīng)，RF通信單元110可從特定服務(wù)器接收增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像分析結(jié)果。因此，控制器170可使用分析結(jié)果的參考識別對象的表面。本發(fā)明的RF通信單元110可通過數(shù)據(jù)通信信道接收由用戶輸入的或來自另一外部源的用于添加增強(qiáng)現(xiàn)實(shí)的圖像或者用于提供增強(qiáng)現(xiàn)實(shí)的虛擬物體圖像。輸入單元120接收各種字符信息并將輸入的與設(shè)置終端100的各種功能和功能控制相關(guān)的信號傳輸?shù)娇刂破?70。輸入單元120可由觸摸板、通用鍵布置的鍵盤和QWERTY類型的鍵盤之一或它們的組合配置。輸入單元120還可包括設(shè)置為執(zhí)行特定功能的功能鍵(諸如方向鍵、音量鍵和熱鍵)。具體地講，本發(fā)明的輸入單元120可產(chǎn)生由用戶產(chǎn)生的增強(qiáng)現(xiàn)實(shí)提供請求信號。為此，本發(fā)明的輸入單元120可產(chǎn)生用于選擇增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像和虛擬物體圖像的選擇信號。另外，輸入單元120可產(chǎn)生關(guān)于在增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像中識別對象的表面的方案的選擇信號。這里，用戶可選擇是使用特定分析元素還是使用色彩、邊緣和陰影的特定組合識別對象的表面。因此，控制器170可接收關(guān)于選擇表面識別方案的信號并分析增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像，以識別對象的表面?？刂破?70可包括用于確定圖像的亮度的亮度分析單元。輸入單元120可產(chǎn)生輸入信號設(shè)置，從而當(dāng)執(zhí)行圖像拍攝功能時(shí)，自動執(zhí)行增強(qiáng)現(xiàn)實(shí)提供程序。音頻處理器130包括:揚(yáng)聲器SPK，用于播放通話期間發(fā)送/接收的音頻數(shù)據(jù)、包括在接收的消息中的音頻數(shù)據(jù)和根據(jù)存儲在存儲器160中的音頻文件的回放的音頻數(shù)據(jù)；麥克風(fēng)MIC，用于在通話期間采集用戶的語音或其它音頻信號。具體地講，如果輸出應(yīng)用增強(qiáng)現(xiàn)實(shí)的圖像，則本發(fā)明的音頻處理器130可輸出相應(yīng)的效果聲音。根據(jù)用戶設(shè)置可省略效果聲音。顯示單元140根據(jù)終端100的操作，顯示用戶輸入的信息或者提供給用戶的信息，作為各種屏幕。具體地講，本發(fā)明的顯示單元140輸出增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像，并且輸出增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像，所述增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像可以是增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像和虛擬物體圖像的組合。例如，顯示單元140可在控制器170的控制下，通過輸出增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像從而將虛擬物體布置在增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像的對象上，來提供逼真的增強(qiáng)現(xiàn)實(shí)。當(dāng)在增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像中識別出對象的表面時(shí)，本發(fā)明的顯示單元140可突出并顯示識別的表面。顯示單元140支持2D圖形技術(shù)或3D圖形技術(shù)。相機(jī)150在控制器170的控制下被激活，并且相機(jī)150提供各種相機(jī)功能并支持與根據(jù)本發(fā)明的實(shí)施例的增強(qiáng)現(xiàn)實(shí)有關(guān)的功能。相機(jī)150可包括:相機(jī)傳感器，將光信號轉(zhuǎn)換為電信號；圖像信號處理器，將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號；數(shù)字信號處理器，對從圖像信號處理器輸出的視頻信號進(jìn)行圖像處理(縮放、去噪、RGB信號轉(zhuǎn)換)以將視頻信號顯示在顯示單元140上。這里，相機(jī)傳感器可包括CXD傳感器或CMOS傳感器，圖像信號處理器(未示出)的配置可由DSP實(shí)現(xiàn)。具體地講，本發(fā)明的相機(jī)150可拍攝對象以產(chǎn)生預(yù)覽圖像并將拍攝的預(yù)覽圖像存儲在存儲器160中。控制器170可將預(yù)覽圖像用作根據(jù)本發(fā)明的實(shí)施例的增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像。存儲器160存儲至少一個(gè)在根據(jù)本發(fā)明的實(shí)施例的功能操作中需要的應(yīng)用、由用戶產(chǎn)生的用戶數(shù)據(jù)、用網(wǎng)絡(luò)發(fā)送/接收的消息和根據(jù)應(yīng)用的執(zhí)行的數(shù)據(jù)。存儲器160可主要包括程序區(qū)域和數(shù)據(jù)區(qū)域。程序區(qū)域可存儲用于啟動終端100和用于操作各個(gè)組成元件的操作系統(tǒng)(OS)以及下載和安裝的應(yīng)用。具體地講，本發(fā)明的程序區(qū)域存儲增強(qiáng)現(xiàn)實(shí)提供程序161。增強(qiáng)現(xiàn)實(shí)提供程序161包括例行程序，所述例行程序從增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像中識別對象的表面以將虛擬物體布置和顯示在識別的對象的表面上。具體地講，根據(jù)本發(fā)明的實(shí)施例的增強(qiáng)現(xiàn)實(shí)提供程序161包括獲取增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像的例行程序、從增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像分析色彩、邊緣和陰影中的至少一個(gè)以識別對象的表面的例行程序、組合增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像和虛擬物體圖像以產(chǎn)生增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像從而在識別的表面上布置和顯示虛擬物體的例行程序、以及輸出增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像的例行程序。同時(shí)，將參照圖4和圖5詳細(xì)描述表面識別例行程序和產(chǎn)生增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像的例行程序。
數(shù)據(jù)區(qū)域是存儲根據(jù)終端100的使用產(chǎn)生的數(shù)據(jù)的區(qū)域。具體地講，本發(fā)明的數(shù)據(jù)區(qū)域存儲執(zhí)行增強(qiáng)現(xiàn)實(shí)提供程序161期間使用或產(chǎn)生的數(shù)據(jù)。例如，數(shù)據(jù)區(qū)域可存儲增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像、虛擬物體圖像、增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像和虛擬物體圖像的組合的增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像、以及表面識別方案?？刂破?70控制終端100的整體操作。具體地講，本發(fā)明的控制器170可從增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像(例如預(yù)覽圖像)識別對象的表面并且在識別的表面上布置和顯示虛擬物體，從而控制與增強(qiáng)現(xiàn)實(shí)相關(guān)的操作。例如，控制器170從增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像分析色彩、邊緣和陰影中的至少一個(gè)以識別對象的表面。然后，控制器170組合增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像和虛擬物體圖像以產(chǎn)生增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像，從而在識別的表面上布置和顯示虛擬物體。控制器170控制顯示單元140顯示產(chǎn)生的增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像，從而可提供更加逼真的增強(qiáng)現(xiàn)實(shí)。因?yàn)榭刂破?70支持虛擬物體(該虛擬物體指示與特定對象相關(guān)的信息，該特定對象將以信息量更豐富的增強(qiáng)現(xiàn)實(shí)的形式被表現(xiàn))，所以可向用戶提供改進(jìn)的信息傳輸效果或可添加更有趣的元素以提高增強(qiáng)現(xiàn)實(shí)體驗(yàn)。為此，控制器170可包括如圖2所示的組成元件。圖2是示意性示出圖1所示的控制器170的配置的框圖。參照圖2，本發(fā)明的控制器170包括虛擬物體圖像管理器171、增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173和屏幕輸出單元175。在操作中，虛擬物體圖像管理器171通過把將被布置和顯示的虛擬物體改變?yōu)樘摂M物體與特定實(shí)時(shí)的、直接或間接的、物理的現(xiàn)實(shí)世界環(huán)境的景象的混合(即，增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像)來產(chǎn)生增強(qiáng)現(xiàn)實(shí)。為此，虛擬物體圖像管理器171可根據(jù)特定事件創(chuàng)建虛擬物體并產(chǎn)生適合于特定事件的圖像。這里，虛擬物體圖像管理器171可根據(jù)用戶的選擇或警報(bào)事件(諸如消息、日程表和終端100的狀態(tài))選擇虛擬物體。虛擬物體圖像管理器171還可通過改變虛擬物體的布置結(jié)構(gòu)來改變虛擬物體的圖像。例如，虛擬物體圖像管理器171可縮小、放大、2D旋轉(zhuǎn)、3D旋轉(zhuǎn)、或切割虛擬物體，或者將另一虛擬物體(諸如對話氣泡)添加到虛擬物體，以改變和修改虛擬物體的整體外觀。因此，虛擬物體圖像管理器171可改變或修改與對象的接觸部分的尺寸，虛擬物體圖像布置在所述接觸部分。增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173組合增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像和虛擬物體圖像以加強(qiáng)增強(qiáng)現(xiàn)實(shí)。詳細(xì)地講，增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173從增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像分析對象的色彩、邊緣和陰影中的至少一個(gè)以識別至少一個(gè)可布置虛擬物體的表面。增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173可控制RF通信單元110向特定服務(wù)器請求分析操作的代理執(zhí)行。增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173組合虛擬物體圖像和增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像以產(chǎn)生增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像。這里，增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173組合圖像，如同虛擬物體被布置在識別的表面上一樣。增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173將增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像存儲在存儲器160中，并且通知屏幕輸出單元175準(zhǔn)備好增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像。另外，增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173可確定是否可將虛擬物體布置在識別的表面上。增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173可確定識別的表面是否具有能夠在其上投影或接收虛擬物體的最小面積。即，增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173可確定面積和形狀以確定是否可將虛擬物體布置在識別的表面上。同時(shí)，如果識別的表面不具有容納虛擬物體的最小面積或合適的形狀，則增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173確定虛擬物體不可被布置在識別的表面上，并且可向虛擬物體圖像管理器171請求改變虛擬物體，從而可修改將被布置在識別的表面上的虛擬物體。
當(dāng)執(zhí)行用戶功能時(shí)，屏幕輸出單元175總體上控制顯示單元140輸出相應(yīng)的執(zhí)行屏幕。具體地講，根據(jù)本發(fā)明的實(shí)施例的屏幕輸出單元175控制顯示單元140輸出增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像，從而根據(jù)增強(qiáng)現(xiàn)實(shí)請求將虛擬物體布置并顯示在對象的表面上。即，當(dāng)從增強(qiáng)現(xiàn)實(shí)應(yīng)用單元173接收到指示增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像完成的信號時(shí)，屏幕輸出單元175訪問存儲器160以支持顯示增強(qiáng)現(xiàn)實(shí)應(yīng)用圖像。圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的提供增強(qiáng)現(xiàn)實(shí)的方法的流程圖。在下文中，為了描述方便，通過示例假設(shè)將增強(qiáng)現(xiàn)實(shí)提供給在相機(jī)拍攝模式下提供的預(yù)覽圖像做出本發(fā)明。因此，預(yù)覽圖像對應(yīng)于增強(qiáng)現(xiàn)實(shí)目標(biāo)圖像，然而，本領(lǐng)域普通技術(shù)人員將理解本發(fā)明可應(yīng)用于預(yù)覽圖像和拍攝的圖像。參照圖3，控制器170接收增強(qiáng)現(xiàn)實(shí)請求(310)。增強(qiáng)現(xiàn)實(shí)請求可通過輸入單元120從用戶接收或當(dāng)特定事件(諸如警報(bào)事件或通知事件)發(fā)生時(shí)被產(chǎn)生。當(dāng)這樣的事件發(fā)生時(shí)，控制器170訪問存儲器160以獲取預(yù)覽圖像和虛擬物體圖像(320)。可由用戶預(yù)先選擇或可根據(jù)特定事件預(yù)設(shè)虛擬物體圖像。控制器170可分析預(yù)覽圖像的色彩、邊緣和陰影中的至少一個(gè)(330)并且嘗試識別能夠布置虛擬物體圖像的至少一個(gè)表面。例如，控制器170可掃描預(yù)覽圖像以確定預(yù)覽圖像的色彩組成。在這種情況下，控制器170可通過色彩分析單元確定預(yù)覽圖像的色彩組成，所述色彩分析單元可以是宏塊或像素單元。接下來，控制器170可確定具有一種色彩的預(yù)定區(qū)域。在這種情況下，控制器170可確定具有特定范圍內(nèi)的預(yù)定亮度的各種色彩。在實(shí)施例中，控制器170可識別由同樣的色彩配置的區(qū)域作為用于布置虛擬物體的表面?？刂破?70還可從預(yù)覽圖像檢測邊緣。如果有被邊緣劃分的封閉區(qū)域，則控制器170可將由封閉區(qū)域限定的表面識別為用于布置虛擬物體的表面。控制器170還可從預(yù)覽圖像確定陰影區(qū)域并且使用陰影區(qū)域信息識別能夠布置虛擬物體的表面。例如，控制器170可通過亮度分析單元確定預(yù)覽圖像的亮度級別以檢測陰影區(qū)域。所述亮度分析單元可以是宏塊或像素單元。另外，為了檢測陰影區(qū)域，控制器170可確定具有低亮度級別(即，深灰級別)的區(qū)域并確定具有低亮度級別的區(qū)域是否具有預(yù)定形狀。如果陰影區(qū)域被確定，則控制器170可使用與陰影區(qū)域接觸的表面的邊界識別能夠布置虛擬物體的表面。在可選實(shí)施例中，控制器170可使用上述表面識別方案的組合來分析預(yù)覽圖像。例如，控制器170可使用色彩變化提取邊緣并識別能夠布置虛擬物體的表面。控制器170可檢測陰影區(qū)域并確定與陰影相關(guān)的邊緣。相反地，如果在步驟340沒有識別到表面，則控制器170終止提供增強(qiáng)現(xiàn)實(shí)的處理。可選擇地，控制器170可按照用戶命令或默認(rèn)方案控制虛擬物體顯示在顯示單元內(nèi)的特定點(diǎn)上。如果識別到能夠布置虛擬物體的表面(340)，則控制器170還確定是否可將虛擬物體布置在識別的表面上(350)。這里，控制器170可確定是否可將虛擬物體布置在識別的表面上。例如，當(dāng)識別的表面的尺寸等于或大于虛擬物體的尺寸時(shí)，控制器170確定可在識別的表面上布置虛擬物體并且進(jìn)入步驟360。如果在步驟340識別到足夠顯示虛擬物體的多個(gè)表面，則控制器170比較識別的表面的面積和形狀(350)。這里，當(dāng)確定是否可布置虛擬物體時(shí)，控制器170選擇具有最大面積的表面或可將虛擬物體穩(wěn)定地布置在其中的表面。確定不可在識別的表面上布置虛擬物體，控制器170改變或修改將被布置在識別的表面上的虛擬物體(355)。為此，控制器170可縮小、旋轉(zhuǎn)和切割將被布置在識別的表面的區(qū)域上的虛擬物體?？刂破?70還可添加另一虛擬物體(例如對話氣泡)連同修改的虛擬物體。因此，控制器170可調(diào)整虛擬物體的尺寸。根據(jù)改變，虛擬物體被改變?yōu)榫哂杏邢薜慕佑|表面、線或點(diǎn)。這樣，可在識別的表面上布置虛擬物體。其后，控制器170將虛擬物體的圖像與預(yù)覽圖像組合以產(chǎn)生組合圖像，從而將虛擬物體布置并顯示在識別的表面上(360)。之后，控制器170輸出組合圖像(370)并終止提供增強(qiáng)現(xiàn)實(shí)的程序。在下文中，將參考圖4和圖5描述識別在特定圖像(例如，預(yù)覽圖像)中的各種表面和各種虛擬物體圖像的方法。為了示例性目的，假定在輸出預(yù)覽圖像期間接收到增強(qiáng)現(xiàn)實(shí)請求，并且將增強(qiáng)現(xiàn)實(shí)提供給預(yù)覽圖像，進(jìn)行以下描述。圖4示出根據(jù)本發(fā)明的示例性實(shí)施例的提供增強(qiáng)現(xiàn)實(shí)的操作。參照圖4，如屏幕401所示，控制器170在相機(jī)拍攝模式期間控制顯示單元140輸出預(yù)覽圖像?？刂破?70可從用戶接收增強(qiáng)現(xiàn)實(shí)請求?？蛇x擇地，增強(qiáng)現(xiàn)實(shí)請求可以是響應(yīng)于接收到進(jìn)入的消息、呼叫或郵件而接收的一種警報(bào)事件或通知事件。因此，控制器170可使用增強(qiáng)現(xiàn)實(shí)支持一種通知功能。如果在圖像拍攝模式期間，在終端100中發(fā)生警報(bào)事件或通知事件(諸如消息、電話呼叫和日程表)，則控制器170可提供與當(dāng)前執(zhí)行的功能相關(guān)的增強(qiáng)現(xiàn)實(shí)。如屏幕403所示，響應(yīng)于上述的增強(qiáng)現(xiàn)實(shí)請求，控制器170可分析預(yù)覽圖像的色彩、邊緣和陰影中的至少一個(gè)以檢測多個(gè)表面，例如，表面“A”、表面“B”、表面“C”和表面“D”。例如，控制器170可從預(yù)覽圖像分析每個(gè)表面的色彩。在所述實(shí)施例中，控制器170可將在區(qū)域內(nèi)具有相同色彩的預(yù)定區(qū)域識別為一個(gè)表面。另外，控制器170還可通過色彩分析從檢測的表面識別指示邊緣的圖案，然后識別表面。即，控制器170可分析圖像以從預(yù)覽圖像檢測邊緣。因此，控制器170確定對象的邊緣，然后將被邊緣分開的區(qū)域識別為用于布置和顯示虛擬物體的可能的表面。接下來，控制器170可確定虛擬物體(例如，足夠大的顯示“電話450”圖像的表面面積)是否包括在檢測的表面中。這里，控制器170可考慮檢測的表面的面積和形狀?？刂破?70可確定檢測的表面中的表面“A”具有最大的面積和能夠顯示“電話450”圖像的尺寸和形狀。如上所述，在確定可布置虛擬物體的表面后，如屏幕405所示，控制器170可組合“電話450”的圖像與預(yù)覽圖像并且在顯示單元上輸出組合圖像。在這種情況下，控制器170可組合兩個(gè)圖像，從而提供“電話450”被布置在識別的表面“A”上的增強(qiáng)現(xiàn)實(shí)。同時(shí)，除了屏幕405中顯示的“電話450”圖像外，虛擬物體可具有各種形式?？刂破?70可改變虛擬物體，從而可根據(jù)識別的面積將虛擬物體布置在表面上。在這種情況下，如在下文中所述，控制器170可將虛擬物體改變?yōu)楦鞣N形狀和/或尺寸。如果確定識別的表面具有不合適的尺寸并且不足以接收虛擬物體，則如屏幕407所示，控制器170可旋轉(zhuǎn)并切割虛擬物體(即，“信封450”)的一部分，然后，將虛擬物體的切割部分顯示為線。因此，控制器170可將“信封450”布置在識別的表面“A”上并且提供如“信封450”插入到書上的增強(qiáng)現(xiàn)實(shí)?？蛇x擇地，如屏幕409所示，控制器170可組合“信封450”和諸如對話氣泡455的另一虛擬物體，以在表面“A”的預(yù)定點(diǎn)上顯示組合結(jié)果。在另一可選擇的實(shí)施例中，控制器170可提供如可移動的虛擬物體的增強(qiáng)現(xiàn)實(shí)。例如，如屏幕410所示，控制器170控制顯示器模擬信封450在識別的表面“A”上以環(huán)形方式移動。如上所述，在從由色彩相似、邊緣和顯示區(qū)域之一限定的預(yù)覽圖像檢測至少一個(gè)表面后，可改變和/或調(diào)整虛擬圖像的各種形式以使其被顯示在檢測的表面上。圖5是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的提供增強(qiáng)現(xiàn)實(shí)的屏幕的示例性示圖。參照圖5，控制器170控制顯示單元140顯示如屏幕501所示的預(yù)覽圖像。當(dāng)輸出預(yù)覽圖像時(shí)，控制器170可接收增強(qiáng)現(xiàn)實(shí)請求，并且作為響應(yīng)，分析如屏幕503示出的預(yù)覽圖像的陰影“E”。在這種情況下，控制器170可基于黑色級別從預(yù)覽圖像識別灰色陰影區(qū)域“E”?？蛇x擇地，控制器170可使用照度傳感器分析預(yù)覽圖像的陰影“E”。在確定陰影“E”后，控制器170可確定陰影“E”的輪廓。其后，控制器170識別由陰影“E”限定的邊界以確定與邊界接觸的表面“F”，所述表面“F”可被用于顯示虛擬物體?？蛇x擇地，控制器170可分析由陰影區(qū)域“E”限定的色彩亮度或由陰影“E”的輪廓限定的邊緣以識別表面“F”，虛擬物體可顯示在所述表面“F”上。如上所述，本發(fā)明可從特定圖像(例如，預(yù)覽圖像)識別對象的表面，然后在識別的現(xiàn)實(shí)表面上顯示虛擬物體，從而提供更刺激和真實(shí)方式的更前的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。根據(jù)本發(fā)明的上述方法可以以硬件、固件來實(shí)現(xiàn)，或者實(shí)現(xiàn)為能夠存儲在記錄介質(zhì)(諸如CD ROM、RAM、軟盤、硬盤或磁光盤)中的軟件或計(jì)算機(jī)代碼或通過網(wǎng)絡(luò)下載的計(jì)算機(jī)代碼，所述計(jì)算機(jī)代碼最初存儲在遠(yuǎn)程記錄介質(zhì)或非暫時(shí)性機(jī)器可讀介質(zhì)上并將被存儲在本地記錄介質(zhì)上，從而這里描述的方法可使用通用計(jì)算機(jī)或?qū)Ｓ锰幚砥鳎蛘咴诳删幊袒驅(qū)Ｓ糜布?諸如ASIC或FPGA)中，以存儲在記錄介質(zhì)上的軟件來實(shí)現(xiàn)。正如本領(lǐng)域中所理解的那樣，計(jì)算機(jī)、處理器、微處理器控制器或可編程硬件包括可存儲或接收軟件或計(jì)算機(jī)代碼的存儲器組件(例如，RAM、ROM、閃存等)，其中，當(dāng)通過計(jì)算機(jī)、處理器或硬件訪問和執(zhí)行所述軟件或計(jì)算機(jī)代碼時(shí)，所述軟件或計(jì)算機(jī)代碼執(zhí)行描述于此的處理方法。此外，將認(rèn)識到，當(dāng)通用計(jì)算機(jī)訪問用于執(zhí)行顯示于此的處理的代碼時(shí)，代碼的執(zhí)行將通用計(jì)算機(jī)轉(zhuǎn)變?yōu)橛糜趫?zhí)行顯示于此的處理的專用計(jì)算機(jī)。盡管以上詳細(xì)描述了本發(fā)明的示例性實(shí)施例，但是應(yīng)該清楚地理解，對本領(lǐng)域技術(shù)人員可能出現(xiàn)的這里教導(dǎo)的基本發(fā)明構(gòu)思的許多改變和修改仍將落入權(quán)利要求限定的本發(fā)明的精神和范圍。
權(quán)利要求
1.一種提供增強(qiáng)現(xiàn)實(shí)的方法，所述方法包括: 在預(yù)覽圖像模式期間顯示特定圖像； 根據(jù)預(yù)定標(biāo)準(zhǔn)從特定圖像識別至少一個(gè)表面，以用于在所述表面上顯示虛擬物體； 組合虛擬物體的圖像和特定圖像，以便將虛擬物體的圖像顯示在識別的至少一個(gè)表面上; 顯示組合圖像。
2.如權(quán)利要求1所述的方法，其中，識別至少一個(gè)表面的步驟包括:從特定圖像分析色彩、邊緣和陰影中的至少一個(gè)。
3.如權(quán)利要求2所述的方法，其中，識別至少一個(gè)表面的步驟包括:確定具有一種色彩的區(qū)域； 將確定的具有一種色彩的區(qū)域識別為所述至少一個(gè)表面。
4.如權(quán)利要求3所述的方法，還包括:從所述區(qū)域中搜索邊緣以將由邊緣限定的封閉區(qū)域識別為所述至少一個(gè)表面。
5.如權(quán)利要求3所述的方法，其中，所述區(qū)域具有預(yù)定亮度差。
6.如權(quán)利要求2所述的方法，其中，識別至少一個(gè)表面的步驟包括:將由邊緣劃分的區(qū)域識別為所述至少一個(gè)表面。
7.如權(quán)利要求2所述的方法，其中，識別至少一個(gè)表面的步驟包括:使用在所述表面上檢測的陰影邊界識別所述至少一個(gè)表面。
8.如權(quán)利要求1所述的方法，還包括: 確定虛擬物體是否能夠容納在所述至少一個(gè)表面內(nèi)； 當(dāng)虛擬物體不能容納在所述至少一個(gè)表面內(nèi)時(shí)，通過調(diào)整虛擬物體的尺寸將虛擬物體顯示在所述至少一個(gè)表面的有限的接觸表面、線或點(diǎn)上。
9.如權(quán)利要求1所述的方法，其中，虛擬物體通過2D圖像或3D圖像表達(dá)，其中，虛擬物體指示消息、日程表和終端狀態(tài)警報(bào)事件或與特定圖像相關(guān)的信息。
10.一種支持增強(qiáng)現(xiàn)實(shí)的終端，所述終端包括: 相機(jī)，產(chǎn)生特定圖像； 顯示單元，在預(yù)覽圖像模式期間顯示特定圖像； 控制器，根據(jù)預(yù)定標(biāo)準(zhǔn)從特定圖像識別至少一個(gè)表面，組合虛擬物體的圖像和特定圖像以便將虛擬物體的圖像顯示在識別的至少一個(gè)表面上，并控制顯示單元輸出組合圖像。
11.如權(quán)利要求10所述的終端，其中，控制器從特定圖像分析色彩、邊緣和陰影中的至少一個(gè)以識別所述至少一個(gè)表面。
12.如權(quán)利要求11所述的終端，其中，控制器從特定圖像中將具有一種色彩的區(qū)域確定為所述至少一個(gè)表面，其中，具有一種色彩的區(qū)域具有預(yù)定亮度差。
13.如權(quán)利要求11所述的終端，其中，控制器將在特定圖像中由邊緣限定的區(qū)域識別為所述至少一個(gè)表面。
14.如權(quán)利要求11所述的終端，其中，控制器使用陰影邊界識別所示至少一個(gè)表面。
15.如權(quán)利要求10所述的終端，其中，控制器根據(jù)識別的至少一個(gè)表面的面積和尺寸調(diào)整、放大、2D旋轉(zhuǎn)、3D旋轉(zhuǎn)或切割虛擬物體，或者將虛擬物體添加到另一虛擬物體，從而將虛擬物體顯示在所述至少一個(gè)表面內(nèi)。
全文摘要
一種提供增強(qiáng)現(xiàn)實(shí)的方法和支持該方法的終端。所述支持增強(qiáng)現(xiàn)實(shí)的終端包括相機(jī)，產(chǎn)生特定圖像；顯示單元，在預(yù)覽圖像模式期間顯示特定圖像；控制器，根據(jù)預(yù)定標(biāo)準(zhǔn)從特定圖像識別至少一個(gè)表面，組合虛擬物體的圖像和特定圖像以便將虛擬物體的圖像顯示在識別的至少一個(gè)表面上，并控制顯示單元輸出組合圖像。
文檔編號H04M1/725GK103207728SQ20131001029
公開日2013年7月17日 申請日期2013年1月11日 優(yōu)先權(quán)日2012年1月12日
發(fā)明者金凞云, 姜志營, 金敬和 申請人:三星電子株式會社