本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù),尤其涉及增強(qiáng)現(xiàn)實(shí)技術(shù)中的信息處理方法及電子設(shè)備。
背景技術(shù):
增強(qiáng)現(xiàn)實(shí)(AR,Augmented Reality)技術(shù)是把虛擬信息或?qū)ο笕诤系秸鎸?shí)場景當(dāng)中的一種技術(shù),以實(shí)現(xiàn)用戶與真實(shí)或虛擬客體/場景之間的交互。對(duì)于投影終端用戶而言,真實(shí)和虛擬客體同時(shí)存在,目前的交互操作是在用戶與虛擬客體之間,但是對(duì)于真實(shí)客體與虛擬客體之間的交互,以及基于這兩種客體交互的基礎(chǔ)上再與用戶之間發(fā)生的交互,并沒有相關(guān)解決方案。
技術(shù)實(shí)現(xiàn)要素:
為解決上述技術(shù)問題,本發(fā)明實(shí)施例提供了一種信息處理方法及電子設(shè)備。
本發(fā)明實(shí)施例提供的信息處理方法,應(yīng)用于電子設(shè)備,所述電子設(shè)備具有投影模塊,利用所述投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容,所述方法包括:
采集所述目標(biāo)區(qū)域處的圖像;
對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,并確定出所述目標(biāo)物體的屬性信息;
根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象;
結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容;
向所述目標(biāo)區(qū)域投射所述第二內(nèi)容。
本發(fā)明實(shí)施例中,所述方法還包括:
根據(jù)所述目標(biāo)物體的物理屬性,生成所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象的畫面;
向所述目標(biāo)區(qū)域投射所述第二內(nèi)容時(shí),將所述虛擬對(duì)象的畫面投射在對(duì)應(yīng)的目標(biāo)物體上。
本發(fā)明實(shí)施例中,所述對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,并確定出所述目標(biāo)物體的屬性信息,包括:
對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體;
在數(shù)據(jù)庫中查找與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),所述類型標(biāo)識(shí)用于表征所述目標(biāo)物體的屬性信息。
本發(fā)明實(shí)施例中,所述方法還包括:
根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;
當(dāng)所述第一內(nèi)容中的第一對(duì)象相對(duì)于所述虛擬對(duì)象觸發(fā)第一事件時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述第一對(duì)象相對(duì)于所述虛擬對(duì)象響應(yīng)的第二事件;
控制所述第一對(duì)象執(zhí)行所述第二事件,以對(duì)所述第一事件進(jìn)行響應(yīng)。
本發(fā)明實(shí)施例中,當(dāng)所述第一事件表明所述第一對(duì)象移動(dòng)至所述虛擬對(duì)象時(shí),所述根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述第一對(duì)象相對(duì)于所述虛擬對(duì)象響應(yīng)的第二事件,包括:
根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的運(yùn)動(dòng)路徑,其中,所述運(yùn)動(dòng)路徑基于所述虛擬對(duì)象的位置而確定。
本發(fā)明實(shí)施例中,所述根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述第一對(duì)象相對(duì)于所述虛擬對(duì)象響應(yīng)的第二事件,包括:
根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的顯示效果;其中,所述顯示效果基于所述虛擬對(duì)象作用在所述第一對(duì)象上的動(dòng)作而確定。
本發(fā)明實(shí)施例中,所述方法還包括:
根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;
當(dāng)獲得針對(duì)所述虛擬對(duì)象的第三操作時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述虛擬對(duì)象響應(yīng)的第四操作;
控制所述虛擬對(duì)象執(zhí)行所述第四操作,以對(duì)所述第三操作進(jìn)行響應(yīng)。
本發(fā)明實(shí)施例提供的電子設(shè)備具有投影模塊,利用所述投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容,所述電子設(shè)備還包括:
圖像采集模塊,用于采集所述目標(biāo)區(qū)域處的圖像;
處理模塊,用于對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,并確定出所述目標(biāo)物體的屬性信息;根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象;結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容;
所述投影模塊,用于向所述目標(biāo)區(qū)域投射所述第二內(nèi)容。
本發(fā)明實(shí)施例中,所述處理模塊,還用于根據(jù)所述目標(biāo)物體的物理屬性,生成所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象的畫面;
所述投影模塊,還用于向所述目標(biāo)區(qū)域投射所述第二內(nèi)容時(shí),將所述虛擬對(duì)象的畫面投射在對(duì)應(yīng)的目標(biāo)物體上。
本發(fā)明實(shí)施例中,所述處理模塊,還用于對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體;在數(shù)據(jù)庫中查找與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),所述類型標(biāo)識(shí)用于表征所述目標(biāo)物體的屬性信息。
本發(fā)明實(shí)施例中,所述處理模塊,還用于根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;當(dāng)所述第一內(nèi)容中的第一對(duì)象相對(duì)于所述虛擬對(duì)象觸發(fā)第一事件時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述第一對(duì)象相對(duì)于所述虛擬對(duì)象響應(yīng)的第二事件;控制所述第一對(duì)象執(zhí)行所述第二事件,以對(duì)所述第一事件進(jìn)行響應(yīng)。
本發(fā)明實(shí)施例中,所述處理模塊,還用于根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的運(yùn)動(dòng)路徑,其中,所述運(yùn)動(dòng)路徑基于所述虛擬對(duì)象的位置而確定。
本發(fā)明實(shí)施例中,所述處理模塊,還用于根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的顯示效果;其中,所述顯示效果基于所述虛擬對(duì)象作用在所述第一對(duì)象上的動(dòng)作而確定。
本發(fā)明實(shí)施例中,所述處理模塊,還用于根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;當(dāng)獲得針對(duì)所述虛擬對(duì)象的第三操作時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述虛擬對(duì)象響應(yīng)的第四操作;控制所述虛擬對(duì)象執(zhí)行所述第四操作,以對(duì)所述第三操作進(jìn)行響應(yīng)。
本發(fā)明實(shí)施例的技術(shù)方案中,電子設(shè)備具有投影模塊,利用所述投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容。采集所述目標(biāo)區(qū)域處的圖像;對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,并確定出所述目標(biāo)物體的屬性信息;根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象;結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容;向所述目標(biāo)區(qū)域投射所述第二內(nèi)容??梢?,本發(fā)明實(shí)施例將現(xiàn)實(shí)環(huán)境中的真實(shí)對(duì)象虛擬化為虛擬對(duì)象,這樣,使用戶/真實(shí)客體/虛擬客體三者之間均能夠?qū)崿F(xiàn)交互,增強(qiáng)用戶對(duì)真實(shí)世界的感知,尤其是加強(qiáng)了用戶在投影環(huán)境下的沉浸感。
附圖說明
圖1為本發(fā)明實(shí)施例一的信息處理方法的流程示意圖;
圖2為本發(fā)明實(shí)施例二的信息處理方法的流程示意圖;
圖3為本發(fā)明實(shí)施例三的信息處理方法的流程示意圖;
圖4為本發(fā)明實(shí)施例四的信息處理方法的流程示意圖;
圖5為本發(fā)明實(shí)施例五至實(shí)施例八的電子設(shè)備的結(jié)構(gòu)組成示意圖。
具體實(shí)施方式
為了能夠更加詳盡地了解本發(fā)明實(shí)施例的特點(diǎn)與技術(shù)內(nèi)容,下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的實(shí)現(xiàn)進(jìn)行詳細(xì)闡述,所附附圖僅供參考說明之用,并非用來限定本發(fā)明實(shí)施例。
圖1為本發(fā)明實(shí)施例一的信息處理方法的流程示意圖,本示例中的信息處理方法應(yīng)用于電子設(shè)備,所述電子設(shè)備具有投影模塊,利用所述投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容;如圖1所示,所述電子設(shè)備包括:
步驟101:采集所述目標(biāo)區(qū)域處的圖像。
本發(fā)明實(shí)施例中,電子設(shè)備可以是手機(jī)、平板電腦、筆記本等電子設(shè)備。所述電子設(shè)備具有投影模塊,例如投影儀,利用投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容。這里,目標(biāo)區(qū)域是指投影模塊能夠?qū)⒐饩€投射到的區(qū)域范圍,目標(biāo)區(qū)域與投影模塊的光學(xué)參數(shù)相關(guān),也與投影模塊相對(duì)于投影面的距離相關(guān)。實(shí)際應(yīng)用中,將電子設(shè)備中的投影模塊置于特定位置時(shí),該投影模塊向投影面投射光線的區(qū)域即為目標(biāo)區(qū)域。
本發(fā)明實(shí)施例中,投影模塊投射出的第一內(nèi)容的形式多樣,可以是一段視頻或一個(gè)游戲界面等,其中,第一內(nèi)容中包括第一對(duì)象,第一對(duì)象指代第一內(nèi)容中的虛擬物體,例如游戲中的人物。
本發(fā)明實(shí)施例中,電子設(shè)備還具有圖像采集模塊,例如攝像頭,在一實(shí)施方式中,所述攝像頭為三維(3D)景深攝像機(jī),利用3D景深攝像機(jī)能夠采集三維圖像信息。
本發(fā)明實(shí)施例中,電子設(shè)備利用投影模塊向目標(biāo)區(qū)域投射第一內(nèi)容時(shí),可以利用圖像采集模塊采集目標(biāo)區(qū)域的圖像。這里,目標(biāo)區(qū)域的圖像表征了目標(biāo)區(qū)域處的真實(shí)客體或者真實(shí)場景。
步驟102:對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,并確定出所述目標(biāo)物體的屬性信息。
本發(fā)明實(shí)施例中,采集到目標(biāo)區(qū)域處的圖像后,對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,這里,所述目標(biāo)物體即為真實(shí)場景中的真實(shí)客體。
本發(fā)明實(shí)施例中,每個(gè)目標(biāo)物體均對(duì)應(yīng)一個(gè)屬性信息,該屬性信息表明了目標(biāo)物體是何種物體,例如桌子、凳子、相框等等;或該屬性信息表明目標(biāo)物體的物理屬性,如硬度、溫度、高度等等。
具體實(shí)現(xiàn)時(shí),確定出所述目標(biāo)物體的屬性信息即為識(shí)別真實(shí)客體信息:通過3D景深攝像機(jī)采集真實(shí)客體的圖像,通過圖像匹配,得到真實(shí)客體的屬性信息,即識(shí)別到該真實(shí)客體是什么,更為具體地,還可以識(shí)別出該真實(shí)客體的尺寸形狀以及靜態(tài)物理信息、運(yùn)動(dòng)狀態(tài)信息等。
步驟103:根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象。
本發(fā)明實(shí)施例中,通過解析得到所述目標(biāo)物體的屬性信息后,根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象,即為真實(shí)客體對(duì)應(yīng)的虛擬對(duì)象。
步驟104:結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容;向所述目標(biāo)區(qū)域投射所述第二內(nèi)容。
本發(fā)明實(shí)施例中,第二內(nèi)容基于所述虛擬對(duì)象和所述第一內(nèi)容而生成,其中,虛擬對(duì)象代表了真實(shí)客體,第一內(nèi)容代表了虛擬場景,而虛擬場景中具有其他虛擬對(duì)象。
本發(fā)明實(shí)施例中,向所述目標(biāo)區(qū)域投射所述第二內(nèi)容以對(duì)第二內(nèi)容進(jìn)行顯示,用于看到的第二內(nèi)容分為以下幾種情況:
第一種情況,第二內(nèi)容中對(duì)原來的第一內(nèi)容進(jìn)行顯示,而虛擬對(duì)象不顯示。
第二種情況,第二內(nèi)容中同時(shí)對(duì)原來的第一內(nèi)容和虛擬對(duì)象進(jìn)行顯示。
第三種情況,第二內(nèi)容中對(duì)原來的第一內(nèi)容進(jìn)行顯示,但是,顯示的第一內(nèi)容將改變?cè)瓉淼娘@示效果,改變的方式基于虛擬對(duì)象而確定,這種情況下,虛擬對(duì)象對(duì)原來的第一內(nèi)容實(shí)施了視覺交互,視覺交互包括虛實(shí)客體間的陰影/遮擋/各類反射/折射和顏色滲透等。
第四種情況,第二內(nèi)容中時(shí)對(duì)原來的第一內(nèi)容和虛擬對(duì)象進(jìn)行顯示,并且,顯示的第一內(nèi)容以及虛擬對(duì)象的顯示效果,基于兩者之間的視覺交互而確定,視覺交互包括虛實(shí)客體間的陰影/遮擋/各類反射/折射和顏色滲透等。
本發(fā)明實(shí)施例將基于真實(shí)客體生成的虛擬對(duì)象融入進(jìn)行虛擬場景中,作為虛擬場景的一部分。這樣,真實(shí)客體加上原有的虛擬場景,轉(zhuǎn)化成為一個(gè)新的增強(qiáng)現(xiàn)實(shí)的場景,從而實(shí)現(xiàn)了虛實(shí)客體的結(jié)合。
圖2為本發(fā)明實(shí)施例二的信息處理方法的流程示意圖,本示例中的信息處理方法應(yīng)用于電子設(shè)備,所述電子設(shè)備具有投影模塊,利用所述投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容;如圖2所示,所述電子設(shè)備包括:
步驟201:采集所述目標(biāo)區(qū)域處的圖像。
本發(fā)明實(shí)施例中,電子設(shè)備可以是手機(jī)、平板電腦、筆記本等電子設(shè)備。所述電子設(shè)備具有投影模塊,例如投影儀,利用投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容。這里,目標(biāo)區(qū)域是指投影模塊能夠?qū)⒐饩€投射到的區(qū)域范圍,目標(biāo)區(qū)域與投影模塊的光學(xué)參數(shù)相關(guān),也與投影模塊相對(duì)于投影面的距離相關(guān)。實(shí)際應(yīng)用中,將電子設(shè)備中的投影模塊置于特定位置時(shí),該投影模塊向投影面投射光線的區(qū)域即為目標(biāo)區(qū)域。
本發(fā)明實(shí)施例中,投影模塊投射出的第一內(nèi)容的形式多樣,可以是一段視頻或一個(gè)游戲界面等,其中,第一內(nèi)容中包括第一對(duì)象,第一對(duì)象指代第一內(nèi)容中的虛擬物體,例如游戲中的人物。
本發(fā)明實(shí)施例中,電子設(shè)備還具有圖像采集模塊,例如攝像頭,在一實(shí)施方式中,所述攝像頭為三維(3D)景深攝像機(jī),利用3D景深攝像機(jī)能夠采集三維圖像信息。
本發(fā)明實(shí)施例中,電子設(shè)備利用投影模塊向目標(biāo)區(qū)域投射第一內(nèi)容時(shí),可以利用圖像采集模塊采集目標(biāo)區(qū)域的圖像。這里,目標(biāo)區(qū)域的圖像表征了目標(biāo)區(qū)域處的真實(shí)客體或者真實(shí)場景。
步驟202:對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,并確定出所述目標(biāo)物體的屬性信息。
本發(fā)明實(shí)施例中,采集到目標(biāo)區(qū)域處的圖像后,對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,這里,所述目標(biāo)物體即為真實(shí)場景中的真實(shí)客體。
本發(fā)明實(shí)施例中,每個(gè)目標(biāo)物體均對(duì)應(yīng)一個(gè)屬性信息,該屬性信息表明了目標(biāo)物體是何種物體,例如桌子、凳子、相框等等;或該屬性信息表明目標(biāo)物體的物理屬性,如硬度、溫度、高度等等。
具體實(shí)現(xiàn)時(shí),確定出所述目標(biāo)物體的屬性信息即為識(shí)別真實(shí)客體信息:通過3D景深攝像機(jī)采集真實(shí)客體的圖像,通過圖像匹配,得到真實(shí)客體的屬性信息,即識(shí)別到該真實(shí)客體是什么,更為具體地,還可以識(shí)別出該真實(shí)客體的尺寸形狀以及靜態(tài)物理信息、運(yùn)動(dòng)狀態(tài)信息等。
步驟203:根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象。
本發(fā)明實(shí)施例中,通過解析得到所述目標(biāo)物體的屬性信息后,根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象,即為真實(shí)客體對(duì)應(yīng)的虛擬對(duì)象。
步驟204:結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容。
本發(fā)明實(shí)施例中,第二內(nèi)容基于所述虛擬對(duì)象和所述第一內(nèi)容而生成,其中,虛擬對(duì)象代表了真實(shí)客體,第一內(nèi)容代表了虛擬場景,而虛擬場景中具有其他虛擬對(duì)象。
步驟205:根據(jù)所述目標(biāo)物體的物理屬性,生成所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象的畫面;向所述目標(biāo)區(qū)域投射所述第二內(nèi)容時(shí),將所述虛擬對(duì)象的畫面投射在對(duì)應(yīng)的目標(biāo)物體上。
本發(fā)明實(shí)施例中,向所述目標(biāo)區(qū)域投射所述第二內(nèi)容以對(duì)第二內(nèi)容進(jìn)行顯示,具體地,顯示原來第一內(nèi)容的同時(shí),將所述虛擬對(duì)象的畫面投射在對(duì)應(yīng)的目標(biāo)物體上。第二內(nèi)容中即包括了原來的第一內(nèi)容,也包括了虛擬對(duì)象的畫面。在一實(shí)現(xiàn)方式中,第一內(nèi)容以及虛擬對(duì)象畫面的顯示效果,基于兩者之間的視覺交互而確定,視覺交互包括虛實(shí)客體間的陰影/遮擋/各類反射/折射和顏色滲透等。
本發(fā)明實(shí)施例將基于真實(shí)客體生成的虛擬對(duì)象融入進(jìn)行虛擬場景中,作為虛擬場景的一部分。這樣,真實(shí)客體加上原有的虛擬場景,轉(zhuǎn)化成為一個(gè)新的增強(qiáng)現(xiàn)實(shí)的場景,從而實(shí)現(xiàn)了虛實(shí)客體的結(jié)合。
圖3為本發(fā)明實(shí)施例三的信息處理方法的流程示意圖,本示例中的信息處理方法應(yīng)用于電子設(shè)備,所述電子設(shè)備具有投影模塊,利用所述投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容;如圖3所示,所述電子設(shè)備包括:
步驟301:采集所述目標(biāo)區(qū)域處的圖像。
本發(fā)明實(shí)施例中,電子設(shè)備可以是手機(jī)、平板電腦、筆記本等電子設(shè)備。所述電子設(shè)備具有投影模塊,例如投影儀,利用投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容。這里,目標(biāo)區(qū)域是指投影模塊能夠?qū)⒐饩€投射到的區(qū)域范圍,目標(biāo)區(qū)域與投影模塊的光學(xué)參數(shù)相關(guān),也與投影模塊相對(duì)于投影面的距離相關(guān)。實(shí)際應(yīng)用中,將電子設(shè)備中的投影模塊置于特定位置時(shí),該投影模塊向投影面投射光線的區(qū)域即為目標(biāo)區(qū)域。
本發(fā)明實(shí)施例中,投影模塊投射出的第一內(nèi)容的形式多樣,可以是一段視頻或一個(gè)游戲界面等,其中,第一內(nèi)容中包括第一對(duì)象,第一對(duì)象指代第一內(nèi)容中的虛擬物體,例如游戲中的人物。
本發(fā)明實(shí)施例中,電子設(shè)備還具有圖像采集模塊,例如攝像頭,在一實(shí)施方式中,所述攝像頭為三維(3D)景深攝像機(jī),利用3D景深攝像機(jī)能夠采集三維圖像信息。
本發(fā)明實(shí)施例中,電子設(shè)備利用投影模塊向目標(biāo)區(qū)域投射第一內(nèi)容時(shí),可以利用圖像采集模塊采集目標(biāo)區(qū)域的圖像。這里,目標(biāo)區(qū)域的圖像表征了目標(biāo)區(qū)域處的真實(shí)客體或者真實(shí)場景。
步驟302:對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體;在數(shù)據(jù)庫中查找與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),所述類型標(biāo)識(shí)用于表征所述目標(biāo)物體的屬性信息。
本發(fā)明實(shí)施例中,采集到目標(biāo)區(qū)域處的圖像后,對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,這里,所述目標(biāo)物體即為真實(shí)場景中的真實(shí)客體。
本發(fā)明實(shí)施例中,每個(gè)目標(biāo)物體均對(duì)應(yīng)一個(gè)屬性信息,該屬性信息表明了目標(biāo)物體是何種物體,例如桌子、凳子、相框等等;或該屬性信息表明目標(biāo)物體的物理屬性,如硬度、溫度、高度等等。
具體實(shí)現(xiàn)時(shí),確定出所述目標(biāo)物體的屬性信息即為識(shí)別真實(shí)客體信息:通過3D景深攝像機(jī)采集真實(shí)客體的圖像,通過圖像匹配,得到真實(shí)客體的屬性信息,即識(shí)別到該真實(shí)客體是什么,更為具體地,還可以識(shí)別出該真實(shí)客體的尺寸形狀以及靜態(tài)物理信息、運(yùn)動(dòng)狀態(tài)信息等。
本發(fā)明實(shí)施例中,數(shù)據(jù)庫存儲(chǔ)了多個(gè)物體對(duì)應(yīng)的類型標(biāo)識(shí),所述類型標(biāo)識(shí)用于表征所述物體的屬性信息,即該物體為什么物體。通過在數(shù)據(jù)庫中查找與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),即可確定所述目標(biāo)物體的屬性信息。
步驟303:根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象。
本發(fā)明實(shí)施例中,通過解析得到所述目標(biāo)物體的屬性信息后,根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象,即為真實(shí)客體對(duì)應(yīng)的虛擬對(duì)象。
步驟304:結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容;向所述目標(biāo)區(qū)域投射所述第二內(nèi)容。
本發(fā)明實(shí)施例中,第二內(nèi)容基于所述虛擬對(duì)象和所述第一內(nèi)容而生成,其中,虛擬對(duì)象代表了真實(shí)客體,第一內(nèi)容代表了虛擬場景,而虛擬場景中具有其他虛擬對(duì)象。
本發(fā)明實(shí)施例中,向所述目標(biāo)區(qū)域投射所述第二內(nèi)容以對(duì)第二內(nèi)容進(jìn)行顯示,用于看到的第二內(nèi)容分為以下幾種情況:
第一種情況,第二內(nèi)容中對(duì)原來的第一內(nèi)容進(jìn)行顯示,而虛擬對(duì)象不顯示。
第二種情況,第二內(nèi)容中同時(shí)對(duì)原來的第一內(nèi)容和虛擬對(duì)象進(jìn)行顯示。
第三種情況,第二內(nèi)容中對(duì)原來的第一內(nèi)容進(jìn)行顯示,但是,顯示的第一內(nèi)容將改變?cè)瓉淼娘@示效果,改變的方式基于虛擬對(duì)象而確定,這種情況下,虛擬對(duì)象對(duì)原來的第一內(nèi)容實(shí)施了視覺交互,視覺交互包括虛實(shí)客體間的陰影/遮擋/各類反射/折射和顏色滲透等。
第四種情況,第二內(nèi)容中時(shí)對(duì)原來的第一內(nèi)容和虛擬對(duì)象進(jìn)行顯示,并且,顯示的第一內(nèi)容以及虛擬對(duì)象的顯示效果,基于兩者之間的視覺交互而確定,視覺交互包括虛實(shí)客體間的陰影/遮擋/各類反射/折射和顏色滲透等。
本發(fā)明實(shí)施例將基于真實(shí)客體生成的虛擬對(duì)象融入進(jìn)行虛擬場景中,作為虛擬場景的一部分。這樣,真實(shí)客體加上原有的虛擬場景,轉(zhuǎn)化成為一個(gè)新的增強(qiáng)現(xiàn)實(shí)的場景,從而實(shí)現(xiàn)了虛實(shí)客體的結(jié)合。
步驟305:根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;當(dāng)所述第一內(nèi)容中的第一對(duì)象相對(duì)于所述虛擬對(duì)象觸發(fā)第一事件時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述第一對(duì)象相對(duì)于所述虛擬對(duì)象響應(yīng)的第二事件;控制所述第一對(duì)象執(zhí)行所述第二事件,以對(duì)所述第一事件進(jìn)行響應(yīng)。
本發(fā)明實(shí)施例中,虛擬對(duì)象作為虛擬場景中與真實(shí)客體對(duì)應(yīng)的一個(gè)對(duì)象,能夠與原來虛擬場景中的其他虛擬對(duì)象(即第一內(nèi)容中的第一對(duì)象)進(jìn)行交互,如符合物理規(guī)則交互,符合物理規(guī)則交互包括虛實(shí)客體間運(yùn)動(dòng)學(xué)上的約束/碰撞檢測和受外力影響產(chǎn)生的物理響應(yīng)等,還包括溫度變化、形狀變化等。
基于此,不同的虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略不同,基于與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),可確定出所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略。
例如,第一內(nèi)容中的第一對(duì)象為游戲中的人物,而虛擬對(duì)象對(duì)應(yīng)于真實(shí)客體的障礙物,當(dāng)游戲中的人物走到真實(shí)客體處時(shí),真實(shí)客體則被視為障礙物,本發(fā)明實(shí)施例中,將第一對(duì)象相對(duì)于所述虛擬對(duì)象的相互作用稱為第一事件,將虛擬對(duì)象相對(duì)于第一對(duì)象的相互作用稱為第二事件,事件的具體內(nèi)容包括虛實(shí)客體間運(yùn)動(dòng)學(xué)上的約束/碰撞檢測和受外力影響產(chǎn)生的物理響應(yīng)等,還包括溫度變化、形狀變化等。
在一實(shí)施方式中,根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的運(yùn)動(dòng)路徑,其中,所述運(yùn)動(dòng)路徑基于所述虛擬對(duì)象的位置而確定。
例如,將憤怒的小鳥(第一對(duì)象)投影到墻壁上,小鳥(第一對(duì)象)與掛在墻壁上的真實(shí)畫框(真實(shí)客體對(duì)應(yīng)的虛擬對(duì)象)都存在,當(dāng)小鳥碰到畫框后會(huì)被畫框彈回。
在一實(shí)施方式中,根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的顯示效果;其中,所述顯示效果基于所述虛擬對(duì)象作用在所述第一對(duì)象上的動(dòng)作而確定。
例如,第一對(duì)象靠近虛擬對(duì)象進(jìn)行相互作用后改變第一對(duì)象的屬性和/或顯示效果,以虛擬對(duì)象為風(fēng)扇,第一對(duì)象為游戲人物為例,游戲人物經(jīng)過風(fēng)扇后,衣服頭發(fā)被風(fēng)扇吹起。
圖4為本發(fā)明實(shí)施例四的信息處理方法的流程示意圖,本示例中的信息處理方法應(yīng)用于電子設(shè)備,所述電子設(shè)備具有投影模塊,利用所述投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容;如圖4所示,所述電子設(shè)備包括:
步驟401:采集所述目標(biāo)區(qū)域處的圖像。
本發(fā)明實(shí)施例中,電子設(shè)備可以是手機(jī)、平板電腦、筆記本等電子設(shè)備。所述電子設(shè)備具有投影模塊,例如投影儀,利用投影模塊能夠向目標(biāo)區(qū)域投射第一內(nèi)容。這里,目標(biāo)區(qū)域是指投影模塊能夠?qū)⒐饩€投射到的區(qū)域范圍,目標(biāo)區(qū)域與投影模塊的光學(xué)參數(shù)相關(guān),也與投影模塊相對(duì)于投影面的距離相關(guān)。實(shí)際應(yīng)用中,將電子設(shè)備中的投影模塊置于特定位置時(shí),該投影模塊向投影面投射光線的區(qū)域即為目標(biāo)區(qū)域。
本發(fā)明實(shí)施例中,投影模塊投射出的第一內(nèi)容的形式多樣,可以是一段視頻或一個(gè)游戲界面等,其中,第一內(nèi)容中包括第一對(duì)象,第一對(duì)象指代第一內(nèi)容中的虛擬物體,例如游戲中的人物。
本發(fā)明實(shí)施例中,電子設(shè)備還具有圖像采集模塊,例如攝像頭,在一實(shí)施方式中,所述攝像頭為三維(3D)景深攝像機(jī),利用3D景深攝像機(jī)能夠采集三維圖像信息。
本發(fā)明實(shí)施例中,電子設(shè)備利用投影模塊向目標(biāo)區(qū)域投射第一內(nèi)容時(shí),可以利用圖像采集模塊采集目標(biāo)區(qū)域的圖像。這里,目標(biāo)區(qū)域的圖像表征了目標(biāo)區(qū)域處的真實(shí)客體或者真實(shí)場景。
步驟402:對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體;在數(shù)據(jù)庫中查找與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),所述類型標(biāo)識(shí)用于表征所述目標(biāo)物體的屬性信息。
本發(fā)明實(shí)施例中,采集到目標(biāo)區(qū)域處的圖像后,對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,這里,所述目標(biāo)物體即為真實(shí)場景中的真實(shí)客體。
本發(fā)明實(shí)施例中,每個(gè)目標(biāo)物體均對(duì)應(yīng)一個(gè)屬性信息,該屬性信息表明了目標(biāo)物體是何種物體,例如桌子、凳子、相框等等。
具體實(shí)現(xiàn)時(shí),確定出所述目標(biāo)物體的屬性信息即為識(shí)別真實(shí)客體信息:通過3D景深攝像機(jī)采集真實(shí)客體的圖像,通過圖像匹配,得到真實(shí)客體的屬性信息,即識(shí)別到該真實(shí)客體是什么,更為具體地,還可以識(shí)別出該真實(shí)客體的尺寸形狀以及靜態(tài)物理信息、運(yùn)動(dòng)狀態(tài)信息等。
本發(fā)明實(shí)施例中,數(shù)據(jù)庫存儲(chǔ)了多個(gè)物體對(duì)應(yīng)的類型標(biāo)識(shí),所述類型標(biāo)識(shí)用于表征所述物體的屬性信息,即該物體為什么物體。通過在數(shù)據(jù)庫中查找與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),即可確定所述目標(biāo)物體的屬性信息。
步驟403:根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象。
本發(fā)明實(shí)施例中,通過解析得到所述目標(biāo)物體的屬性信息后,根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象,即為真實(shí)客體對(duì)應(yīng)的虛擬對(duì)象。
步驟404:結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容;向所述目標(biāo)區(qū)域投射所述第二內(nèi)容。
本發(fā)明實(shí)施例中,第二內(nèi)容基于所述虛擬對(duì)象和所述第一內(nèi)容而生成,其中,虛擬對(duì)象代表了真實(shí)客體,第一內(nèi)容代表了虛擬場景,而虛擬場景中具有其他虛擬對(duì)象。
本發(fā)明實(shí)施例中,向所述目標(biāo)區(qū)域投射所述第二內(nèi)容以對(duì)第二內(nèi)容進(jìn)行顯示,用于看到的第二內(nèi)容分為以下幾種情況:
第一種情況,第二內(nèi)容中對(duì)原來的第一內(nèi)容進(jìn)行顯示,而虛擬對(duì)象不顯示。
第二種情況,第二內(nèi)容中同時(shí)對(duì)原來的第一內(nèi)容和虛擬對(duì)象進(jìn)行顯示。
第三種情況,第二內(nèi)容中對(duì)原來的第一內(nèi)容進(jìn)行顯示,但是,顯示的第一內(nèi)容將改變?cè)瓉淼娘@示效果,改變的方式基于虛擬對(duì)象而確定,這種情況下,虛擬對(duì)象對(duì)原來的第一內(nèi)容實(shí)施了視覺交互,視覺交互包括虛實(shí)客體間的陰影/遮擋/各類反射/折射和顏色滲透等。
第四種情況,第二內(nèi)容中時(shí)對(duì)原來的第一內(nèi)容和虛擬對(duì)象進(jìn)行顯示,并且,顯示的第一內(nèi)容以及虛擬對(duì)象的顯示效果,基于兩者之間的視覺交互而確定,視覺交互包括虛實(shí)客體間的陰影/遮擋/各類反射/折射和顏色滲透等。
本發(fā)明實(shí)施例將基于真實(shí)客體生成的虛擬對(duì)象融入進(jìn)行虛擬場景中,作為虛擬場景的一部分。這樣,真實(shí)客體加上原有的虛擬場景,轉(zhuǎn)化成為一個(gè)新的增強(qiáng)現(xiàn)實(shí)的場景,從而實(shí)現(xiàn)了虛實(shí)客體的結(jié)合。
步驟405:根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;當(dāng)獲得針對(duì)所述虛擬對(duì)象的第三操作時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述虛擬對(duì)象響應(yīng)的第四操作;控制所述虛擬對(duì)象執(zhí)行所述第四操作,以對(duì)所述第三操作進(jìn)行響應(yīng)。
本發(fā)明實(shí)施例中,虛擬對(duì)象作為虛擬場景中與真實(shí)客體對(duì)應(yīng)的一個(gè)對(duì)象,能夠與用戶進(jìn)行交互。
基于此,不同的虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略不同,基于與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),可確定出所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略。
用戶不僅可以對(duì)虛擬場景中原來的第一對(duì)象實(shí)施交互操作,還可以對(duì)真實(shí)客體對(duì)應(yīng)的虛擬對(duì)象實(shí)施交互操作,從而實(shí)現(xiàn)用戶/真實(shí)客體/虛擬客體三者之間均產(chǎn)生交互。
圖5為本發(fā)明實(shí)施例五的電子設(shè)備的結(jié)構(gòu)組成示意圖,如圖5所示,所述電子設(shè)備具有投影模塊51,利用所述投影模塊51能夠向目標(biāo)區(qū)域投射第一內(nèi)容,所述電子設(shè)備還包括:
圖像采集模塊52,用于采集所述目標(biāo)區(qū)域處的圖像;
處理模塊53,用于對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體,并確定出所述目標(biāo)物體的屬性信息;根據(jù)所述目標(biāo)物體的屬性信息生成與所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象;結(jié)合所述虛擬對(duì)象和所述第一內(nèi)容,生成第二內(nèi)容;
所述投影模塊51,用于向所述目標(biāo)區(qū)域投射所述第二內(nèi)容。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,圖5所示的電子設(shè)備中的各單元的實(shí)現(xiàn)功能可參照前述信息處理方法的相關(guān)描述而理解。
在本發(fā)明實(shí)施例六中,所述處理模塊53,還用于根據(jù)所述目標(biāo)物體的物理屬性,生成所述目標(biāo)物體對(duì)應(yīng)的虛擬對(duì)象的畫面;
所述投影模塊,還用于向所述目標(biāo)區(qū)域投射所述第二內(nèi)容時(shí),將所述虛擬對(duì)象的畫面投射在對(duì)應(yīng)的目標(biāo)物體上。
在本發(fā)明實(shí)施例七中,所述處理模塊53,還用于對(duì)所述圖像進(jìn)行解析,提取出所述目標(biāo)區(qū)域處的目標(biāo)物體;在數(shù)據(jù)庫中查找與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),所述類型標(biāo)識(shí)用于表征所述目標(biāo)物體的屬性信息。
所述處理模塊53,還用于根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;當(dāng)所述第一內(nèi)容中的第一對(duì)象相對(duì)于所述虛擬對(duì)象觸發(fā)第一事件時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述第一對(duì)象相對(duì)于所述虛擬對(duì)象響應(yīng)的第二事件;控制所述第一對(duì)象執(zhí)行所述第二事件,以對(duì)所述第一事件進(jìn)行響應(yīng)。
所述處理模塊53,還用于根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的運(yùn)動(dòng)路徑,其中,所述運(yùn)動(dòng)路徑基于所述虛擬對(duì)象的位置而確定。
所述處理模塊53,還用于根據(jù)所述響應(yīng)策略和所述虛擬對(duì)象的屬性信息,調(diào)整所述第一對(duì)象的顯示效果;其中,所述顯示效果基于所述虛擬對(duì)象作用在所述第一對(duì)象上的動(dòng)作而確定。
在本發(fā)明實(shí)施例八中,所述處理模塊53,還用于根據(jù)與所述目標(biāo)物體相匹配的類型標(biāo)識(shí),確定所述虛擬對(duì)象對(duì)應(yīng)的響應(yīng)策略;當(dāng)獲得針對(duì)所述虛擬對(duì)象的第三操作時(shí),根據(jù)所述虛擬對(duì)象的響應(yīng)策略,確定所述虛擬對(duì)象響應(yīng)的第四操作;控制所述虛擬對(duì)象執(zhí)行所述第四操作,以對(duì)所述第三操作進(jìn)行響應(yīng)。
本發(fā)明實(shí)施例所記載的技術(shù)方案之間,在不沖突的情況下,可以任意組合。
在本發(fā)明所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的方法和智能設(shè)備,可以通過其它的方式實(shí)現(xiàn)。以上所描述的設(shè)備實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,如:多個(gè)單元或組件可以結(jié)合,或可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另外,所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口,設(shè)備或單元的間接耦合或通信連接,可以是電性的、機(jī)械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的,作為單元顯示的部件可以是、或也可以不是物理單元,即可以位于一個(gè)地方,也可以分布到多個(gè)網(wǎng)絡(luò)單元上;可以根據(jù)實(shí)際的需要選擇其中的部分或全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各實(shí)施例中的各功能單元可以全部集成在一個(gè)第二處理單元中,也可以是各單元分別單獨(dú)作為一個(gè)單元,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中;上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。
以上所述,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。