本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域,尤其涉及一種圖像數(shù)據(jù)處理方法和裝置。
背景技術(shù):
隨著計算機視覺技術(shù)的迅速發(fā)展,一種能簡化或改變圖像表現(xiàn)形式的圖像分割可使顯示中的圖像更容易地被大眾所理解和分析。比如,以目前日益興起的3d(三維)游戲為例,該3d游戲是指以三維計算機圖形為基礎(chǔ)而進行制作的立體電子游戲,大致包括但不限于多人在線聯(lián)機的網(wǎng)絡(luò)3d游戲,單人進行游戲的單人3d游戲,和基于3d游戲系統(tǒng)建立的虛擬現(xiàn)實游戲系統(tǒng);此外,這些三維游戲通常對平臺具有通用適用屬性,即均可應(yīng)用于游戲主機平臺,智能電視平臺,手機游戲平臺,pc(個人電腦)端游戲平臺內(nèi)。
在上述多種3d游戲平臺中,為了使游戲顯示效果更為逼真,通常采用圖像處理技術(shù)對圖像進行分割處理,從而可將一幅數(shù)字圖像中具有特殊含義的區(qū)域分割出來,進而確保這些區(qū)域彼此間互不重疊,且任何相鄰區(qū)域之間圖像的性質(zhì)具有明顯的區(qū)別。然而,在現(xiàn)有技術(shù)中,當可加載上述游戲平臺的計算機在進行圖像分割時,由于分割精度較差,往往會出現(xiàn)過分割的現(xiàn)象,即分割后的圖像邊緣會出現(xiàn)凹凸、缺失、或小塊的雜亂區(qū)域,致使圖像分割效果不佳。比如,當直接使用原始深度圖像進行人物分割,會由于結(jié)構(gòu)光深度測量技術(shù)的固有缺陷,致使分割得到的人體圖像的質(zhì)量往往較差,即邊緣存在較多的鋸齒,頭部區(qū)域存在大量的空洞,進而降低了游戲中圖像的顯示效果,并嚴重影響玩家的視覺體驗。
又比如,現(xiàn)有技術(shù)中還可首先根據(jù)深度信息識別出場景中的人,其次對識別出的場景中的人做相應(yīng)的標記,然后將標記直接映射到彩色圖像上,以根據(jù)標記對彩色圖像進行分割,但采用這種方法實現(xiàn)人體與背景的分割時,仍會存在人體邊緣分割不準確、鋸齒嚴重、頭發(fā)缺失多等問題,嚴重影響圖像顯示效果,進而影響用戶的視覺體驗。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供一種圖像數(shù)據(jù)處理方法和裝置,可在圖像分割時提高分割精度,以避免圖像邊緣的缺失,進而改善圖像顯示效果。
本發(fā)明第一方面提供了一種圖像數(shù)據(jù)處理方法,包括:
獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;
查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;
將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的展示圖像,并顯示所述展示圖像。
本發(fā)明第二方面提供了一種圖像數(shù)據(jù)處理裝置,包括:
獲取選取模塊,用于獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;
掃描調(diào)整模塊,用于查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;
第一融合顯示模塊,用于將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的展示圖像,并顯示所述展示圖像。
本發(fā)明實施例通過獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;然后,查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;最后,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像。通過顏色特征比對,可以將灰度圖像邊緣的凹凸、缺失、或小塊的雜亂區(qū)域進行調(diào)整修復(fù),從而可以提高圖像分割精度,進而改善圖像顯示效果。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實施例提供的一種圖像數(shù)據(jù)處理方法的流程示意圖;
圖2a和圖2b是本發(fā)明實施例提供的一種獲取原始圖像對應(yīng)的灰度圖像的示意圖;
圖3是本發(fā)明實施例提供的一種選取預(yù)處理區(qū)域的示意圖;
圖4a和圖4b是本發(fā)明實施例提供的一種對第一預(yù)處理像素點進行調(diào)整的示意圖;
圖5a和圖5b是本發(fā)明實施例提供的一種對第二預(yù)處理像素點進行調(diào)整的示意圖;
圖6是本發(fā)明實施例提供的一種預(yù)處理區(qū)域選取的流程示意圖;
圖7是本發(fā)明實施例提供的一種頭部的下邊緣位置確定的示意圖;
圖8是本發(fā)明實施例提供的另一種圖像數(shù)據(jù)處理方法的流程示意圖;
圖9是本發(fā)明實施例提供的一種色彩匹配方法的流程示意圖;
圖10是本發(fā)明實施例提供的一種防止對預(yù)處理像素點進行誤判的示意圖;
圖11是本發(fā)明實施例提供的一種圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖;
圖12是本發(fā)明實施例提供的一種獲取選取模塊的結(jié)構(gòu)示意圖;
圖13是本發(fā)明實施例提供的一種處理區(qū)域選取單元的結(jié)構(gòu)示意圖;
圖14是本發(fā)明實施例提供的一種掃描調(diào)整模塊的結(jié)構(gòu)示意圖;
圖15是本發(fā)明實施例提供的一種第一查找調(diào)整單元的結(jié)構(gòu)示意圖;
圖16是本發(fā)明實施例提供的一種第二查找調(diào)整單元的結(jié)構(gòu)示意圖;
圖17是本發(fā)明實施例提供的另一種圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖;
圖18是本發(fā)明實施例提供的另一種掃描調(diào)整模塊的結(jié)構(gòu)示意圖;
圖19是本發(fā)明實施例提供的一種像素點調(diào)整單元的結(jié)構(gòu)示意圖;
圖20是本發(fā)明實施例提供的一種第一融合顯示模塊的結(jié)構(gòu)示意圖;
圖21是本發(fā)明實施例提供的又一種圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
具體實施方式
下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
請參見圖1,是本發(fā)明實施例提供的一種圖像數(shù)據(jù)處理方法的流程示意圖。如圖1所示,所述方法至少包括:
步驟s101,獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;
具體地,所述智能終端采集包含所述原始對象的原始圖像(所述原始圖像可以為包括真實用戶和真實背景的圖像,該真實用戶可以為所述原始對象),并對所述原始圖像中的所述原始對象進行初始分割,得到非完整的原始對象,并為所述非完整的所述原始對象對應(yīng)的多個像素點設(shè)置非透明標識,并通過將所述原始圖像中具有所述非透明標識的像素點的透明度值設(shè)為最大值,并將所述原始圖像中不具有所述非透明標識的像素點的透明度值設(shè)為最小值,可以生成所述原始圖像對應(yīng)的灰度圖像(所述灰度圖像可以為alpha圖像),因此,所述灰度圖像包括非透明且非完整的原始對象和透明化的背景區(qū)域。其中,所述原始圖像可以為rgb(read、green、blue,紅、綠、藍)彩色圖像。所述智能終端可進一步根據(jù)所述原始對象的深度信息,在所述灰度圖像中選取預(yù)處理區(qū)域;
其中,所述智能終端包括個人電腦、平板電腦、筆記本電腦、智能電視、智能手機、vr(virtualreality,虛擬現(xiàn)實)設(shè)備等攜帶攝像功能的終端設(shè)備或可與外部攝像設(shè)備進行通訊連接的終端設(shè)備;
比如,以一個小女孩站在智能終端(例如,智能電視a)前方一米位置處時所采集到的原始圖像為例,其中,該原始圖像包括真實的用戶圖像(小女孩的圖像為原始對象)和真實的背景圖像。進一步地,請參見圖2a和圖2b,是本發(fā)明實施例提供的一種獲取原始圖像對應(yīng)的灰度圖像的示意圖,其中,智能電視a與外部攝像頭b通過數(shù)據(jù)線進行圖像數(shù)據(jù)的實時傳輸;對于外部攝像頭b而言,該外部攝像頭b可用于實時采集彩色圖像,并將采集到的彩色圖像發(fā)送給智能電視a;與此同時,對于智能電視a而言,當接收到外部攝像頭b實時采集到的該小女孩對應(yīng)的原始圖像(即彩色圖像)時,可對所述原始圖像中的所述原始對象進行初始分割,以得到非完整的原始對象,并為所述非完整的所述原始對象對應(yīng)的多個像素點設(shè)置非透明標識,即可為該非完整的小女孩所在圖像區(qū)域內(nèi)的多個像素點設(shè)置非透明標識1,且對于未設(shè)置非透明標識1的實際背景處的像素點,則可默認被標記上透明標識0;即該智能電視a可將具有非透明標識1的非完整的小女孩圖像區(qū)域處的像素點的透明度值設(shè)為最大值255,并將所述原始圖像中具有透明標識0的背景處像素點的透明度值設(shè)為最小值0,進而生成如圖2b所示的原始圖像對應(yīng)的灰度圖像,即如圖2b所示,通過透明度值的設(shè)置,可將圖2a中的真實背景進行透明化處理;因此,該灰度圖像包括非透明且非完整的原始對象和透明化的背景區(qū)域。在實際應(yīng)用場景中,所述灰度圖像可以無需在智能終端中顯示出來,即可以在所述智能終端的后臺對所述灰度圖像進行處理即可。
隨后,該智能電視a可根據(jù)所述原始對象的深度信息,即可根據(jù)該小女孩與外部攝像頭b之間的平均距離,在如圖2b所示的灰度圖像中選取包含非完整的目標對象(該小女孩的頭部)的預(yù)處理區(qū)域;具體地,請參見圖3,是本發(fā)明實施例提供的一種選取預(yù)處理區(qū)域的示意圖。如圖3所示,該預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域。
步驟s102,查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;
具體地,所述智能終端可進一步查找所述非完整的目標對象中的第一起始像素點,并從所述第一起始像素點開始向所述背景區(qū)域的方向進行第一方向掃描,并將被掃描到的像素點確定為第一預(yù)處理像素點,并將所述第一預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第一預(yù)處理像素點的透明度值,并根據(jù)調(diào)整后的第一預(yù)處理像素點,更新所述非完整的目標對象,并進一步查找更新后的非完整的目標對象中的第二起始像素點,并從所述第二起始像素點開始向所述背景區(qū)域的方向進行第二方向掃描,并將被掃描到的像素點確定為第二預(yù)處理像素點,并將所述第二預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第二預(yù)處理像素點的透明度值,并將調(diào)整后的第一預(yù)處理像素點和調(diào)整后的第二預(yù)處理像素點作為多個調(diào)整后的預(yù)處理像素點。
其中,每個第一起始像素點與所述第一方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量;
其中,每個第二起始像素點與所述第二方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量。
其中,當從所述第一像素點開始向所述背景區(qū)域的方向進行第一方向上的掃描時,可在掃描到位于背景區(qū)域中的終止邊界為止;同理,當從所述第二像素點開始向所述背景區(qū)域的方向進行第二方向上的掃描時,仍在掃描到位于背景區(qū)域中的終止邊界為止;
其中,所述終止邊界中的每個像素點與對象邊界之間的像素點數(shù)量均為第二預(yù)處理數(shù)量;
其中,所示第一預(yù)處理數(shù)量與原始對象的深度信息之間滿足第二比例公式;
其中,所述第二比例公式為:edgewidthcur=edgewidthbench*dcur/dbench;
其中,dbench為一特定的原始對象的深度值;edgewidthbench為在這個深度值上對應(yīng)的像素點數(shù)量,因此,對采集到的每幀新數(shù)據(jù)而言,智能終端在獲取到當前玩家頭部骨骼點深度值dcur之后,可根據(jù)深度值與像素點數(shù)量之間的比例公式計算出當前深度值下的第一預(yù)處理數(shù)量(edgewidthcur);同理地,對所述第二預(yù)處理數(shù)量的計算仍可類似地參見這個公式(即第二預(yù)處理數(shù)量和原始對象的深度信息滿足第三比例公式,即第三比例公式與所述第二比例公式相同)。
其中,所述第一方向為與非完整的目標對象的橫軸方向?qū)?yīng)的掃描方向,比如,該橫軸方向可為在非完整的目標對象內(nèi)距離所述非完整的目標對象的對象邊界均為第一預(yù)處理數(shù)量處的各個像素點分別向所述背景區(qū)域進行左、右同步掃描時的方向,進一步地,請參見圖4a和圖4b,是本發(fā)明實施例提供的一種對第一預(yù)處理像素點進行調(diào)整的示意圖;
如圖4a所示,在預(yù)處理區(qū)域內(nèi)包含非透明且非完整的目標對象200a,和透明化的背景區(qū)域200b,該智能電視a可根據(jù)所述背景區(qū)域中的像素點的透明度值(比如:alpha=0)和所述非完整的目標對象200a的像素點的透明度值(alpha=255),在所述預(yù)處理區(qū)域中確定如圖4a所示的所述非完整的目標對象200a的對象邊界200d,并可根據(jù)與所述非完整的目標對象200a對應(yīng)的原始對象的深度信息和第一預(yù)處理數(shù)量之間的第二比例公式,計算出第一預(yù)處理數(shù)量的數(shù)值(例如,二者之間相距8個像素點數(shù)量的寬度),并可進一步根據(jù)第一預(yù)處理數(shù)量和對象邊界200d,從所述非完整的目標對象200a中查找到左右兩側(cè)的第一起始像素點200c,并將由第一起始像素點200c向?qū)ο筮吔?00d所在的背景區(qū)域200b進行第一方向(所述第一方向可以為水平方向)的掃描,直至掃到對象邊界200d且距離對象邊界200d之間的像素點數(shù)量均為第二預(yù)處理數(shù)量(4個像素點)的終止邊界為止,其中,掃面方向?qū)凑杖鐖D4a所示箭頭方向進行掃描,并將被掃描到的像素點確定為第一預(yù)處理像素點,并將所述第一預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象200a對應(yīng)的對象顏色特征進行匹配,并在所述第一預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象200a對應(yīng)的對象顏色特征匹配時,將所述第一預(yù)處理像素點的透明度值均調(diào)整為最大值(alpha=255),并在所述第一預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象200a對應(yīng)的對象顏色特征不匹配時,將所述第一預(yù)處理像素點的透明度值均調(diào)整為最小值(alpha=0)。進而可形成如圖4b所示的更新后的非完整的目標對象300a的示意圖,即將背景區(qū)域中滿足匹配性質(zhì)的各像素點的透明度值由最小值調(diào)整為最大值,以顯示原先缺失的頭發(fā)部分,具體地,請參見圖4b所示的第一像素點調(diào)整區(qū)域200e,可見,在所述第一像素點調(diào)整區(qū)域200e中包括已調(diào)整透明度值的第一預(yù)處理像素點。因此,該智能電視a可進一步根據(jù)調(diào)整后的第一預(yù)處理像素點,更新所述非完整的目標對象200a的對象邊界200d,以進一步確定更新后的非完整目標對象300a的橫向?qū)挾戎怠?/p>
在進行橫向處理后,所述智能終端(該智能電視a)還可進一步根據(jù)更新后的非完整的目標對象300a的橫向?qū)挾戎导捌湎逻吘?,進一步對所述預(yù)處理區(qū)域進行縱向處理(即,沿第二方向進行掃描)。進一步地,請參見圖5a和圖5b,是本發(fā)明實施例提供的一種對第二預(yù)處理像素點進行調(diào)整的示意圖。如圖5a所示,在對所述第一預(yù)處理像素點的透明度值進行調(diào)整后,可對非完整的目標對象200a進行更新處理,即可顯示如圖5a所示的已補全左右兩側(cè)缺失頭發(fā)的示意圖,并重新確定更新后的非完整的目標對象300a的對象邊界(即更新對象邊界300d),然后,可進一步在圖5a所對應(yīng)的更新后的非完整的目標對象300a的圖像區(qū)域中,根據(jù)上述圖4a中的第一預(yù)處理數(shù)量(8個像素點的寬度)和更新后的非完整的目標對象300a的下邊緣沿第二方向(縱軸方向)查找如圖5a所示的第二起始像素點300c,并沿第二起始像素點300c向背景區(qū)域的方向進行第二方向掃描,直到掃描到更新對象邊界300d且距離更新對象邊界300d之間的像素點數(shù)量均為第二預(yù)處理數(shù)量(4個像素點)的終止邊界為止,其中,掃面方向?qū)凑杖鐖D5a所示箭頭方向進行掃描,并將此時被掃描到的像素點確定為第二預(yù)處理像素點,隨后,該智能電視a可將所述第二預(yù)處理像素點對應(yīng)的原始顏色特征與所述更新后的非完整的目標對象300a對應(yīng)的對象顏色特征進行匹配,最后,在所述第二預(yù)處理像素點對應(yīng)的原始顏色特征與所述更新后的非完整的目標對象300a對應(yīng)的對象顏色特征匹配時,將所述第二預(yù)處理像素點的透明度值均調(diào)整為最大值(alpha=255),并在所述第二預(yù)處理像素點對應(yīng)的原始顏色特征與所述更新后的非完整的目標對象300a對應(yīng)的對象顏色特征不匹配時,將所述第二預(yù)處理像素點的透明度值均調(diào)整為最小值(alpha=0),以形成如圖5b所示的完整的目標對象400a的示意圖。因此,智能電視a可將背景區(qū)域中滿足顏色匹配性質(zhì)的各像素點的透明度值由最小值調(diào)整為最大值,并將背景區(qū)域中不滿足該顏色匹配性質(zhì)的各像素點的透明度指調(diào)整為最小值,以在圖5b所示的第二像素點調(diào)整區(qū)域300e中顯示原先缺失的頭發(fā)部分,且所述第二像素點調(diào)整區(qū)域300e中包含調(diào)整后的第二預(yù)處理像素點。
其中,圖4a、圖4b、圖5a、圖5b中對預(yù)處理區(qū)域中的圖像數(shù)據(jù)的處理過程可以無需在終端的顯示屏中顯示出來,即預(yù)處理區(qū)域中的圖像數(shù)據(jù)均可以在終端后臺進行處理。因此,終端獲取到原始圖像后,可以直接在顯示屏上顯示包含完整的目標對象400a的彩色圖像(而分割出完整的目標對象400a的處理過程均可以無需在顯示屏上顯示)。
步驟s103,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像;
具體地,所述智能終端對處理后的預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理,并在所述原始圖像中,提取所述處理后的預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征,并將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像;所述第一展示圖像可以為將rgb彩色圖像(即所述原始圖像)和包含完整目標對象的alpha圖像進行融合處理后所生成的rgba(red、green、blue、alpha,紅色、綠色、藍色、透明度)彩色圖像;
其中,所述處理后的預(yù)處理區(qū)域中的所有像素點包含多個調(diào)整后的預(yù)處理像素點。
進一步地,請一并參見圖6,是本發(fā)明實施例提供的一種預(yù)處理區(qū)域選取的流程示意圖。如圖6所示,步驟s601-步驟s603是上述圖1所對應(yīng)實施例中步驟s101所對應(yīng)的預(yù)處理區(qū)域選取過程的一個具體實施例;
步驟s601,獲取所述原始對象的深度信息,并根據(jù)預(yù)設(shè)的第一比例公式計算所述深度信息對應(yīng)的區(qū)域面積;
其中,第一比例公式為:scur=smax*dcur/dmax
其中,dmax定義了某一用戶對應(yīng)的最大深度信息(該用戶的深度信息可視為等于該用戶的頭部對應(yīng)的深度信息);smax為所述最大深度信息dmax對應(yīng)的頭部區(qū)域面積,因此,smax和dmax之間進行相除后的數(shù)值可為一固定的比例值;基于該比例值,當獲取到當前幀數(shù)據(jù)對應(yīng)的當前用戶(原始對象)的頭部骨骼點的深度信息dcur時,可進一步根據(jù)當前深度信息dcur計算出當前用戶的頭部的區(qū)域面積scur。
步驟s602,獲取所述非完整的目標對象的骨骼信息,并根據(jù)所述骨骼信息在所述灰度圖像中確定所述非完整的目標對象對應(yīng)的下邊緣;
其中,所述骨骼信息包括頭部骨骼信息和頸部骨骼信息,于是,可在灰度圖像中,建立相對位置坐標系;比如,以灰度圖像的某個頂點(左上角處頂點)為坐標原點,以橫軸方向為該灰度圖像的x軸,以縱軸方向為該灰度圖像的y軸,于是,可以得到頭部骨骼點所在位置和頸部骨骼點所在位置,進而可根據(jù)頭部骨骼點所在位置和頸部骨骼點所在位置,以及預(yù)設(shè)的位置公式確定非完整的目標對象(玩家頭部)在灰度圖像中下邊緣所在的位置;
其中,所述預(yù)設(shè)的位置公式為:ydown=y(tǒng)head+(yneck-yhead)/2;
其中,ydown為灰度圖像中的計算得到的玩家頭部的下邊緣位置;yhead為灰度圖像中檢測到的頭部骨骼點所在位置,yneck為灰度圖像中檢測到的頸部骨骼點所在位置。
進一步地,請一并參見圖7,是本發(fā)明實施例提供的一種頭部的下邊緣位置確定的示意圖。如圖7所示,在手機終端中顯示的灰度圖像100a所對應(yīng)的顯示區(qū)域中包含一個攜帶非透明標識(例如,id標識為1)的非完整的原始對象(即在該灰度圖像100a中,由于對原始圖像進行初始分割的原因,致使該男性玩家a的頭部區(qū)域存在凹陷和缺失,另外通過對非完整的原始對象進行非透明標識,可使攜帶該非透明標識的非完整的原始對象在該顯示區(qū)域中進行顯示,且將未攜帶該非透明標識的背景區(qū)域在該顯示區(qū)域中進行透明化處理)。另外,在如圖7所示的灰度圖像100a中,手機終端可根據(jù)男性玩家a距離手機攝像頭的距離,進一步確定原始對象的深度信息,并根據(jù)深度信息和第一比例公式計算出如圖7所示的玩家頭部區(qū)域?qū)?yīng)的區(qū)域面積100b(比如,一個面積為5cm*6cm的區(qū)域面積),并可進一步根據(jù)在灰度圖像100a中創(chuàng)建的如圖7所示的直角坐標系,再進一步獲取非完整的目標對象的頭部骨骼點位置yhead(例如,yhead=5cm處的位置)和頸部骨骼點位置yneck(例如,yneck=8cm)。因此,將獲取到的yhead和yneck分別對應(yīng)的坐標值代入上述預(yù)設(shè)的位置公式中,可進一步計算得到該男性玩家a的頭部下邊緣(即下巴)在灰度圖像100a中的位置(下邊緣位置ydown=6.5cm)。
步驟s603,根據(jù)所述區(qū)域面積、所述非完整的目標對象對應(yīng)的下邊緣以及所述非完整的目標對象的中心點,在所述灰度圖像中選取包含所述非完整的目標對象的預(yù)處理區(qū)域。
比如,仍以上述圖7計算得到的下邊緣位置對應(yīng)的示意圖為例,該手機終端可進一步根據(jù)計算得到的區(qū)域面積100b(比如,5cm*6cm的區(qū)域面積)和該男性玩家a的頭部下邊緣(即下巴)在灰度圖像中的位置(ydown=6.5cm)以及頭部的中心點,在上述圖7所示的灰度圖像100a中選取包含非完整的頭部對應(yīng)的預(yù)處理區(qū)域。
鑒于此,所述智能終端在灰度圖像中對預(yù)處理區(qū)域的選取可首先根據(jù)原始對象的深度信息和預(yù)設(shè)的第一比例公式,計算得到所述非完整的目標對象對應(yīng)的區(qū)域面積,其次,根據(jù)非完整的目標對象的骨骼信息進一步確定灰度圖像中非完整的目標對象對應(yīng)的下邊緣,然后,根據(jù)所述區(qū)域面積、所述非完整的目標對象對應(yīng)的下邊緣以及非完整的目標對象對應(yīng)的中心點,進一步在灰度圖像中選取包含非完整的目標對象的預(yù)處理區(qū)域。
可選的,當在同一應(yīng)用界面中存在多個游戲玩家(比如,玩家a,玩家b和玩家c)時,可根據(jù)圖像中的每個玩家的賬號為每個玩家分配不同的展示位置,即智能終端中每個攜帶唯一標識(id)的玩家(其中,id標識可用于區(qū)分每個玩家的骨骼點信息,以便于后續(xù)在處理完玩家a的頭部區(qū)域后,繼續(xù)根據(jù)下一個玩家的id標識進行下一個玩家的頭部區(qū)域的處理)可被分配到具有相同標識處的展示位置(例如,在同一應(yīng)用界面中每個玩家均可在同一個虛擬舞臺中進行舞蹈pk),進而可使攜帶id標識為1的玩家a能始終在應(yīng)用界面中顯示,并使攜帶id標識為2的玩家b能始終在應(yīng)用界面中顯示,并使攜帶id標識為3的玩家c能始終在應(yīng)用界面中顯示,進而可對該應(yīng)用平臺中的每個玩家進行以此類推地標識,以識別不同的玩家;與此同時,對非玩家的背景區(qū)域則會在應(yīng)用界面中始終被標記為0。因此智能終端可進一步將原始圖像中具有非透明標識(標識1、標識2和標識3)的像素點的透明度值設(shè)為最大值,并同步將不具有非透明標識的背景區(qū)域的像素點的透明度值設(shè)為最小值,進而生成包含多個玩家的原始圖像對應(yīng)的灰度圖像,并在該灰度圖像中進一步確定當前幀數(shù)據(jù)中包含多個id標識的預(yù)處理區(qū)域。
由此可見,所述智能終端首先通過獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;然后,查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;最后,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的展示圖像,并顯示所述展示圖像??梢?,在查找到所述非完整的目標對象中的起始像素點時,可從所述起始像素點向所述背景區(qū)域所在方向進行掃描,以將被掃描到的像素點作為預(yù)處理像素點,并在所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特性匹配時,將所述預(yù)處理像素點的透明值設(shè)置為最大值,并在所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特性不匹配時,將所述預(yù)處理像素點的透明值設(shè)置為最小值;因此,通過顏色特征比對,可以將灰度圖像邊緣的凹凸、缺失、或小塊的雜亂區(qū)域進行調(diào)整修復(fù),從而可以提高圖像分割精度,進而改善圖像顯示效果。
進一步地,請參見圖8,是本發(fā)明實施例提供的另一種圖像數(shù)據(jù)處理方法的流程示意圖。如圖8所示,所述方法至少包括:
步驟s801,獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;
具體地,所述智能終端采集包含所述原始對象的原始圖像(所述原始圖像可以為包括真實用戶和真實背景的圖像,該真實用戶可以為所述原始對象),并對所述原始圖像中的所述原始對象進行初始分割,得到非完整的原始對象,并為所述非完整的所述原始對象對應(yīng)的多個像素點設(shè)置非透明標識,并通過將所述原始圖像中具有所述非透明標識的像素點的透明度值設(shè)為最大值,并通過將所述原始圖像中不具有所述非透明標識的像素點的透明度值設(shè)為最小值,可以生成所述原始圖像對應(yīng)的灰度圖像,因此,所述灰度圖像包括非透明且非完整的原始對象和透明化的背景區(qū)域。其中,所述原始圖像可以為rgb彩色圖像。所述智能終端可進一步根據(jù)所述原始對象的深度信息,在所述灰度圖像中選取預(yù)處理區(qū)域;
其中,所述非完整的原始對象包含所述非完整的目標對象;
其中,所述智能終端包括個人電腦、平板電腦、筆記本電腦、智能電視、智能手機、vr設(shè)備等攜帶攝像功能的終端設(shè)備或可與外部攝像設(shè)備進行通訊連接的終端設(shè)備;
其中,所述灰度圖像的獲取可參見上述圖1所對應(yīng)實施例中對圖2a和圖2b的描述,這里不再進行贅述;
其中,所述預(yù)處理區(qū)域的選取過程可參見上述圖6對應(yīng)實施例中s601-s603的描述,這里不再進行贅述。
步驟s802,在所述原始圖像中,獲取所述非完整的目標對象對應(yīng)的膚色特征和發(fā)色特征,并將所述膚色特征和所述發(fā)色特征作為與所述非完整的目標對象對應(yīng)的對象顏色特征;
步驟s803,在所述原始圖像中,提取所述背景區(qū)域內(nèi)各像素點分別對應(yīng)的原始顏色特征,并統(tǒng)計所述背景區(qū)域內(nèi)的所述原始顏色特征與所述對象顏色特征相匹配的像素點的目標數(shù)量;
具體地,所述智能終端在所述原始圖像中提取與所述背景區(qū)域內(nèi)各像素點分別對應(yīng)的原始顏色特征之后,可進一步分析透明化的背景區(qū)域內(nèi)顏色的復(fù)雜度,即可統(tǒng)計所述背景區(qū)域內(nèi)的所述原始顏色特征與所述對象顏色特征相匹配的像素點的目標數(shù)量,并在統(tǒng)計到的目標數(shù)量小于預(yù)設(shè)的像素點閾值時,確定所述目標數(shù)量滿足預(yù)設(shè)的色彩分割條件,即可進一步執(zhí)行步驟s804中的步驟,可選地,所述智能終端還可在統(tǒng)計到目標數(shù)量大于或等于預(yù)設(shè)的像素點閾值時,確定所述目標數(shù)量不滿足預(yù)設(shè)的色彩分割條件,并進一步執(zhí)行步驟s807中的步驟。
比如,在智能終端在提取到背景區(qū)域內(nèi)各像素點分別對應(yīng)的原始顏色特征之后,可進一步統(tǒng)計該非完整的頭部的膚色特征以及發(fā)色特征和背景區(qū)域內(nèi)各像素點的原始顏色特征之間顏色相匹配的像素點的目標數(shù)量(比如,10個),進而分析背景區(qū)域?qū)?yīng)的顏色的復(fù)雜度。即在目標數(shù)量小于所述像素點閾值(15個)時,可進一步確定統(tǒng)計到的目標數(shù)量滿足色彩分割條件,即此時,背景區(qū)域內(nèi)的顏色復(fù)雜度較低(背景區(qū)域內(nèi)各像素點的顏色比較簡單),因此,可進一步執(zhí)行步驟s804中的步驟;
可選地,當統(tǒng)計到所述背景區(qū)域內(nèi)的所述原始顏色特征與所述對象顏色特征相匹配的像素點的目標數(shù)量為20個,且預(yù)設(shè)的像素點閾值為15個時,可進一步確定統(tǒng)計到的目標數(shù)量大于預(yù)設(shè)的像素點閾值,進而確定所述目標數(shù)量不滿足色彩分割條件,即此時,背景區(qū)域內(nèi)顏色的復(fù)雜度較高,因此,可進一步執(zhí)行步驟s807中的步驟,即直接對預(yù)處理區(qū)域內(nèi)的所有像素點進行均值濾波處理。
步驟s804,若所述目標數(shù)量滿足預(yù)設(shè)的色彩分割條件,則查找所述非完整的目標對象中的起始像素點;
其中,所述起始像素點包括第一起始像素點和第二起始像素點。查找所述起始像素點的具體過程可參見上述圖1所對應(yīng)實施例中查找第一起始像素點和第二起始像素點的描述,這里不再進行繼續(xù)贅述。
步驟s805,從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;
具體地,所述智能終端在查找到所述非完整的目標對象中的起始像素點之后,可進一步從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,直至掃描到所述背景區(qū)域中的終止邊界則停止掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;
其中,所述終止邊界中的每個像素點與對象邊界之間的像素點數(shù)量均為第二預(yù)處理數(shù)量;所述第二預(yù)處理數(shù)量是根據(jù)預(yù)設(shè)的第三比例公式和所述非完整的目標對象的深度信息計算得到;其中,掃描出預(yù)處理像素點的具體方式和根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值的具體方式均可以參見上述圖1對應(yīng)實施例中的s102,這里不再進行贅述。
步驟s806,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像;
具體地,所述智能終端對處理后的預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理,并在所述原始圖像中,提取所述處理后的預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征,并將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像;所述第一展示圖像可以為將rgb彩色圖像(即所述原始圖像)和包含完整目標對象的alpha圖像進行融合處理后所生成的rgba彩色圖像;
其中,所述處理后的預(yù)處理區(qū)域中的所有像素點包含多個調(diào)整后的預(yù)處理像素點。
步驟s807,若所述目標數(shù)量不滿足預(yù)設(shè)的色彩分割條件,則對所述預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理;
具體地,在執(zhí)行完上述步驟s803之后,所述智能終端可在統(tǒng)計到目標數(shù)量大于或等于預(yù)設(shè)的像素點閾值時,進一步確定所述目標數(shù)量不滿足預(yù)設(shè)的色彩分割條件,并對所述預(yù)處理區(qū)域中的所有像素點進行均值濾波處理;
步驟s808,在所述原始圖像中,提取所述預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征;
步驟s809,將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含均值濾波處理后的目標對象的第二展示圖像,并顯示所述第二展示圖像;
其中,所述均值濾波處理后的目標對象包括:完整的目標對象和不完整的目標對象。另外,由于采用8*8的窗口對融合后的預(yù)處理區(qū)域內(nèi)的各像素點的透明度值進行均值濾波處理,因此可以得到邊緣比較平滑的目標對象的對象邊界,即可去除邊緣處存在的鋸齒,進而使得邊緣比較平滑。
進一步的,請一并參見圖9,是本發(fā)明實施例提供的一種色彩匹配方法的流程示意圖。如圖9所示,所述色彩匹配方法可包括步驟s901-步驟s904,且步驟s901-步驟s904是基于上述圖8所對應(yīng)實施例中對步驟s805中對顏色特征進行匹配的一個具體實施例:
步驟s901,在所述原始圖像中,獲取所述預(yù)處理像素點對應(yīng)的原始顏色特征;
步驟s902,將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配;
步驟s903,若匹配成功,則將所述預(yù)處理像素點的透明度值調(diào)整為最大值;
步驟s904,若匹配失敗,則將所述預(yù)處理像素點的透明度值調(diào)整為最小值;
具體地,若所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征匹配失敗,則可進一步在所述預(yù)處理像素點對應(yīng)的掃描方向上獲取至少一個目標像素點,并判斷各目標像素點分別對應(yīng)的原始顏色特征是否均與所述對象顏色特征不匹配,若判斷為是,則將所述預(yù)處理像素點的透明度值調(diào)整為最小值,若判斷為否,則執(zhí)行上述步驟s903中將所述預(yù)處理像素點的透明度值調(diào)整為最大值的步驟;
比如,當所述預(yù)處理像素點(例如,預(yù)處理像素點1和預(yù)處理像素點2)對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象特征匹配失敗時,為了避免誤判,可進一步在預(yù)處理像素點1和預(yù)處理像素點2對應(yīng)的掃描方向上(例如,橫向方向上)分別獲取至少一個目標像素點(例如,目標像素點3、目標像素點4,目標像素點5和目標像素點6)。
具體地,請進一步參見圖10,是本發(fā)明實施例提供的一種防止對預(yù)處理像素點進行誤判的示意圖。如圖10所示,預(yù)處理像素點1和預(yù)處理像素點2分別對應(yīng)的原始顏色特征均不同于非完整的目標對象對應(yīng)的對象顏色特征,即此時,預(yù)處理像素點1和預(yù)處理像素點2的透明度值均為最小值0;但對于預(yù)處理像素點1而言,在進一步進行橫向方向上的掃描時,可進一步獲取到目標像素點3和目標像素點4,且目標像素點3和目標像素點4對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征匹配,因此,可將預(yù)處理像素點1的透明度值調(diào)整為最大值,即可對該預(yù)處理像素點1進行非透明化處理,以避免誤判。與此同時,對于預(yù)處理像素點2而言,在進行橫向方向上的掃描時,可進一步獲取到目標像素點5和目標像素點6,且提取到目標像素點5和目標像素點6對應(yīng)的原始顏色特征均與該非完整的目標對象對應(yīng)的對象顏色特征不匹配,因此,可繼續(xù)將預(yù)處理像素點2的透明度值保持為最小值,即可對該預(yù)處理像素點2進行透明化處理。
鑒于此,通過進一步檢測當前掃描方向上的至少一個目標像素點,可進一步避免誤判操作,進而可確保頭部分割后圖像的完整性,以避免頭部處理邊緣出現(xiàn)的凹凸以及頭發(fā)缺失等現(xiàn)象。
由此可見,所述智能終端首先通過獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;然后,在所述智能終端確定統(tǒng)計到的目標數(shù)量滿足色彩分割條件時,查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;最后,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像,可選地,在所述智能終端確定統(tǒng)計到的目標數(shù)量不滿足色彩分割條件時,可對所述預(yù)處理區(qū)域中的所有像素點的透明度指進行均值濾波,并在所述預(yù)處理區(qū)域中,將所有像素點的原始顏色特征和濾波處理后的透明度值進行融合,以生成包含均值濾波處理后的目標對象的第二展示圖像,并顯示所述第二展示圖像。因此,可根據(jù)背景顏色的復(fù)雜度確定統(tǒng)計到的目標數(shù)量是否滿足色彩分割條件,并在滿足色彩分割條件時,通過顏色特征比對,可以將灰度圖像邊緣的凹凸、缺失、或小塊的雜亂區(qū)域進行調(diào)整修復(fù),并在不滿足色彩分割條件時,直接通過均值濾波對所述預(yù)處理區(qū)域內(nèi)所有像素點的透明度值進行濾波處理,以去除目標對象邊緣處存在的鋸齒,進而平滑目標對象的邊緣,從而可在對圖像進行分割時,根據(jù)色彩分割條件采用對應(yīng)的處理方案,以提高圖像分割精度,進而改善圖像顯示效果。
進一步地,請參見圖11,是本發(fā)明實施例提供的一種圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。如圖11所示,所述圖像數(shù)據(jù)處理裝置1可以應(yīng)用于上述圖1對應(yīng)實施例中的智能終端,所述圖像數(shù)據(jù)處理裝置1可以包括:獲取選取模塊10,掃描調(diào)整模塊20和第一融合顯示模塊30;
所述獲取選取模塊10,用于獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;
具體地,所述圖像數(shù)據(jù)處理裝置1中的所述獲取選取模塊10,可具體用于采集包含所述原始對象的原始圖像,(所述原始圖像可以為包括真實用戶和真實背景的圖像,該真實用戶可以為所述原始對象),并對所述原始圖像中的所述原始對象進行初始分割,得到非完整的原始對象,并為所述非完整的所述原始對象對應(yīng)的多個像素點設(shè)置非透明標識,并通過將所述原始圖像中具有所述非透明標識的像素點的透明度值設(shè)為最大值,并將所述原始圖像中不具有所述非透明標識的像素點的透明度值設(shè)為最小值,可以生成所述原始圖像對應(yīng)的灰度圖像,因此,所述灰度圖像包括非透明且非完整的原始對象和透明化的背景區(qū)域。其中,所述原始圖像可以為rgb彩色圖像。所述智能終端可進一步根據(jù)所述原始對象的深度信息,在所述灰度圖像中選取預(yù)處理區(qū)域;
其中,所述圖像數(shù)據(jù)處理裝置1可應(yīng)用于智能終端中,且所述智能終端可以包括個人電腦、平板電腦、筆記本電腦、智能電視、智能手機、vr設(shè)備等攜帶攝像功能的終端設(shè)備或可與外部攝像設(shè)備進行通訊連接的終端設(shè)備;
其中,所述獲取選取模塊10的具體實施方式可參見上述圖1所對應(yīng)實施例中對圖2的描述,以及上述圖1所對應(yīng)實施例中對圖3的描述,這里將不再繼續(xù)進行贅述。
進一步地,請參見圖12,是本發(fā)明實施例提供的一種獲取選取模塊的結(jié)構(gòu)示意圖。如圖12所示,所述獲取選取模塊10包括:標識設(shè)置單元101,灰度圖像生成單元102和處理區(qū)域選取單元103;
所述標識設(shè)置單元101,采集包含所述原始對象的原始圖像,并對所述原始圖像中的所述原始對象進行初始分割,得到非完整的原始對象,并為所述非完整的原始對象對應(yīng)的多個像素點設(shè)置非透明標識;
所述灰度圖像生成單元102,用于將所述原始圖像中具有所述非透明標識的像素點的透明度值設(shè)為最大值,并將所述原始圖像中不具有所述非透明標識的像素點的透明度值設(shè)為最小值,生成所述原始圖像對應(yīng)的灰度圖像;所述灰度圖像包括非透明且非完整的原始對象和透明化的背景區(qū)域;
所述處理區(qū)域選取單元103,用于根據(jù)所述原始對象的深度信息,在所述灰度圖像中選取包含非完整的目標對象的預(yù)處理區(qū)域;所述非完整的原始對象包含所述非完整的目標對象;
具體地,所述處理區(qū)域選取單元103可具體用于獲取所述原始對象的深度信息,并根據(jù)預(yù)設(shè)的第一比例公式計算所述深度信息對應(yīng)的區(qū)域面積,并獲取所述非完整的目標對象的骨骼信息,并根據(jù)所述骨骼信息在所述灰度圖像中確定所述非完整的目標對象對應(yīng)的下邊緣,并根據(jù)所述區(qū)域面積、所述非完整的目標對象對應(yīng)的下邊緣以及所述非完整的目標對象的中心點,在所述灰度圖像中選取包含所述非完整的目標對象的預(yù)處理區(qū)域。
其中,所述處理區(qū)域選取單元103的具體實施方式可參見上述圖1所對應(yīng)實施例中對步驟s601-步驟s603的描述,這里將不再進行贅述。
進一步地,請參見圖13,是本發(fā)明實施例提供的一種處理區(qū)域選取單元的結(jié)構(gòu)示意圖。如圖13所示,所述處理區(qū)域選取單元103包含,面積計算子單元1031,下邊緣確定子單元1032和區(qū)域選取子單元1033;
所述面積計算子單元1031,用于獲取所述原始對象的深度信息,并根據(jù)預(yù)設(shè)的第一比例公式計算所述深度信息對應(yīng)的區(qū)域面積;
其中,第一比例公式為:scur=smax*dcur/dmax
其中,dmax定義了頭部對應(yīng)的最大深度信息;smax為在這個深度值上對應(yīng)的頭部區(qū)域面積;dcur為當前幀數(shù)據(jù)對應(yīng)的用戶的頭部骨骼點的深度信息;scur為計算出的當前深度信息上待輸出的用戶的頭部區(qū)域面積。
所述下邊緣確定子單元1032,用于獲取所述非完整的目標對象的骨骼信息,并根據(jù)所述骨骼信息在所述灰度圖像中確定所述非完整的目標對象對應(yīng)的下邊緣;
其中,所述骨骼信息包括頭部骨骼信息和頸部骨骼信息,于是,可在灰度圖像中,建立相對位置坐標系;比如,以灰度圖像的某個頂點(左上角處頂點)為坐標原點,以橫軸方向為該灰度圖像的x軸,以縱軸方向為該灰度圖像的y軸,于是,可以得到頭部骨骼點所在位置和頸部骨骼點所在位置,進而可根據(jù)頭部骨骼點所在位置和頸部骨骼點所在位置,以及預(yù)設(shè)的位置公式確定非完整的目標對象(玩家頭部)在灰度圖像中下邊緣所在的位置;
其中,所述預(yù)設(shè)的位置公式為:ydown=y(tǒng)head+(yneck-yhead)/2;
其中,ydown為灰度圖像中的計算得到的玩家頭部的下邊緣位置;yhead為灰度圖像中檢測到的頭部骨骼點所在位置,yneck為灰度圖像中檢測到的頸部骨骼點所在位置。
其中,所述下邊緣確定子單元1032的具體實施方式可參見上述圖1所對應(yīng)實施例中對圖7的描述,這里將不再繼續(xù)進行贅述。
所述區(qū)域選取子單元1033,用于根據(jù)所述區(qū)域面積、所述非完整的目標對象對應(yīng)的下邊緣以及所述非完整的目標對象的中心點,在所述灰度圖像中選取包含所述非完整的目標對象的預(yù)處理區(qū)域;
進一步地,所述區(qū)域選取子單元1033的具體實施方式仍可參見上述圖1所對應(yīng)實施例中對圖7所示的灰度圖像100a中選取包含頭部的預(yù)處理區(qū)域的描述,這里將不再繼續(xù)進行贅述。
鑒于此,所述獲取選取模塊10,可用于在對灰度圖像中預(yù)處理區(qū)域的選取時,首先根據(jù)原始對象中非完整的目標對象的深度信息和預(yù)設(shè)的第一比例公式,計算非完整的目標對象對應(yīng)的區(qū)域面積,其次,根據(jù)非完整的目標對象的骨骼信息進一步確定灰度圖像中非完整的目標對象對應(yīng)的下邊緣,然后,根據(jù)所述區(qū)域面積。所述非完整的目標對象對應(yīng)的下邊緣以及非完整的目標對象對應(yīng)的中心點,進一步在灰度圖像中選取包含非完整的目標對象的預(yù)處理區(qū)域。
所述掃描調(diào)整模塊20,用于查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;
具體地,所述掃描調(diào)整模塊20,可具體用于查找所述非完整的目標對象中的第一起始像素點,并從所述第一起始像素點開始向所述背景區(qū)域的方向進行第一方向掃描,并將被掃描到的像素點確定為第一預(yù)處理像素點,并將所述第一預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第一預(yù)處理像素點的透明度值,并根據(jù)調(diào)整后的第一預(yù)處理像素點,更新所述非完整的目標對象,并進一步查找更新后的非完整的目標對象中的第二起始像素點,并從所述第二起始像素點開始向所述背景區(qū)域的方向進行第二方向掃描,并將被掃描到的像素點確定為第二預(yù)處理像素點,并將所述第二預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第二預(yù)處理像素點的透明度值,并將調(diào)整后的第一預(yù)處理像素點和調(diào)整后的第二預(yù)處理像素點作為多個調(diào)整后的預(yù)處理像素點。
其中,每個第一起始像素點與所述第一方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量;
其中,每個第二起始像素點與所述第二方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量。
其中,當從所述第一像素點開始向所述背景區(qū)域的方向進行第一方向上的掃描時,可在掃描到位于背景區(qū)域中的終止邊界為止;同理,當從所述第二像素點開始向所述背景區(qū)域的方向進行第二方向上的掃描時,仍在掃描到位于背景區(qū)域中的終止邊界為止;
其中,所述終止邊界中的每個像素點與對象邊界之間的像素點數(shù)量均為第二預(yù)處理數(shù)量;
其中,所示第一預(yù)處理數(shù)量與所述原始對象的深度信息之間滿足第二比例公式;
其中,所述第二比例公式為:edgewidthcur=edgewidthbench*dcur/dbench;
其中,dbench為一特定的原始對象的深度值;edgewidthbench為在這個深度值上對應(yīng)的像素點數(shù)量,因此,對采集到的每幀新數(shù)據(jù)而言,智能終端在獲取到當前玩家頭部骨骼點深度值dcur以后,可根據(jù)深度值與像素點數(shù)量之間的比例公式計算出當前深度值下的第一預(yù)處理數(shù)量(edgewidthcur);同理地,對所述第二預(yù)處理數(shù)量的計算仍可類似地參見這個公式(即第二預(yù)處理數(shù)量和原始對象深度信息滿足第三比例公式,即第三比例公式與所述第二比例公式相同)。
進一步地,請參見圖14,是本發(fā)明實施例提供的一種掃描調(diào)整模塊的結(jié)構(gòu)示意圖。如圖14所示,所述掃描調(diào)整模塊20包括,第一查找調(diào)整單元201,目標對象更新單元202,第二查找調(diào)整單元203和預(yù)處理像素點確定單元204;
所述第一查找調(diào)整單元201,用于查找所述非完整的目標對象中的第一起始像素點,并從所述第一起始像素點開始向所述背景區(qū)域的方向進行第一方向掃描,并將被掃描到的像素點確定為第一預(yù)處理像素點,并將所述第一預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第一預(yù)處理像素點的透明度值;
進一步地,請參見圖15,是本發(fā)明實施例提供的一種第一查找調(diào)整單元的結(jié)構(gòu)示意圖。如圖15所示,所述第一查找調(diào)整單元201包括:邊界確定子單元2011,第一計算子單元2012,第一查找子單元2013;
所述邊界確定子單元2011,用于根據(jù)所述背景區(qū)域中的像素點的透明度值和所述非完整的目標對象的像素點的透明度值,在所述預(yù)處理區(qū)域中確定所述非完整的目標對象的對象邊界;
所述第一計算子單元2012,用于根據(jù)預(yù)設(shè)的第二比例公式,計算所述原始對象的深度信息對應(yīng)的第一預(yù)處理數(shù)量;
所述第一查找子單元2013,用于根據(jù)所述對象邊界和所述第一預(yù)處理數(shù)量,從所述非完整的目標對象的中心位置開始沿第一方向查找第一起始像素點;每個第一起始像素點與所述第一方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量
所述目標對象更新單元202,用于根據(jù)調(diào)整后的第一預(yù)處理像素點,更新所述非完整的目標對象;
進一步地,所述第一查找調(diào)整單元201和所述目標對象更新單元202的具體實現(xiàn)方式可參見上述圖1所對應(yīng)實施例中對圖4a和圖4b所示的對第一預(yù)處理像素點進行調(diào)整的描述,這里將不再繼續(xù)進行贅述。
所述第二查找調(diào)整單元203,用于查找更新后的非完整的目標對象中的第二起始像素點,并從所述第二起始像素點開始向所述背景區(qū)域的方向進行第二方向掃描,并將被掃描到的像素點確定為第二預(yù)處理像素點,并將所述第二預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第二預(yù)處理像素點的透明度值;
進一步地,請參見圖16,是本發(fā)明實施例提供的一種第二查找調(diào)整單元的結(jié)構(gòu)示意圖。如圖16所示,所述第二查找調(diào)整單元203包括:邊界更新子單元2031和第二查找子單元2032;
所述邊界更新子單元2031,用于根據(jù)更新后的背景區(qū)域中的像素點的透明度值和所述更新后的非完整的目標對象的像素點的透明度值,在所述預(yù)處理區(qū)域中確定所述更新后的非完整的目標對象的對象邊界,作為更新對象邊界;
所述第二查找子單元2032,用于根據(jù)所述更新對象邊界和所述第一預(yù)處理數(shù)量,從所述更新后的非完整的目標對象的下邊緣開始沿第二方向查找第二起始像素點;每個第二起始像素點與所述第二方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量。
進一步地,所述第二查找調(diào)整單元203的具體實現(xiàn)方式可參見上述圖1所對應(yīng)實施例中對圖5a和圖5b所示的對第二預(yù)處理像素點進行調(diào)整的描述,這里將不再繼續(xù)進行贅述。
所述預(yù)處理像素點確定單元204,用于將調(diào)整后的第一預(yù)處理像素點和調(diào)整后的第二預(yù)處理像素點作為多個調(diào)整后的預(yù)處理像素點。
可見,所述第一查找調(diào)整單元201和所述第二查找調(diào)整單元203均具有對像素點進行掃描和對像素點進行確認以及對像素點進行調(diào)整的功能。
因此,所述掃描調(diào)整模塊20可首先根據(jù)第二比例公式計算出第一預(yù)處理數(shù)量并確定出對象邊界,然后,根據(jù)所述第一預(yù)處理數(shù)量和對象邊界,查找到非完整的目標對象內(nèi)的第一起始像素點,并從第一起始像素點開始向背景區(qū)域內(nèi)的終止邊界進行橫向掃描,并將被掃描到的像素點作為第一預(yù)處理像素點,并在所述第一預(yù)處理像素點的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征匹配時,將匹配的各像素點的透明度值設(shè)置為最大值,并在調(diào)整后更新非完整的目標對象對應(yīng)的對象邊界,進而所述掃描調(diào)整模塊20可進一步用于查找非完整的目標對象內(nèi)的第二起始像素點,并進一步參見上述圖1所對應(yīng)實施例中對圖5a所描述的方向進行掃描,進而可進一步參見上述圖1所對應(yīng)實施例中對圖5b所示的對第二像素點的調(diào)整的描述,這里將不再進行贅述。
所述第一融合顯示模塊30,用于將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像;
具體地,所述第一融合顯示模塊30,可具體用于對處理后的預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理,并在所述原始圖像中,提取所述處理后的預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征,并將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像;;所述第一展示圖像可以為將rgb彩色圖像(即所述原始圖像)和包含完整目標對象的alpha圖像進行融合處理后所生成的rgba彩色圖像;
其中,所述處理后的預(yù)處理區(qū)域中的所有像素點包含多個調(diào)整后的預(yù)處理像素點。
由此可見,所述圖像數(shù)據(jù)處理裝置1首先通過獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;然后,查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;最后,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含所述非完整的目標對象的展示圖像,并顯示所述展示圖像??梢姡诓檎业椒峭暾哪繕藢ο笾械钠鹗枷袼攸c時,可從所述起始像素點向所述背景區(qū)域所在方向進行掃描,以將被掃描到的像素點作為預(yù)處理像素點,并在所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特性匹配時,將所述預(yù)處理像素點的透明值設(shè)置為最大值,并在所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特性不匹配時,將所述預(yù)處理像素點的透明值設(shè)置為最小值;因此,通過顏色特征比對,可以將灰度圖像邊緣的凹凸、缺失、或小塊的雜亂區(qū)域進行調(diào)整修復(fù),從而可以提高圖像分割精度,進而改善圖像顯示效果。
進一步地,請參見圖17,是本發(fā)明實施例提供的另一種圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。如圖17所示,所述圖像數(shù)據(jù)處理裝置1可以包含上述圖11所對應(yīng)實施例中的所述獲取選取模塊10,掃描調(diào)整模塊20和第一融合顯示模塊30;進一步地,所述圖像數(shù)據(jù)處理裝置1還可以包括:對象特征獲取模塊40,特征匹配統(tǒng)計模塊50,通知模塊60,均值濾波處理模塊70,原始特征提取模塊80和第二融合顯示模塊90;
所述對象特征獲取模塊40,用于在所述原始圖像中,獲取所述非完整的目標對象對應(yīng)的膚色特征和發(fā)色特征,并將所述膚色特征和所述發(fā)色特征作為與所述非完整的目標對象對應(yīng)的對象顏色特征;
所述特征匹配統(tǒng)計模塊50,用于在所述原始圖像中,提取所述背景區(qū)域內(nèi)各像素點分別對應(yīng)的原始顏色特征,并統(tǒng)計所述背景區(qū)域內(nèi)的所述原始顏色特征與所述對象顏色特征相匹配的像素點的目標數(shù)量;
具體地,所述特征匹配統(tǒng)計模塊50,具體用于在所述原始圖像中提取到所述背景區(qū)域內(nèi)各像素點分別對應(yīng)的原始顏色特征之后,進一步分析透明化的背景區(qū)域內(nèi)顏色的復(fù)雜度,即可進一步統(tǒng)計所述背景區(qū)域內(nèi)的所述原始顏色特征與所述對象顏色特征相匹配的像素點的目標數(shù)量,并在統(tǒng)計到的目標數(shù)量小于預(yù)設(shè)的像素點閾值時,確定所述目標數(shù)量滿足預(yù)設(shè)的色彩分割條件,即可使所述通知模塊60進一步通知所述掃描調(diào)整模塊20執(zhí)行上述圖8所對應(yīng)實施例中的步驟s804,可選地,所述特征匹配統(tǒng)計模塊50,還可用于在統(tǒng)計到目標數(shù)量大于或等于預(yù)設(shè)的像素點閾值時,確定所述目標數(shù)量不滿足預(yù)設(shè)的色彩分割條件,并進一步通過所述均值濾波處理模塊70執(zhí)行上述圖8所對應(yīng)實施例中的步驟s807。
所述通知模塊60,用于若所述目標數(shù)量滿足預(yù)設(shè)的色彩分割條件,則通知所述掃描調(diào)整模塊執(zhí)行所述查找所述非完整的目標對象中的起始像素點的步驟;
其中,所述掃描調(diào)整模塊20包含上述圖14所示的所述第一查找調(diào)整單元201,目標對象更新單元202,第二查找調(diào)整單元203和預(yù)處理像素點確定單元204,且所述第一查找調(diào)整單元201和所述第二查找調(diào)整單元203均具有對像素點進行掃描和對像素點進行確認以及對像素點進行調(diào)整的功能。
鑒于此,進一步地,請參見圖18,是本發(fā)明實施例提供的另一種掃描調(diào)整模塊的結(jié)構(gòu)示意圖。如圖18所示,所述掃描調(diào)整模塊20包括:像素點掃描單元205,像素點確定單元206和像素點調(diào)整單元207;
所述像素點掃描單元205,用于查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,直至掃描到所述背景區(qū)域中的終止邊界則停止掃描;
其中,所述終止邊界中的每個像素點與對象邊界之間的像素點數(shù)量均為第二預(yù)處理數(shù)量;所述第二預(yù)處理數(shù)量是根據(jù)預(yù)設(shè)的第三比例公式和所述原始對象的深度信息計算得到;
其中,所述像素點掃描單元205查找所述起始像素點的具體過程可參見上述圖1所對應(yīng)實施例中分別對第一起始像素點的查找和對第二起始像素點的查找的描述,這里將不再進行贅述。
所述像素點確定單元206,用于將被掃描到的像素點確定為預(yù)處理像素點;
所述像素點調(diào)整單元207,用于將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值。
可見,上述圖14所對應(yīng)實施例中的所述第一查找調(diào)整單元201和所述第二查找調(diào)整單元203均可以包含所述像素點掃描單元205對像素點進行掃描的功能、所述像素點確定單元206對預(yù)處理像素點進行確認的功能、所述像素點調(diào)整單元207對像素點的透明度值進行調(diào)整的功能。
進一步地,請參見圖19,是本發(fā)明實施例提供的一種像素點調(diào)整單元的結(jié)構(gòu)示意圖。如圖19所示,所述像素點調(diào)整單元207包括:原始顏色獲取子單元2071,顏色匹配子單元2072,最大值調(diào)整子單元2073和最小值調(diào)整子單元2074;
所述原始顏色獲取子單元2071,用于在所述原始圖像中,獲取所述預(yù)處理像素點對應(yīng)的原始顏色特征;
所述顏色匹配子單元2072,用于將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配;
所述最大值調(diào)整子單元2073,用于若匹配成功,則將所述預(yù)處理像素點的透明度值調(diào)整為最大值;
所述最小值調(diào)整子單元2074,用于若匹配失敗,則將所述預(yù)處理像素點的透明度值調(diào)整為最小值;
具體地,所述最小值調(diào)整子單元2074,具體用于若所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征匹配失敗,則在所述預(yù)處理像素點對應(yīng)的掃描方向上獲取至少一個目標像素點,并判斷各目標像素點分別對應(yīng)的原始顏色特征是否均與所述對象顏色特征不匹配,并用于若判斷為是,則將所述預(yù)處理像素點的透明度值調(diào)整為最小值,并用于若判斷為否,則通知所述最大值調(diào)整子單元2073將所述預(yù)處理像素點的透明度值調(diào)整為最大值。
其中,所述像素點調(diào)整單元207的具體實施方式可以參見上述圖9所對應(yīng)實施例中對步驟s901-步驟s904的描述,這里將不再繼續(xù)進行贅述。
進一步地,請參見圖20,是本發(fā)明實施例提供的一種第一融合顯示模塊的結(jié)構(gòu)示意圖。如圖20所示,所述第一融合顯示模塊30包括:均值濾波處理單元301,原始顏色提取單元302和融合顯示單元303;
所述均值濾波處理單元301,用于對處理后的預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理;所述處理后的預(yù)處理區(qū)域中的所有像素點包含多個調(diào)整后的預(yù)處理像素點;
所述原始顏色提取單元302,用于在所述原始圖像中,提取所述處理后的預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征;
所述融合顯示單元303,用于將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像。
進一步地,所述均值濾波處理單元301、所述原始顏色提取單元302和所述融合顯示單元303的具體實施方式可以參見上述圖8所對應(yīng)實施例中對步驟s806的描述,這里將不再繼續(xù)進行贅述。
所述均值濾波處理模塊70,用于若所述目標數(shù)量不滿足預(yù)設(shè)的色彩分割條件,則對所述預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理;
具體地,所述均值濾波處理模塊70可在確定統(tǒng)計到所述目標數(shù)量大于或等于預(yù)設(shè)的像素點閾值時,進一步確定所述目標數(shù)量不滿足預(yù)設(shè)的色彩分割條件,并進一步對所述預(yù)處理區(qū)域中的所有像素點進行均值濾波處理;
所述原始特征提取模塊80,用于在所述原始圖像中,提取所述預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征;
所述第二融合顯示模塊90,用于將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含均值濾波處理后的目標對象的第二展示圖像,并顯示所述第二展示圖像。
由此可見,所述圖像數(shù)據(jù)處理裝置1首先通過獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明的非完整的目標對象和透明化的背景區(qū)域;然后,查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;最后,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像,可選地,在所述智能終端確定統(tǒng)計到的目標數(shù)量不滿足色彩分割條件時,可對所述預(yù)處理區(qū)域中的所有像素點的透明度指進行均值濾波,并在所述預(yù)處理區(qū)域中,將所有像素點的原始顏色特征和濾波處理后的透明度值進行融合,以生成包含均值濾波處理后的目標對象的第二展示圖像,并顯示所述第二展示圖像。因此,可根據(jù)背景顏色的復(fù)雜度確定統(tǒng)計到的目標數(shù)量是否滿足色彩分割條件,并在滿足色彩分割條件時,通過顏色特征比對,可以將灰度圖像邊緣的凹凸、缺失、或小塊的雜亂區(qū)域進行調(diào)整修復(fù),并在不滿足色彩分割條件時,直接通過均值濾波對所述預(yù)處理區(qū)域內(nèi)所有像素點的透明度值進行濾波處理,以去除目標對象邊緣處存在的鋸齒,進而平滑目標對象的邊緣,從而可在對圖像進行分割時,根據(jù)色彩分割條件采用對應(yīng)的處理方案,以提高圖像分割精度,進而改善圖像顯示效果。
進一步地,請參見圖21,是本發(fā)明實施例提供的又一種圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。如圖21所示,所述圖像數(shù)據(jù)處理裝置1000可以應(yīng)用于上述圖1對應(yīng)實施例中的智能終端,所述圖像數(shù)據(jù)處理裝置1000可以包括:至少一個處理器1001,例如cpu,至少一個網(wǎng)絡(luò)接口1004,用戶接口1003,存儲器1005,至少一個通信總線1002。其中,通信總線1002用于實現(xiàn)這些組件之間的連接通信。其中,用戶接口1003可以包括顯示屏(display)、鍵盤(keyboard),可選用戶接口1003還可以包括標準的有線接口、無線接口。網(wǎng)絡(luò)接口1004可選的可以包括標準的有線接口、無線接口(如wi-fi接口)。存儲器1005可以是高速ram存儲器,也可以是非不穩(wěn)定的存儲器(non-volatilememory),例如至少一個磁盤存儲器。存儲器1005可選的還可以是至少一個位于遠離前述處理器1001的存儲裝置。如圖21所示,作為一種計算機存儲介質(zhì)的存儲器1005中可以包括操作系統(tǒng)、網(wǎng)絡(luò)通信模塊、用戶接口模塊以及設(shè)備控制應(yīng)用程序。
在圖21所示的圖像數(shù)據(jù)處理裝置1000中,網(wǎng)絡(luò)接口1004主要用于連接智能終端;而用戶接口1003主要用于為用戶提供輸入的接口;而處理器1001可以用于調(diào)用存儲器1005中存儲的設(shè)備控制應(yīng)用程序,以實現(xiàn):
獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明且非完整的目標對象和透明化的背景區(qū)域;
查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;
將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像。
在一個實施例中,所述處理器1001在執(zhí)行所述獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域時,具體執(zhí)行以下步驟:
采集包含所述原始對象的原始圖像,并對所述原始圖像中的所述原始對象進行初始分割,得到非完整的原始對象,并為所述非完整的原始對象對應(yīng)的多個像素點設(shè)置非透明標識;
將所述原始圖像中具有所述非透明標識的像素點的透明度值設(shè)為最大值,并將所述原始圖像中不具有所述非透明標識的像素點的透明度值設(shè)為最小值,生成所述原始圖像對應(yīng)的灰度圖像;所述灰度圖像包括非透明且非完整的原始對象和透明化的背景區(qū)域;
根據(jù)所述原始對象的深度信息,在所述灰度圖像中選取包含非完整的目標對象的預(yù)處理區(qū)域;所述非完整的原始對象包含所述非完整的目標對象。
在一個實施例中,所述處理器1001在執(zhí)行所述根據(jù)所述原始對象的深度信息,在所述灰度圖像中選取包含非完整的目標對象的預(yù)處理區(qū)域時,具體執(zhí)行以下步驟:
獲取所述原始對象的深度信息,并根據(jù)預(yù)設(shè)的第一比例公式計算所述深度信息對應(yīng)的區(qū)域面積;
獲取所述非完整的目標對象的骨骼信息,并根據(jù)所述骨骼信息在所述灰度圖像中確定所述非完整的目標對象對應(yīng)的下邊緣;
根據(jù)所述區(qū)域面積、所述非完整的目標對象對應(yīng)的下邊緣以及所述非完整的目標對象的中心點,在所述灰度圖像中選取包含所述非完整的目標對象的預(yù)處理區(qū)域。
在一個實施例中,所述處理器1001在執(zhí)行所述查找所述非完整的目標對象中的起始像素點之前,還執(zhí)行以下步驟:
在所述原始圖像中,獲取所述非完整的目標對象對應(yīng)的膚色特征和發(fā)色特征,并將所述膚色特征和所述發(fā)色特征作為與所述非完整的目標對象對應(yīng)的對象顏色特征;
在所述原始圖像中,提取所述背景區(qū)域內(nèi)各像素點分別對應(yīng)的原始顏色特征,并統(tǒng)計所述背景區(qū)域內(nèi)的所述原始顏色特征與所述對象顏色特征相匹配的像素點的目標數(shù)量;
若所述目標數(shù)量滿足預(yù)設(shè)的色彩分割條件,則執(zhí)行所述查找所述非完整的目標對象中的起始像素點的步驟。
在一個實施例中,所述處理器1001在執(zhí)行所述查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值時,具體執(zhí)行以下步驟:
查找所述非完整的目標對象中的第一起始像素點,并從所述第一起始像素點開始向所述背景區(qū)域的方向進行第一方向掃描,并將被掃描到的像素點確定為第一預(yù)處理像素點,并將所述第一預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第一預(yù)處理像素點的透明度值;
根據(jù)調(diào)整后的第一預(yù)處理像素點,更新所述非完整的目標對象;
查找更新后的非完整的目標對象中的第二起始像素點,并從所述第二起始像素點開始向所述背景區(qū)域的方向進行第二方向掃描,并將被掃描到的像素點確定為第二預(yù)處理像素點,并將所述第二預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述第二預(yù)處理像素點的透明度值;
將調(diào)整后的第一預(yù)處理像素點和調(diào)整后的第二預(yù)處理像素點作為多個調(diào)整后的預(yù)處理像素點。
在一個實施例中,所述處理器1001在執(zhí)行所述查找所述非完整的目標對象中的第一起始像素點時,具體執(zhí)行以下步驟:
根據(jù)所述背景區(qū)域中的像素點的透明度值和所述非完整的目標對象的像素點的透明度值,在所述預(yù)處理區(qū)域中確定所述非完整的目標對象的對象邊界;
根據(jù)預(yù)設(shè)的第二比例公式,計算所述非完整的目標對象的深度信息對應(yīng)的第一預(yù)處理數(shù)量;
根據(jù)所述對象邊界和所述第一預(yù)處理數(shù)量,從所述非完整的目標對象的中心位置開始沿第一方向查找第一起始像素點;每個第一起始像素點與所述第一方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量。
在一個實施例中,所述處理器1001在執(zhí)行所述查找所述非完整的目標對象中的第二起始像素點時,具體執(zhí)行以下步驟:
根據(jù)更新后的背景區(qū)域中的像素點的透明度值和所述更新后的非完整的目標對象的像素點的透明度值,在所述預(yù)處理區(qū)域中確定所述更新后的非完整的目標對象的對象邊界,作為更新對象邊界;
根據(jù)所述更新對象邊界和所述第一預(yù)處理數(shù)量,從所述更新后的非完整的目標對象的下邊緣開始沿第二方向查找第二起始像素點;每個第二起始像素點與所述第二方向上的對象邊界之間的像素點數(shù)量均為所述第一預(yù)處理數(shù)量。
可選地,在一個實施例中,所述處理器1001在執(zhí)行所述查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值時,具體執(zhí)行以下步驟:
查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,直至掃描到所述背景區(qū)域中的終止邊界則停止掃描;所述終止邊界中的每個像素點與對象邊界之間的像素點數(shù)量均為第二預(yù)處理數(shù)量;所述第二預(yù)處理數(shù)量是根據(jù)預(yù)設(shè)的第三比例公式和所述原始對象的深度信息計算得到;
將被掃描到的像素點確定為預(yù)處理像素點;
將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值。
在一個實施例中,所述處理器1001在執(zhí)行將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值時,具體執(zhí)行以下步驟:
在所述原始圖像中,獲取所述預(yù)處理像素點對應(yīng)的原始顏色特征;
將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配;
若匹配成功,則將所述預(yù)處理像素點的透明度值調(diào)整為最大值;
若匹配失敗,則將所述預(yù)處理像素點的透明度值調(diào)整為最小值。
在一個實施例中,所述處理器1001在執(zhí)行所述若匹配失敗,則將所述預(yù)處理像素點的透明度值調(diào)整為最小值時,具體執(zhí)行以下步驟:
若所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征匹配失敗,則在所述預(yù)處理像素點對應(yīng)的掃描方向上獲取至少一個目標像素點,并判斷各目標像素點分別對應(yīng)的原始顏色特征是否均與所述對象顏色特征不匹配;
若判斷為是,則將所述預(yù)處理像素點的透明度值調(diào)整為最小值;
若判斷為否,則執(zhí)行所述將所述預(yù)處理像素點的透明度值調(diào)整為最大值的步驟。
在一個實施例中,所述處理器1001在執(zhí)行所述將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像時,具體執(zhí)行以下步驟:
對處理后的預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理;所述處理后的預(yù)處理區(qū)域中的所有像素點包含多個調(diào)整后的預(yù)處理像素點;
在所述原始圖像中,提取所述處理后的預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征;
將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像。
在一個實施例中,所述處理器1001在執(zhí)行所述在所述原始圖像中,提取所述背景區(qū)域內(nèi)各像素點分別對應(yīng)的原始顏色特征,并統(tǒng)計所述背景區(qū)域內(nèi)的所述原始顏色特征與所述對象顏色特征相匹配的像素點的目標數(shù)量之后,還執(zhí)行以下步驟:
若所述目標數(shù)量不滿足預(yù)設(shè)的色彩分割條件,則對所述預(yù)處理區(qū)域中的所有像素點的透明度值進行均值濾波處理;
在所述原始圖像中,提取所述預(yù)處理區(qū)域中的所有像素點分別對應(yīng)的原始顏色特征;
將均值濾波處理后的透明度值與所提取的原始顏色特征進行融合,生成包含均值濾波處理后的目標對象的第二展示圖像,并顯示所述第二展示圖像。
本發(fā)明實施例通過所述圖像數(shù)據(jù)處理裝置1000首先通過獲取原始圖像所對應(yīng)的灰度圖像,并在所述灰度圖像中選取預(yù)處理區(qū)域;所述預(yù)處理區(qū)域包括非透明的非完整的目標對象和透明化的背景區(qū)域;然后,查找所述非完整的目標對象中的起始像素點,并從所述起始像素點開始向所述背景區(qū)域的方向進行掃描,并將被掃描到的像素點確定為預(yù)處理像素點,并將所述預(yù)處理像素點對應(yīng)的原始顏色特征與所述非完整的目標對象對應(yīng)的對象顏色特征進行匹配,并根據(jù)匹配結(jié)果調(diào)整所述預(yù)處理像素點的透明度值;最后,將包含多個調(diào)整后的預(yù)處理像素點的預(yù)處理區(qū)域和所述原始圖像進行融合,生成包含完整的目標對象的第一展示圖像,并顯示所述第一展示圖像,可選地,在所述智能終端確定統(tǒng)計到的目標數(shù)量不滿足色彩分割條件時,可對所述預(yù)處理區(qū)域中的所有像素點的透明度指進行均值濾波,并在所述預(yù)處理區(qū)域中,將所有像素點的原始顏色特征和濾波處理后的透明度值進行融合,以生成包含均值濾波處理后的目標對象的第二展示圖像,并顯示所述第二展示圖像。因此,可根據(jù)背景顏色的復(fù)雜度確定統(tǒng)計到的目標數(shù)量是否滿足色彩分割條件,并在滿足色彩分割條件時,通過顏色特征比對,可以將灰度圖像邊緣的凹凸、缺失、或小塊的雜亂區(qū)域進行調(diào)整修復(fù),并在不滿足色彩分割條件時,直接通過均值濾波對所述預(yù)處理區(qū)域內(nèi)所有像素點的透明度值進行濾波處理,以去除目標對象邊緣處存在的鋸齒,進而平滑目標對象的邊緣,從而可在對圖像進行分割時,根據(jù)色彩分割條件采用對應(yīng)的處理方案,以提高圖像分割精度,進而改善圖像顯示效果。
本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程,是可以通過計算機程序來指令相關(guān)的硬件來完成,所述的程序可存儲于一計算機可讀取存儲介質(zhì)中,該程序在執(zhí)行時,可包括如上述各方法的實施例的流程。其中,所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(read-onlymemory,rom)或隨機存儲記憶體(randomaccessmemory,ram)等。
以上所揭露的僅為本發(fā)明較佳實施例而已,當然不能以此來限定本發(fā)明之權(quán)利范圍,因此依本發(fā)明權(quán)利要求所作的等同變化,仍屬本發(fā)明所涵蓋的范圍。