本技術(shù)屬于計算機,尤其涉及一種圖像輸出方法、裝置、終端設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、在3d場景中生成2d圖像數(shù)據(jù)時,精確地確定相機的位置和朝向是至關(guān)重要的,這通常涉及六維參數(shù):三維空間中的相機坐標(biāo)位置以及三維旋轉(zhuǎn)角度。
2、當(dāng)前,確定相機在3d場景中的位置和朝向的方法主要分為兩種策略,第一種策略是通過隨機生成六維參數(shù)來直接設(shè)定相機的位置和朝向。另一種策略則是依賴人工標(biāo)注的方式。通過專業(yè)人員在3d場景中手動選取相機的位置和朝向,并對由此產(chǎn)生的圖像質(zhì)量進行評估和選擇,最終確定出合理的相機位置。但是,第一種策略難以保證相機位姿的合理性,從而采集到質(zhì)量低下的圖像。第二種策略在需要生成大量圖像數(shù)據(jù)的場景下,需要大量的人力資源投入,且效率較低。
技術(shù)實現(xiàn)思路
1、本技術(shù)實施例提供了一種圖像輸出方法、裝置、終端設(shè)備及存儲介質(zhì),可以解決當(dāng)前確定相機在3d場景中的位置和朝向存在難以保證相機位姿的合理性導(dǎo)致采集到質(zhì)量低下的圖像以及效率較低的問題。
2、第一方面,本技術(shù)實施例提供了一種圖像輸出方法,包括:
3、基于相機位姿預(yù)估模型和輸入圖像,生成目標(biāo)相機的預(yù)估位姿參數(shù);
4、觸發(fā)所述目標(biāo)相機在所述預(yù)估位姿參數(shù)對應(yīng)的位姿下進行圖像采集,得到目標(biāo)圖像;
5、獲取所述目標(biāo)圖像的質(zhì)量評分;
6、若所述質(zhì)量評分不大于第一預(yù)設(shè)閾值,則返回執(zhí)行所述基于相機位姿預(yù)估模型和輸入圖像,生成目標(biāo)相機的預(yù)估位姿參數(shù)的步驟及后續(xù)步驟;
7、若所述質(zhì)量評分大于所述第一預(yù)設(shè)閾值,則輸出所述目標(biāo)圖像;
8、其中,所述相機位姿預(yù)估模型為基于第一訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的第一神經(jīng)網(wǎng)絡(luò)模型,在所述輸入圖像相同的情況下,所述相機位姿預(yù)估模型的輸出結(jié)果不全相同,所述第一訓(xùn)練數(shù)據(jù)集包括多個第一訓(xùn)練樣本,每個第一訓(xùn)練樣本包含樣本位姿參數(shù)及目標(biāo)相機在所述樣本位姿參數(shù)對應(yīng)的位姿下采集到的第一樣本圖像,所述第一樣本圖像的質(zhì)量評分大于第二預(yù)設(shè)閾值。
9、在第一方面的一種可能的實現(xiàn)方式中,所述獲取所述目標(biāo)圖像的質(zhì)量評分,包括:
10、將所述目標(biāo)圖像輸入圖像質(zhì)量評估模型,得到所述圖像質(zhì)量評估模型輸出的所述目標(biāo)圖像的質(zhì)量評分;其中,所述圖像質(zhì)量評估模型為基于第二訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的第二神經(jīng)網(wǎng)絡(luò)模型,所述第二訓(xùn)練數(shù)據(jù)集包括多個第二訓(xùn)練樣本,每個第二訓(xùn)練樣本包含多個第二樣本圖像以及與每個第二樣本圖像對應(yīng)的標(biāo)注質(zhì)量評分。
11、在第一方面的一種可能的實現(xiàn)方式中,在所述將所述目標(biāo)圖像輸入圖像質(zhì)量評估模型,得到所述圖像質(zhì)量評估模型輸出的所述目標(biāo)圖像的質(zhì)量評分之前,還包括:
12、獲取所述多個第二訓(xùn)練樣本;
13、將每個所述第二訓(xùn)練樣本中的所述第二樣本圖像輸入所述圖像質(zhì)量評估模型,得到所述圖像質(zhì)量評估模型輸出的每個所述第二樣本圖像的預(yù)測質(zhì)量評分;
14、計算每個所述第二樣本圖像的預(yù)測質(zhì)量評分與每個所述第二樣本圖像對應(yīng)的標(biāo)注質(zhì)量評分之間的誤差;
15、根據(jù)所述誤差迭代更新所述圖像質(zhì)量評估模型的模型參數(shù),直至所述圖像質(zhì)量評估模型滿足預(yù)設(shè)的第二訓(xùn)練停止條件。
16、在第一方面的一種可能的實現(xiàn)方式中,在所述基于相機位姿預(yù)估模型和輸入圖像,生成目標(biāo)相機的預(yù)估位姿參數(shù)之前,還包括:
17、獲取多個所述第一訓(xùn)練樣本;
18、將每個所述第一訓(xùn)練樣本中的所述第一樣本圖像輸入所述相機位姿預(yù)估模型,得到所述相機位姿預(yù)估模型輸出的每個所述第一樣本圖像對應(yīng)的預(yù)估位姿參數(shù);
19、計算每個所述第一樣本圖像對應(yīng)的預(yù)估位姿參數(shù)與每個所述第一樣本圖像對應(yīng)的樣本位姿參數(shù)之間的損失;
20、根據(jù)所述損失迭代更新所述相機位姿預(yù)估模型的模型參數(shù),直至所述相機位姿預(yù)估模型滿足預(yù)設(shè)的第一訓(xùn)練停止條件。
21、在第一方面的一種可能的實現(xiàn)方式中,在所述基于相機位姿預(yù)估模型和輸入圖像,生成目標(biāo)相機的預(yù)估位姿參數(shù)之后,還包括:
22、判斷所述預(yù)估位姿參數(shù)是否符合第一預(yù)設(shè)規(guī)則;其中,所述第一預(yù)設(shè)規(guī)則用于對所述目標(biāo)相機的位姿參數(shù)進行篩選;
23、若所述預(yù)估位姿參數(shù)符合所述第一預(yù)設(shè)規(guī)則,執(zhí)行所述觸發(fā)所述目標(biāo)相機在所述預(yù)估位姿參數(shù)對應(yīng)的位姿下進行圖像采集,得到目標(biāo)圖像的步驟及后續(xù)步驟;
24、若所述預(yù)估位姿參數(shù)不符合所述第一預(yù)設(shè)規(guī)則,返回執(zhí)行所述基于相機位姿預(yù)估模型和輸入圖像,生成目標(biāo)相機的預(yù)估位姿參數(shù)的步驟及后續(xù)步驟。
25、在第一方面的一種可能的實現(xiàn)方式中,所述獲取所述目標(biāo)圖像的質(zhì)量評分,包括:
26、將所述目標(biāo)圖像輸入圖像質(zhì)量評估模型,得到所述圖像質(zhì)量評估模型輸出的所述目標(biāo)圖像對應(yīng)的圖像質(zhì)量評分;其中,所述圖像質(zhì)量評估模型為基于第二訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的第二神經(jīng)網(wǎng)絡(luò)模型,所述第二訓(xùn)練數(shù)據(jù)集包括多個第二訓(xùn)練樣本,每個第二訓(xùn)練樣本包含多個第二樣本圖像以及與每個第二樣本圖像對應(yīng)的標(biāo)注質(zhì)量評分;
27、根據(jù)第二預(yù)設(shè)規(guī)則對所述預(yù)估位姿參數(shù)進行位姿質(zhì)量評分,得到所述預(yù)估位姿參數(shù)對應(yīng)的位姿質(zhì)量評分;
28、根據(jù)所述目標(biāo)圖像對應(yīng)的圖像質(zhì)量評分和所述預(yù)估位姿參數(shù)對應(yīng)的位姿質(zhì)量評分,得到所述目標(biāo)圖像的質(zhì)量評分。
29、在第一方面的一種可能的實現(xiàn)方式中,所述根據(jù)所述目標(biāo)圖像對應(yīng)的圖像質(zhì)量評分和所述預(yù)估位姿參數(shù)對應(yīng)的位姿質(zhì)量評分,得到所述目標(biāo)圖像的質(zhì)量評分,包括:
30、獲取所述目標(biāo)圖像對應(yīng)的圖像質(zhì)量評分的第一權(quán)重以及所述預(yù)估位姿參數(shù)對應(yīng)的位姿質(zhì)量評分的第二權(quán)重;
31、基于所述第一權(quán)重和所述第二權(quán)重,對所述圖像質(zhì)量評分與所述位姿質(zhì)量評分進行加權(quán)求和,得到所述目標(biāo)圖像的質(zhì)量評分。
32、第二方面,本技術(shù)實施例提供了一種圖像輸出裝置,包括:
33、預(yù)估位姿參數(shù)生成模塊,用于基于相機位姿預(yù)估模型和輸入圖像,生成目標(biāo)相機的預(yù)估位姿參數(shù);
34、目標(biāo)圖像采集模塊,用于觸發(fā)所述目標(biāo)相機在所述預(yù)估位姿參數(shù)對應(yīng)的位姿下進行圖像采集,得到目標(biāo)圖像;
35、質(zhì)量評分獲取模塊,用于獲取所述目標(biāo)圖像的質(zhì)量評分;
36、執(zhí)行模塊,用于若所述質(zhì)量評分不大于第一預(yù)設(shè)閾值,則返回執(zhí)行所述基于相機位姿預(yù)估模型和輸入圖像,生成目標(biāo)相機的預(yù)估位姿參數(shù)的步驟及后續(xù)步驟;
37、輸出模塊,用于若所述質(zhì)量評分大于所述第一預(yù)設(shè)閾值,則輸出所述目標(biāo)圖像;
38、其中,所述相機位姿預(yù)估模型為基于第一訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的第一神經(jīng)網(wǎng)絡(luò)模型,在所述輸入圖像相同的情況下,所述相機位姿預(yù)估模型的輸出結(jié)果不全相同,所述第一訓(xùn)練數(shù)據(jù)集包括多個第一訓(xùn)練樣本,每個第一訓(xùn)練樣本包含樣本位姿參數(shù)及目標(biāo)相機在所述樣本位姿參數(shù)對應(yīng)的位姿下采集到的第一樣本圖像,所述第一樣本圖像的質(zhì)量評分大于第二預(yù)設(shè)閾值。
39、第三方面,本技術(shù)實施例提供了一種終端設(shè)備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述第一方面中任一項所述的圖像輸出方法。
40、第四方面,本技術(shù)實施例提供了一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述第一方面中任一項所述的圖像輸出方法。
41、第五方面,本技術(shù)實施例提供了一種計算機程序產(chǎn)品,當(dāng)計算機程序產(chǎn)品在終端設(shè)備上運行時,使得終端設(shè)備執(zhí)行上述第一方面中任一項所述的圖像輸出方法。
42、本技術(shù)實施例與現(xiàn)有技術(shù)相比存在的有益效果是:
43、本技術(shù)實施例提供的圖像輸出方法,首先,相機位姿預(yù)估模型是基于高質(zhì)量(質(zhì)量評分大于第二預(yù)設(shè)閾值)的第一樣本圖像和對應(yīng)樣本位姿參數(shù)的第一訓(xùn)練樣本訓(xùn)練得到的相機位姿預(yù)估模型,通過相機位姿預(yù)估模型基于輸入圖像生成目標(biāo)相機的預(yù)估位姿參數(shù)的方式,取代了現(xiàn)有技術(shù)中的隨機采樣方式,提高了目標(biāo)相機存在的可能合理的位姿參數(shù)的準(zhǔn)確性。其次,通過將目標(biāo)相機的參數(shù)調(diào)整為預(yù)估位姿參數(shù),并觸發(fā)目標(biāo)相機在對應(yīng)的位姿下采集目標(biāo)圖像的方式,提高了圖像采集的效率和準(zhǔn)確性。第三,通過獲取目標(biāo)圖像的質(zhì)量評分,并與第一預(yù)設(shè)閾值進行比較,可以量化地評估預(yù)估位姿參數(shù)的準(zhǔn)確性。當(dāng)目標(biāo)圖像的質(zhì)量評分不大于預(yù)設(shè)閾值時,確定該目標(biāo)圖像對應(yīng)的預(yù)估位姿參數(shù)為目標(biāo)相機的不合理的位姿參數(shù),此時重新執(zhí)行將輸入圖像再次輸入到相機位姿預(yù)估模型,以獲取新的預(yù)估位姿參數(shù)以及后續(xù)的整個流程,直到采集到的目標(biāo)圖像的質(zhì)量評分滿足要求為止。當(dāng)目標(biāo)圖像的質(zhì)量評分大于預(yù)設(shè)閾值時,確定該目標(biāo)圖像對應(yīng)的預(yù)估位姿參數(shù)為目標(biāo)相機的合理的位姿參數(shù),此時目標(biāo)相機在對應(yīng)的位姿下采集的目標(biāo)圖像的質(zhì)量比較高,將符合用戶要求或應(yīng)用需求的目標(biāo)圖像輸出,提高了輸出圖像的質(zhì)量和用戶的滿意度。
44、可以理解的是,上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關(guān)描述,在此不再贅述。