本發(fā)明涉及室內(nèi)定位，特別是涉及一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法及系統(tǒng)。

背景技術(shù)：

1、室內(nèi)相機位姿估計是實現(xiàn)建筑環(huán)境中基于位置的服務(wù)的關(guān)鍵。經(jīng)濟、高效、準(zhǔn)確的室內(nèi)定位技術(shù)，對推進現(xiàn)代化進程具有重要意義?；趫D像檢索法去獲取位置信息，主要是選擇最佳的匹配圖像，在圖像數(shù)據(jù)庫中檢索與查詢圖像相似的最近鄰圖像，利用該近鄰圖像的三維模型信息，計算出相機的位姿。在這些方法中，可以使用基于攝影測量學(xué)的解析解來估計具有六自由度的相機姿態(tài)。然而，圖像檢索方法及其變化需要具有已知位置的大型照片數(shù)據(jù)庫或整個室內(nèi)空間的預(yù)先存在的地圖，這是高度勞動密集型和耗時的獲取。

2、建筑信息模型，簡稱bim，其可以為已建成的設(shè)施提供了三維空間模型，其中包含室內(nèi)環(huán)境的視覺外觀和空間布局。然而，實際存在跨域差距。給定bim渲染的圖像和相同室內(nèi)場景的照片，計算機無法檢測到正確的尺度不變特征變換對應(yīng)關(guān)系。這一現(xiàn)象表明，計算機以不同的方式感知bim渲染圖像和現(xiàn)實拍攝圖像，這使得很難直接進行圖像檢索或基于sift、hog或其他圖像描述符的注冊的相似性比較。另外，如何通過revit、blender等軟件，自動且快速的獲取bim圖像數(shù)據(jù)集，為后續(xù)工作做好準(zhǔn)備，也是尚待解決的問題。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法及系統(tǒng)，通過nafnet網(wǎng)絡(luò)解決圖像檢索定位過程中的運動模糊問題；通過改進型cyclegan網(wǎng)絡(luò)，實現(xiàn)虛擬采集圖像到真實圖像的高相似合成，提高合成圖像的真實性和可信度，減少bim渲染圖像與真實室內(nèi)照片之間的跨域差異；通過swin?transformer實現(xiàn)對圖像的特征提取和高效檢索；通過srpnp算法，提高室內(nèi)定位的準(zhǔn)確度和速度。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法，包括：

4、構(gòu)建bim模型；

5、利用revit軟件內(nèi)的虛擬相機對所述bim模型進行漫游，并以預(yù)定義的幀速率進行漫游圖像捕獲，得到bim渲染圖像數(shù)據(jù)集；

6、拍攝目標(biāo)建筑室內(nèi)圖像，利用nafnet網(wǎng)絡(luò)對所述目標(biāo)建筑室內(nèi)圖像進行動態(tài)模糊去除，得到測試圖像；

7、利用訓(xùn)練完成的改進型cyclegan網(wǎng)絡(luò)將所述bim渲染圖像數(shù)據(jù)集轉(zhuǎn)換成合成圖像集；

8、利用預(yù)訓(xùn)練的swin?transformer模型對所述測試圖像和所述合成圖像集進行特征提取、余弦相似度計算以及圖像檢索，得到最相似合成圖像；

9、利用sift算法將所述最相似合成圖像進行二維到三維的映射，得到映射關(guān)系數(shù)據(jù)；

10、利用srpnp算法對所述映射關(guān)系數(shù)據(jù)進行相機六自由度姿態(tài)估計，得到室內(nèi)位置識別結(jié)果。

11、優(yōu)選地，利用revit軟件內(nèi)的虛擬相機對所述bim模型進行漫游，并以預(yù)定義的幀速率進行漫游圖像捕獲，得到bim渲染圖像數(shù)據(jù)集，包括：

12、對revit軟件的生成屬性選項進行配置；所述屬性選項包括：線框、陰影線、顏色選項以及渲染選項；

13、設(shè)置所述虛擬相機的漫游路徑；所述漫游路徑包括：幀間隔和預(yù)定的行走幀；

14、基于生成屬性選項配置完成的revit軟件，利用所述虛擬相機按照所述漫游路徑對所述bim模型進行圖像采集，得到xml格式的所述bim渲染圖像數(shù)據(jù)集

15、優(yōu)選地，拍攝目標(biāo)建筑室內(nèi)圖像，利用nafnet網(wǎng)絡(luò)對所述目標(biāo)建筑室內(nèi)圖像進行動態(tài)模糊去除，得到測試圖像，包括：

16、利用相機對目標(biāo)建筑內(nèi)部進行拍攝，得到所述目標(biāo)建筑室內(nèi)圖像；

17、計算所述目標(biāo)建筑室內(nèi)圖像的圖像模糊判別度量和模糊判別閾值；所述圖像模糊判別度量的計算公式為：

18、

19、所述模糊判別閾值的計算公式為：

20、

21、其中，bdm為所述圖像模糊判別度量；t為所述模糊判別閾值；h為圖像高度；w為圖像寬度；gx(i,j)為圖像在x方向上的梯度；gy(i,j)為圖像在y方向上的梯度；n為圖像在x和y兩個方向上計算出的梯度值總數(shù)；gn為非零梯度值的總和；n為場景數(shù)；和分別為所述圖像模糊判別度量的最大值和最小值；

22、根據(jù)所述圖像模糊判別度量和所述模糊判別閾值對所述目標(biāo)建筑室內(nèi)圖像進行模糊度判斷，得到模糊程度數(shù)據(jù)；

23、當(dāng)所述模糊程度數(shù)據(jù)超過預(yù)設(shè)的模糊允許范圍時，利用nafnet網(wǎng)絡(luò)對所述目標(biāo)建筑室內(nèi)圖像進行動態(tài)模糊去除，得到所述測試圖像。

24、優(yōu)選地，所述改進型cyclegan網(wǎng)絡(luò)的訓(xùn)練過程，包括：

25、將cbdm集成到基本cyclegan網(wǎng)絡(luò)的生成器的殘差塊中，將基本cyclegan網(wǎng)絡(luò)的生成器卷積層中的relu激活函數(shù)替換為prelu激活函數(shù)，并采用標(biāo)簽平滑技術(shù)優(yōu)化基本cyclegan網(wǎng)絡(luò)的判別模塊，得到改進型cyclegan網(wǎng)絡(luò)；

26、將預(yù)收集的bim渲染圖像作為訓(xùn)練集，并將預(yù)收集的室內(nèi)拍攝圖像作為驗證集；

27、利用所述改進型cyclegan網(wǎng)絡(luò)內(nèi)的生成器將所述訓(xùn)練集轉(zhuǎn)換成室內(nèi)拍攝風(fēng)格，得到生成圖像集；

28、利用所述改進型cyclegan網(wǎng)絡(luò)內(nèi)的判別器對所述生成圖像集的真實性進行判斷，得到判斷結(jié)果；

29、當(dāng)所述判斷結(jié)果為生成失敗時，計算所述生成圖像集的損失值，得到中間對抗性損失，并利用所述中間對抗性損失對所述改進型cyclegan網(wǎng)絡(luò)的參數(shù)進行優(yōu)化和迭代，得到迭代完成的所述改進型cyclegan網(wǎng)絡(luò)；所述對抗性損失的計算公式為：

30、

31、其中，為所述對抗性損失；a和b均為源域；gab和gba均為所述生成器；db為所述判別器；gba(gab(a))為所述生成圖像集內(nèi)的圖像；為真實對抗性損失；為生成對抗性損失；

32、對迭代完成的所述改進型cyclegan網(wǎng)絡(luò)的生成相似度進行計算，得到弗雷謝特起始距離；所述弗雷謝特起始距離的計算公式為：

33、fid＝||μr-μg||2+tr(∑r+∑g-2(∑r∑g)1/2)；

34、其中，fid為所述弗雷謝特起始距離；μr、μg分別為所述驗證集和所述生成圖像集的特征均值；∑r、∑g分別為所述驗證集和所述生成圖像集的協(xié)方差矩陣；tr為跡；

35、當(dāng)所述弗雷謝特起始距離滿足預(yù)設(shè)的相似標(biāo)準(zhǔn)時，輸出訓(xùn)練完成的所述改進型cyclegan網(wǎng)絡(luò)。

36、優(yōu)選地，利用預(yù)訓(xùn)練的swin?transformer模型對所述測試圖像和所述合成圖像集進行特征提取、余弦相似度計算以及圖像檢索，得到最相似合成圖像，包括：

37、利用所述swin?transformer模型分別對所述測試圖像和所述合成圖像集進行特征提取，得到測試特征和合成特征集；

38、計算所述測試特征和所述合成特征集內(nèi)每個合成特征的余弦相似度，得到相似度數(shù)據(jù)集；

39、根據(jù)所述相似度數(shù)據(jù)集，將所述合成圖像集內(nèi)相似度值最大的合成圖像確定為所述最相似合成圖像。

40、優(yōu)選地，利用sift算法將所述最相似合成圖像進行二維到三維的映射，得到映射關(guān)系數(shù)據(jù)，包括：

41、利用sift算法獲取所述最相似合成圖像的局部特征點；

42、利用revit軟件中的uidoc.selection.pickobject函數(shù)獲取所述局部特征點的三維世界坐標(biāo)；

43、根據(jù)所述最相似合成圖像，利用所述三維世界坐標(biāo)進行像素點映射，得到所述映射關(guān)系數(shù)據(jù)。

44、優(yōu)選地，所述室內(nèi)位置識別結(jié)果的計算公式為：si·pi＝k[r∣t]pi；其中，r為旋轉(zhuǎn)矩陣；t為平移向量；si為未知比例因子；pi為所述最相似合成圖像上的第i個點；pi為第i個三維點的齊次坐標(biāo)；k為所述虛擬相機的內(nèi)部參考矩陣；[r∣t]為世界坐標(biāo)系到相機坐標(biāo)系的變換。

45、優(yōu)選地，一種基于跨域圖像檢索的bim輔助室內(nèi)定位系統(tǒng)，包括：

46、模型構(gòu)建模塊，用于構(gòu)建bim模型；

47、漫游圖像捕獲模塊，用于利用revit軟件內(nèi)的虛擬相機對所述bim模型進行漫游，并以預(yù)定義的幀速率進行漫游圖像捕獲，得到bim渲染圖像數(shù)據(jù)集；

48、測試圖像獲取模塊，用于拍攝目標(biāo)建筑室內(nèi)圖像，利用nafnet網(wǎng)絡(luò)對所述目標(biāo)建筑室內(nèi)圖像進行動態(tài)模糊去除，得到測試圖像；

49、圖像合成模塊，用于利用訓(xùn)練完成的改進型cyclegan網(wǎng)絡(luò)將所述bim渲染圖像數(shù)據(jù)集轉(zhuǎn)換成合成圖像集；

50、最相似合成圖像檢索模塊，用于利用預(yù)訓(xùn)練的swin?transformer模型對所述測試圖像和所述合成圖像集進行特征提取、余弦相似度計算以及圖像檢索，得到最相似合成圖像；

51、映射模塊，用于利用sift算法將所述最相似合成圖像進行二維到三維的映射，得到映射關(guān)系數(shù)據(jù)；

52、位置提取模塊，用于利用srpnp算法對所述映射關(guān)系數(shù)據(jù)進行相機六自由度姿態(tài)估計，得到室內(nèi)位置識別結(jié)果。

53、本發(fā)明公開了以下技術(shù)效果：

54、本發(fā)明提供了一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法及系統(tǒng)，通過nafnet網(wǎng)絡(luò)，解決了圖像檢索定位過程中的運動模糊問題，實現(xiàn)了對待識別圖片的優(yōu)化；通過改進型cyclegan網(wǎng)絡(luò)，解決了現(xiàn)有cyclegan網(wǎng)絡(luò)合成效果較差的問題，實現(xiàn)了虛擬采集圖像到真實圖像的高相似合成；通過swin?transformer，解決了現(xiàn)有檢索機制特征提取效果不佳、檢索效率較低的缺陷，實現(xiàn)了對圖像的特征提取和高效檢索；通過srpnp算法，解決了現(xiàn)有位置提取方法抗干擾能力較差的問題，實現(xiàn)了對室內(nèi)位置的可靠識別。