本發(fā)明涉及裝配校準(zhǔn)，具體是指一種顯示屏機器人高精度裝配與校準(zhǔn)系統(tǒng)。

背景技術(shù)：

1、一種顯示屏機器人高精度裝配與校準(zhǔn)系統(tǒng)是指一種采用計算機視覺技術(shù)對多顯示屏設(shè)備提供裝配指導(dǎo)與校準(zhǔn)優(yōu)化的系統(tǒng)。顯示屏在電子產(chǎn)品中的應(yīng)用越來越廣泛，多顯示屏設(shè)備需要較高精度的裝配和校準(zhǔn)，以確保顯示屏的顯示效果。

2、現(xiàn)有的傳統(tǒng)裝配方案缺少針對多顯示屏設(shè)備的面向用戶化的裝配指導(dǎo)方法；

3、在目前已有的近似方案中，例如，cn111240567b?一種顯示屏的角度調(diào)整方法及電子設(shè)備，這種方案針對現(xiàn)有技術(shù)中用戶通常采用手動的方式調(diào)節(jié)顯示屏折疊角度的技術(shù)問題，通過計算觸控筆的夾角進(jìn)行角度補償，提供了一種顯示屏的角度調(diào)整方法，實現(xiàn)了提高用戶使用體驗的技術(shù)效果，但存在顯示屏校準(zhǔn)方式較為單一，未結(jié)合用戶個性化的看屏需求及其使用習(xí)慣，動態(tài)性不佳的問題；

4、因此，傳統(tǒng)的裝配與校準(zhǔn)系統(tǒng)存在缺少針對多顯示屏設(shè)備的面向用戶化的裝配指導(dǎo)方法的技術(shù)問題；存在顯示屏校準(zhǔn)方式較為單一，未結(jié)合用戶個性化的看屏需求及其使用習(xí)慣，動態(tài)性不佳的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了一種顯示屏機器人高精度裝配與校準(zhǔn)系統(tǒng)；

2、針對缺少針對多顯示屏設(shè)備的面向用戶化的裝配指導(dǎo)方法的技術(shù)問題，本發(fā)明引入像素位移修正和像素顏色修正，通過逐步驟地判斷用戶裝配效果與標(biāo)準(zhǔn)裝配效果的匹配相似程度，精準(zhǔn)定位并及時糾正錯誤步驟，確保多顯示屏設(shè)備的精準(zhǔn)裝配；針對顯示屏校準(zhǔn)方式較為單一，未結(jié)合用戶個性化的看屏需求及其使用習(xí)慣，動態(tài)性不佳的技術(shù)問題，本發(fā)明通過眼動追蹤來評估用戶的視覺注意力的分布，充分考慮了用戶的看屏需求及使用習(xí)慣，提升用戶與多屏幕設(shè)備的交互性，打造更為個性化的用戶體驗；

3、本發(fā)明采取的技術(shù)方案如下：本發(fā)明提供了一種顯示屏機器人高精度裝配與校準(zhǔn)系統(tǒng)，所述一種顯示屏機器人高精度裝配與校準(zhǔn)系統(tǒng)包括顯示屏機器人、裝配指導(dǎo)模塊、圖像匹配模塊和屏幕校準(zhǔn)模塊；所述屏幕校準(zhǔn)模塊包括頭戴顯示器、攝像頭；

4、所述顯示屏機器人，具體是指一種由多個顯示屏組合而成的屏幕設(shè)備；

5、所述裝配指導(dǎo)模塊，使用一種裝配效果驗證方法，采集顯示屏機器人的預(yù)期裝配效果圖像和用戶裝配圖像，驗證用戶裝配顯示屏機器人的操作是否正確；

6、所述圖像匹配模塊，對預(yù)期裝配效果圖像和用戶裝配圖像使用一種結(jié)合位移顏色修正的多尺度ssim評估方法，評估顯示屏機器人的裝配步驟與預(yù)期裝配效果之間的相似性，得到裝配效果指標(biāo)，并將裝配效果指標(biāo)發(fā)送至裝配指導(dǎo)模塊；

7、所述屏幕校準(zhǔn)模塊，采用時空注視可視化方法，調(diào)整顯示屏機器人所有顯示屏的相對位置和俯仰角度。

8、所述裝配指導(dǎo)模塊使用裝配效果驗證方法，所述裝配效果驗證方法，具體包括以下步驟：

9、步驟a1：提取標(biāo)準(zhǔn)，具體為，將顯示屏機器人裝配說明書導(dǎo)入裝配指導(dǎo)模塊，裝配指導(dǎo)模塊從顯示屏機器人裝配說明書中提取預(yù)期裝配效果圖像；

10、步驟a2：用戶裝配，具體為，用戶拍攝現(xiàn)階段第q步的用戶裝配圖像，將用戶裝配圖像上傳至圖像匹配模塊；

11、所述用戶裝配圖像，具體是指用戶依照顯示屏機器人裝配說明書操作至第q步裝配階段的效果圖像；

12、步驟a3：數(shù)據(jù)傳輸，具體為，裝配指導(dǎo)模塊將預(yù)期裝配效果圖像傳輸至圖像匹配模塊，圖像匹配模塊根據(jù)用戶裝配圖像和預(yù)期裝配效果圖像，得到裝配效果指標(biāo)，圖像匹配模塊將裝配效果指標(biāo)傳輸至裝配指導(dǎo)模塊：

13、步驟a4：效果驗證，如果裝配效果指標(biāo)低于預(yù)設(shè)閾值，則裝配步驟執(zhí)行不正確，驗證失敗，提示用戶重新執(zhí)行第q步裝配步驟，并重復(fù)步驟a2；

14、如果裝配效果指標(biāo)大于等于預(yù)設(shè)閾值，則裝配步驟執(zhí)行正確，驗證成功，用戶繼續(xù)執(zhí)行第q+1步裝配步驟，并重復(fù)步驟a2，直至顯示屏機器人裝配說明書中所有裝配步驟執(zhí)行完畢。

15、所述圖像匹配模塊，使用結(jié)合位移顏色修正的多尺度ssim評估方法，所述結(jié)合位移顏色修正的多尺度ssim評估方法，具體包括以下步驟：

16、步驟b1：框選感興趣區(qū)域，具體為，圖像匹配模塊采用輪廓檢測技術(shù)，在預(yù)期裝配效果圖像和用戶裝配圖像中劃分感興趣區(qū)域，分別使用不同尺度的像素框框選用戶裝配圖像的感興趣區(qū)域；

17、步驟b2：偏移修正，具體操作步驟如下：

18、步驟b21：計算局部統(tǒng)計量，具體為，采用ssim指標(biāo)計算方法，計算預(yù)期裝配效果圖像的局部均值a和局部標(biāo)準(zhǔn)差a，將預(yù)期裝配效果圖像記為圖像a；

19、步驟b22：像素匹配，具體為，采用塊匹配算法，尋找用戶裝配圖像和預(yù)期裝配效果圖像之間最佳匹配像素點，根據(jù)所述最佳匹配像素點的相對位置，計算水平和垂直方向上的像素偏移量；

20、步驟b23：偏移計算，具體為，將用戶裝配圖像記為圖像b，修正用戶裝配圖像相對于預(yù)期裝配效果圖像的偏移，計算偏移修正后像素橫坐標(biāo)和縱坐標(biāo)，所用公式如下：

21、；

22、式中，表示圖像b中經(jīng)偏移修正后像素橫坐標(biāo)和縱坐標(biāo)，和分別表示圖像b中像素原橫坐標(biāo)和縱坐標(biāo)，表示像素在所述水平方向上的像素偏移量，表示像素在所述垂直方向上的像素偏移量；

23、步驟b24：通道劃分，具體為，將圖像b轉(zhuǎn)換為yuv色彩空間，每個像素由三個分量通道組成，分別為亮度值、u分量和v分量；

24、步驟b25：均值計算，具體為，根據(jù)偏移修正后像素橫坐標(biāo)和縱坐標(biāo)，采用鄰域加權(quán)方法，計算圖像b的局部均值b，所用公式如下：

25、<msubsup><mi>μ</mi><mi>c</mi><mi>b</mi></msubsup><mi>(x,y)=</mi><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>i=x-k</mi><mi>x+k</mi></munderover><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>j=y-k</mi><mi>y+k</mi></munderover><mrow><mi>[ω(i-x,j-y)·</mi><msub><mi>b</mi><mi>c</mi></msub><mi>(i',j')]</mi></mrow></mstyle></mstyle>；

26、式中，表示圖像b的局部均值b，表示坐標(biāo)為的像素的鄰域區(qū)域，表示鄰域半徑，表示高斯加權(quán)函數(shù)，表示偏移修正后每個分量通道的值；

27、步驟b26：標(biāo)準(zhǔn)差計算，計算圖像b的局部標(biāo)準(zhǔn)差b，所用公式如下：

28、<msubsup><mi>σ</mi><mi>c</mi><mi>b</mi></msubsup><mi>(x,y)=</mi><msqrt><mrow><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>i=x-k</mi><mi>x+k</mi></munderover><mstyle displaystyle="false"><munderover><mo>∑</mo><mi>j=y-k</mi><mi>y+k</mi></munderover><mrow><mi>{[ω(i-x,j-y)·</mi><msup><mrow><msub><mi>b</mi><mi>c</mi></msub><mi>(i',j')</mi></mrow><mn>2</mn></msup><mi>]</mi></mrow></mstyle></mstyle><mi>-</mi><msup><mrow><mi>(</mi><msubsup><mi>μ</mi><mi>c</mi><mi>b</mi></msubsup><mi>(x,y))</mi></mrow><mn>2</mn></msup><mi>}</mi></mrow></msqrt>；

29、式中，表示局部標(biāo)準(zhǔn)差b；

30、步驟b3：相似性估計，從結(jié)構(gòu)、亮度值和對比度三個方向，估計圖像a和圖像b的相似性，具體操作步驟如下：

31、步驟b31：協(xié)方差計算，用于衡量圖像a和圖像b之間的線性相關(guān)性，具體為，根據(jù)偏移修正后像素橫坐標(biāo)和縱坐標(biāo)，計算圖像a和圖像b之間的協(xié)方差，所用公式如下：

32、；

33、式中，表示協(xié)方差，表示圖像a每個分量通道的值，表示圖像b經(jīng)過偏移修正后的每個分量通道值，和分別表示圖像a的局部均值a和圖像b的局部均值b；

34、步驟b32：結(jié)構(gòu)相似性度量計算，所用公式如下：

35、；

36、式中，表示結(jié)構(gòu)相似性度量，表示圖像a和圖像b之間的協(xié)方差，表示圖像a的局部標(biāo)準(zhǔn)差a，表示圖像b的局部標(biāo)準(zhǔn)差b，，表示位深度；

37、步驟b33：顏色修正，具體為，根據(jù)偏移修正后像素橫坐標(biāo)、縱坐標(biāo)和分量通道的值，計算圖像a和圖像b之間的全局顏色偏移量；

38、步驟b34：計算亮度值相似性，根據(jù)圖像a和圖像b之間的全局顏色偏移量，計算亮度值相似性，所用公式如下：

39、；

40、式中，表示亮度值相似性，和分別表示圖像a的局部均值a和圖像b的局部均值b，表示全局顏色偏移量，，表示位深度；

41、步驟b35：計算對比度相似性，所用公式如下：

42、；

43、式中，表示對比度相似性，和分別表示圖像a的局部標(biāo)準(zhǔn)差a和圖像b的局部標(biāo)準(zhǔn)差b，，表示位深度；

44、步驟b36：計算綜合質(zhì)量得分，所用公式如下：

45、；

46、式中，表示綜合質(zhì)量得分，、和分別表示權(quán)重參數(shù)；

47、步驟b37：通道整合，用于整合所有像素框的局部計算結(jié)果，具體為，分別計算三個分量通道的結(jié)構(gòu)相似度指數(shù)，并對結(jié)構(gòu)相似度指數(shù)進(jìn)行加權(quán)平均操作，圖像匹配模塊將加權(quán)平均后的結(jié)果作為裝配效果指標(biāo)傳輸至裝配指導(dǎo)模塊，所述結(jié)構(gòu)相似度指數(shù)的計算公式如下：

48、；

49、式中，表示結(jié)構(gòu)相似度指數(shù)，和分別表示圖像寬度和高度，表示遍歷所有像素求累計和。

50、所述屏幕校準(zhǔn)模塊，采用時空注視可視化方法，所述時空注視可視化方法，具體包括以下步驟：

51、步驟c1：注視點捕獲，具體為，屏幕校準(zhǔn)模塊使用頭戴顯示器，采用同步定位與建圖技術(shù)和眼動追蹤技術(shù)，捕獲參與者的注視點；

52、步驟c2：顯示屏定位，具體為，屏幕校準(zhǔn)模塊使用攝像頭，采集環(huán)境圖像，所述環(huán)境圖像，具體是指完整拍攝未被遮擋的顯示屏機器人的圖像；

53、步驟c3：統(tǒng)一坐標(biāo)系，具體為，將所述注視點和所述環(huán)境圖像整合映射到一個統(tǒng)一的空間坐標(biāo)系中，獲得注視平面圖；

54、步驟c4：構(gòu)建立方體，具體為，構(gòu)建一個三維立方體，所述立方體的x-z平面表示所述注視平面圖，所述立方體的y軸表示時間；

55、步驟c5：繪制注視軌跡，具體為，在立方體中，逐時間地連接立方體中的注視點，繪制注視軌跡；

56、步驟c6：區(qū)域劃分，具體為，劃分注視平面圖中顯示屏機器人的顯示屏區(qū)域，對所有顯示屏區(qū)域進(jìn)行編號；

57、步驟c7：量化影響力，具體為，采用內(nèi)核密度估計方法，平滑注視軌跡，記錄每個顯示屏區(qū)域歸屬自身的注視點的數(shù)量，計算每個顯示屏的影響力，所用公式如下：

58、；

59、式中，表示任一編號顯示屏區(qū)域中的注視點對該顯示屏中心位置的影響力，表示對歸屬該顯示屏的注視點的影響力求累計和，該顯示屏中心位置的坐標(biāo)，表示第個注視點的坐標(biāo)，表示縮放因子；

60、步驟c8：顏色編碼，采用方法，根據(jù)影響力對立方體中的顯示屏區(qū)域進(jìn)行著色渲染；

61、步驟c9：屏幕校準(zhǔn)模塊根據(jù)著色后的立方體，調(diào)整顯示屏機器人所有顯示屏的相對位置和俯仰角度。

62、采用上述方案本發(fā)明取得的有益效果如下：

63、（1）針對缺少針對多顯示屏設(shè)備的面向用戶化的裝配指導(dǎo)方法的技術(shù)問題，本發(fā)明引入像素位移修正和像素顏色修正，通過逐步驟地判斷用戶裝配效果與標(biāo)準(zhǔn)裝配效果的匹配相似程度，精準(zhǔn)定位并及時糾正錯誤步驟，確保多顯示屏設(shè)備的精準(zhǔn)裝配；

64、（2）針對顯示屏校準(zhǔn)方式較為單一，未結(jié)合用戶個性化的看屏需求及其使用習(xí)慣，動態(tài)性不佳的技術(shù)問題，本發(fā)明通過眼動追蹤來評估用戶的視覺注意力的分布，充分考慮了用戶的看屏需求及使用習(xí)慣，提升用戶與多屏幕設(shè)備的交互性，打造更為個性化的用戶體驗。