本公開涉及一種使用多個教師神經(jīng)網(wǎng)絡基于知識提取來訓練學生神經(jīng)網(wǎng)絡的學習設備、其學習方法、使用該學習設備的測試設備以及使用該測試設備的測試方法。

背景技術：

1、最近，隨著基于深度神經(jīng)網(wǎng)絡的計算機視覺技術在自動駕駛領域的發(fā)展，研究了各種人工智能模型，諸如對象檢測、語義分割、深度估計和車道檢測。

2、例如，使用自動駕駛車輛的攝像頭，語義分割被不同地用于識別車輛的周圍情況和空間、線路、自由空間等。

3、此外，最近，基于深度神經(jīng)網(wǎng)絡的計算機視覺技術構建了包括高質(zhì)量標簽的大型數(shù)據(jù)集，并且借助于使用大型數(shù)據(jù)集的監(jiān)督學習實現(xiàn)了性能的顯著提高。

4、然而，由于構建具有高質(zhì)量標簽的大型訓練數(shù)據(jù)集需要大量成本、時間和人力，因此構建訓練數(shù)據(jù)集階段可在工作流程中產(chǎn)生瓶頸，甚至在人工智能模型可被認真訓練之前。

5、提出半監(jiān)督學習作為解決上述問題的方案。半監(jiān)督學習是指使用標記和未標記數(shù)據(jù)的學習方案。

6、在這類半監(jiān)督學習中，偽標記方案可與未標記的數(shù)據(jù)一起使用?？赏ㄟ^使用大量訓練數(shù)據(jù)預訓練的神經(jīng)網(wǎng)絡來生成偽標簽。

7、然而，因為由于神經(jīng)網(wǎng)絡的性質(zhì)而難以在所有方面實現(xiàn)完美的性能(例如，完美的準確度等)，并且神經(jīng)網(wǎng)絡易受特定特征的影響(例如，因為神經(jīng)網(wǎng)絡易受局部區(qū)域和寬感受野的影響)，所以當使用由神經(jīng)網(wǎng)絡(例如，教師神經(jīng)網(wǎng)絡)生成的偽標簽來訓練新的神經(jīng)網(wǎng)絡(例如，學生神經(jīng)網(wǎng)絡)時，學生神經(jīng)網(wǎng)絡可具有與教師神經(jīng)網(wǎng)絡相同或類似的脆弱性。

技術實現(xiàn)思路

1、本公開可解決上述問題，同時保持所獲得的任何優(yōu)勢不變。

2、本公開的一個方面提供了一種使用多個教師神經(jīng)網(wǎng)絡基于知識提取來訓練學生神經(jīng)網(wǎng)絡的學習設備、其學習方法、使用該學習設備的測試設備以及使用該學習設備的測試方法。

3、本公開的另一方面提供了一種用于將多個教師神經(jīng)網(wǎng)絡中的每一個的優(yōu)勢傳遞給學生神經(jīng)網(wǎng)絡的學習設備、其學習方法、使用該學習設備的測試設備以及使用該學習設備的測試方法。

4、本公開的另一方面提供了一種用于降低構建訓練數(shù)據(jù)集所消耗成本的學習設備、其學習方法、使用該學習設備的測試設備以及使用該學習設備的測試方法。

5、本公開的另一方面提供了一種基于多個學生神經(jīng)網(wǎng)絡之間的知識提取來提高學生神經(jīng)網(wǎng)絡性能的學習設備、其學習方法、使用該學習設備的測試設備以及使用該學習設備的測試方法。

6、本公開要解決的技術問題不限于上述問題，本公開所屬領域的技術人員將從以下示出中清楚地理解本文未提及的任何其他技術問題。

7、根據(jù)本公開的一個或多個示例實施例，一種學習設備可包括：一個或多個處理器；以及存儲器。存儲器可存儲指令，這些指令在由一個或多個處理器執(zhí)行時，使得學習設備：將第一學生神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第一預測信息；將第二學生神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第二預測信息；基于第一預測信息和訓練圖像，將錯誤標識網(wǎng)絡的錯誤標識操作應用于第一整合圖像，以生成用于預測第一預測信息的準確度的第一錯誤標識預測信息；基于第二預測信息和訓練圖像，將錯誤標識網(wǎng)絡的錯誤標識操作應用于第二整合圖像，以生成用于預測第二預測信息的準確度的第二錯誤標識預測信息；將與第一學生神經(jīng)網(wǎng)絡相關聯(lián)的第一教師神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第一偽標簽信息；將與第二學生神經(jīng)網(wǎng)絡相關聯(lián)的第二教師神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第二偽標簽信息；使用參數(shù)更新設備，基于第一預測信息、第二預測信息、第一錯誤標識預測信息、第二錯誤標識預測信息、第一偽標簽信息或第二偽標簽信息中的至少一個，反向傳播損失；以及使用參數(shù)更新設備并基于損失而更新第一學生神經(jīng)網(wǎng)絡和第二學生神經(jīng)網(wǎng)絡的參數(shù)。

8、損失可包括第一損失、第二損失和第三損失。指令在由一個或多個處理器實行時，可另外促使學習設備：基于第一預測信息、第一錯誤標識預測信息和第一偽標簽信息而生成第一損失；基于第二預測信息、第二錯誤標識預測信息和第二偽標簽信息而生成第二損失；以及基于第一預測信息和第二預測信息而生成第三損失。

9、指令在由一個或多個處理器實行時，還使得使學習設備執(zhí)行以下操作中的至少一項：使用錯誤標識網(wǎng)絡并基于第一預測信息準確的確定，通過確定對應于第一標識值的第一特定范圍內(nèi)的第一特定值來生成第一錯誤標識信息，或者使用錯誤標識網(wǎng)絡并基于第一預測信息不準確的確定，通過確定對應于小于第一標識值的第二標識值的第二特定范圍內(nèi)的第二特定值來生成第一錯誤標識預測信息。指令在由一個或多個處理器實行時，可另外促使學習設備執(zhí)行以下各項中的至少一項：使用錯誤標識網(wǎng)絡并基于第二預測信息準確的確定，通過確定第一特定范圍內(nèi)的第三特定值來生成第二錯誤標識預測信息，或者使用錯誤標識網(wǎng)絡并基于第二預測信息不準確的確定，通過確定第二特定范圍內(nèi)的第四特定值來生成第二錯誤標識預測信息。

10、指令在由一個或多個處理器實行時，還使得學習設備：利用對第一預測信息和訓練圖像的級聯(lián)操作來生成第一整合圖像；以及利用對第二預測信息和訓練圖像的級聯(lián)操作來生成第二整合圖像。

11、特定任務可包括以下任務中的一個：分割任務、深度估計任務或圖像恢復任務。

12、根據(jù)本公開的一個或多個示例實施例，測試設備可包括：一個或多個處理器；以及存儲器。存儲器存儲指令，這些指令在由一個或多個處理器執(zhí)行時，可使得學習設備：將第一學生神經(jīng)網(wǎng)絡的第一神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第一預測信息，其中第一學生神經(jīng)網(wǎng)絡包含特定任務神經(jīng)網(wǎng)絡；將第二學生神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第二預測信息；基于第一預測信息和訓練圖像，將錯誤標識網(wǎng)絡的錯誤標識操作應用于第一整合圖像，以生成用于預測第一預測信息的準確度的第一錯誤標識預測信息；基于第二預測信息和訓練圖像，將錯誤標識網(wǎng)絡的錯誤標識操作應用于第二整合圖像，以生成用于預測第二預測信息的準確度的第二錯誤標識預測信息；將與第一學生神經(jīng)網(wǎng)絡相關聯(lián)的第一教師神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第一偽標簽信息；將與第二學生神經(jīng)網(wǎng)絡相關聯(lián)的第二教師神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第二偽標簽信息；使用參數(shù)更新設備，基于第一預測信息、第二預測信息、第一錯誤標識預測信息、第二錯誤標識預測信息、第一偽標簽信息或第二偽標簽信息中的至少一個，反向傳播第一損失；使用參數(shù)更新設備并基于第一損失而更新第一學生神經(jīng)網(wǎng)絡和第二學生神經(jīng)網(wǎng)絡的參數(shù)；使用測試圖像輸入設備接收測試圖像；以及將特定任務神經(jīng)網(wǎng)絡的特定神經(jīng)網(wǎng)絡操作應用于測試圖像，以生成用于測試的預測信息，該預測信息對應于特定任務。

13、損失可包括第一損失、第二損失和第三損失。指令在由一個或多個處理器執(zhí)行時，可使得學習設備：基于第一預測信息、第一錯誤標識預測信息和第一偽標簽信息而生成第一損失；基于第二預測信息、第二錯誤標識預測信息和第二偽標簽信息而生成第二損失；以及基于第一預測信息和第二預測信息而生成第三損失。

14、指令在由一個或多個處理器實行時，還可使得學習設備執(zhí)行以下操作中的至少一項：使用錯誤標識網(wǎng)絡并基于第一預測信息準確的確定，通過確定對應于第一標識值的第一特定范圍內(nèi)的第一特定值，生成第一錯誤標識信息，或者使用錯誤標識網(wǎng)絡并基于第一預測信息不準確的確定，通過確定對應于小于第一標識值的第二標識值的第二特定范圍內(nèi)的第二特定值來生成第一錯誤標識預測信息。指令在由一個或多個處理器實行時，可另外促使學習設備執(zhí)行以下各項中的至少一項：使用錯誤標識網(wǎng)絡并基于第二預測信息準確的確定，通過確定第一特定范圍內(nèi)的第三特定值來生成第二錯誤標識預測信息，或者使用錯誤標識網(wǎng)絡并基于第二預測信息不準確的確定，通過確定第二特定范圍內(nèi)的第四特定值來生成第二錯誤標識預測信息。

15、指令在由一個或多個處理器實行時，還可使得學習設備：利用對第一預測信息和訓練圖像的級聯(lián)操作來生成第一整合圖像；以及利用對第二預測信息和訓練圖像的級聯(lián)操作來生成第二整合圖像。

16、特定任務可包括以下任務中的一個：分割任務、深度估計任務或圖像恢復任務。

17、根據(jù)本公開的一個或多個示例實施例，一種方法可包括：將第一學生神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第一預測信息；將第二學生神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第二預測信息；基于第一預測信息和訓練圖像，將錯誤標識網(wǎng)絡的錯誤標識操作應用于第一整合圖像，以生成用于預測第一預測信息的準確度的第一錯誤標識預測信息；基于第二預測信息和訓練圖像，將錯誤標識網(wǎng)絡的錯誤標識操作應用于第二整合圖像，以生成用于預測第二預測信息的準確度的第二錯誤標識預測信息；將與第一學生神經(jīng)網(wǎng)絡相關聯(lián)的第一教師神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第一偽標簽信息；將與第二學生神經(jīng)網(wǎng)絡相關聯(lián)的第二教師神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第二偽標簽信息；使用參數(shù)更新設備，基于第一預測信息、第二預測信息、第一錯誤標識預測信息、第二錯誤標識預測信息、第一偽標簽信息或第二偽標簽信息中的至少一個，反向傳播損失；以及使用參數(shù)更新設備并基于損失而更新第一學生神經(jīng)網(wǎng)絡和第二學生神經(jīng)網(wǎng)絡的參數(shù)。

18、更新參數(shù)可包括：使用參數(shù)更新設備，通過以下方式反向傳播損失：

19、基于第一預測信息、第一錯誤標識預測信息和第一偽標簽信息而生成第一損失；

20、基于第二預測信息、第二錯誤標識預測信息和第二偽標簽信息而生成第二損失；以及

21、基于第一預測信息和第二預測信息而生成第三損失。

22、該方法還可包括以下各項中的一項：使用錯誤標識網(wǎng)絡并基于第一預測信息準確的確定，通過確定對應于第一標識值的第一特定范圍內(nèi)的第一特定值來生成第一錯誤標識信息，或者使用錯誤標識網(wǎng)絡并基于第一預測信息不準確的確定，通過確定對應于小于第一標識值的第二標識值的第二特定范圍內(nèi)的第二特定值來生成第一錯誤標識預測信息。該方法可另外包括以下各項中的一項：使用錯誤標識網(wǎng)絡并基于第二預測信息準確的確定，通過確定第一特定范圍內(nèi)的第三特定值來生成第二錯誤標識預測信息，或者使用錯誤標識網(wǎng)絡并基于第二預測信息不準確的確定，通過確定第二特定范圍內(nèi)的第四特定值來生成第二錯誤標識預測信息。

23、第一學生神經(jīng)網(wǎng)絡或第二學生神經(jīng)網(wǎng)絡中的一個是特定學生神經(jīng)網(wǎng)絡。在生成第一預測信息和第二預測信息之前，該方法可另外包括：使用特定學生神經(jīng)網(wǎng)絡，將特定神經(jīng)網(wǎng)絡操作應用于包括對應于特定任務的特定標簽信息的第二訓練圖像，以生成對應于特定任務的特定預測信息；使用參數(shù)更新設備，基于特定預測信息和特定標簽信息而反向傳播第二損失；以及使用參數(shù)更新設備并基于第二損失而更新特定學生神經(jīng)網(wǎng)絡的參數(shù)。

24、在更新特定學生神經(jīng)網(wǎng)絡的參數(shù)之后，該方法還可包括：使用錯誤標識網(wǎng)絡并基于特定預測信息和第二訓練圖像而將錯誤標識操作應用于特定整合圖像，以生成用于預測特定預測信息的準確度的特定錯誤標識預測信息；以及使用參數(shù)更新設備，基于特定錯誤標識預測信息和對應于特定錯誤標識預測信息的特定錯誤標識標簽信息，反向傳播第三損失；以及使用參數(shù)更新設備更新錯誤標識網(wǎng)絡的參數(shù)。

25、根據(jù)本公開的一個方面，一種學習設備可包括：第一學生神經(jīng)網(wǎng)絡，其將1_1st神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第一預測信息；第二學生神經(jīng)網(wǎng)絡，其將2_1st神經(jīng)網(wǎng)絡操作應用于訓練圖像，以生成對應于特定任務的第二預測信息；錯誤標識網(wǎng)絡，其基于第一預測信息和訓練圖像而將錯誤標識操作應用于第一整合圖像，以生成用于預測第一預測信息的準確度的第一錯誤標識預測信息，并且基于第二預測信息和訓練圖像而將錯誤標識操作應用于第二整合圖像，以生成用于預測第二預測信息的準確度的第二錯誤標識預測信息，第一教師神經(jīng)網(wǎng)絡，其將1_2nd神經(jīng)網(wǎng)絡操作應用于訓練圖像以生成對應于特定任務的第一偽標簽信息；第二教師神經(jīng)網(wǎng)絡，其將2_2nd神經(jīng)網(wǎng)絡操作應用于訓練圖像以生成對應于特定任務的第二偽標簽信息；以及參數(shù)更新設備，其基于第一預測信息、第二預測信息、第一錯誤標識預測信息、第二錯誤標識預測信息、第一偽標簽信息或第二偽標簽信息中的至少一些反向傳播第一損失，并且更新第一學生神經(jīng)網(wǎng)絡和第二學生神經(jīng)網(wǎng)絡的參數(shù)。

26、在一個實施例中，第一損失可包括1_1st損失、1_2nd損失和1_3rd損失?？苫诘谝活A測信息、第一錯誤標識預測信息和第一偽標簽信息而生成1_1st損失，可基于第二預測信息、第二錯誤標識預測信息和第二偽標簽信息而生成1_2nd損失，并且可基于第一預測信息和第二預測信息而生成1_3rd損失。

27、在一個實施例中，當?shù)谝活A測信息被確定為準確時，錯誤標識網(wǎng)絡可生成對應于第一標識值的第一特定范圍內(nèi)的第一特定值作為第一錯誤標識預測信息；當?shù)谝活A測信息被確定為不準確時，可生成對應于小于第一標識值的第二標識值的第二特定范圍內(nèi)的第二特定值作為第一錯誤標識預測信息；當?shù)诙A測信息被確定為準確時，可生成第一特定范圍內(nèi)的第三特定值作為第二錯誤標識預測信息；以及當?shù)诙A測信息被確定為不準確時，可生成第二特定范圍內(nèi)的第四特定值作為第二錯誤標識預測信息。

28、在一個實施例中，當將級聯(lián)操作應用于第一預測信息和訓練圖像時，可生成第一整合圖像，以及當將級聯(lián)操作應用于第二預測信息和訓練圖像時，可生成第二整合圖像。

29、在一個實施例中，特定任務可為分割任務、深度估計任務或圖像恢復任務中的任何一個。

30、根據(jù)本公開的另一方面，測試設備可包括接收測試圖像的測試圖像輸入設備和特定任務神經(jīng)網(wǎng)絡，該特定任務神經(jīng)網(wǎng)絡將特定神經(jīng)網(wǎng)絡操作應用于測試圖像，以生成用于測試的預測信息，該預測信息對應于特定任務。

31、根據(jù)本公開的另一方面，一種學習方法可包括：由第一學生神經(jīng)網(wǎng)絡將1_1st神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第一預測信息，由第二學生神經(jīng)網(wǎng)絡將2_1st神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第二預測信息，由錯誤標識網(wǎng)絡基于第一預測信息和第一訓練圖像而將錯誤標識操作應用于第一整合圖像，以生成用于預測第一預測信息的準確度的第一錯誤標識預測信息，以及由錯誤標識網(wǎng)絡基于第二預測信息和第一訓練圖像而將錯誤標識操作應用于第二整合圖像，以生成用于預測第二預測信息的準確度的第二錯誤標識預測信息，由第一教師神經(jīng)網(wǎng)絡將1_2nd神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第一偽標簽信息，由第二教師神經(jīng)網(wǎng)絡將2_2nd神經(jīng)網(wǎng)絡操作應用于第一訓練圖像，以生成對應于特定任務的第二偽標簽信息，以及由參數(shù)更新設備基于第一預測信息、第二預測信息、第一錯誤標識預測信息、第二錯誤標識預測信息、第一偽標簽信息或第二偽標簽信息中的至少一些而反向傳播第一損失，以及由參數(shù)更新設備更新第一學生神經(jīng)網(wǎng)絡和第二學生神經(jīng)網(wǎng)絡的參數(shù)。

32、在一個實施例中，參數(shù)的更新可包括由參數(shù)更新設備反向傳播基于第一預測信息、第一錯誤標識預測信息和第一偽標簽信息而生成的1_1st損失，以及基于第二預測信息、第二錯誤標識預測信息和第二偽標簽信息而生成的1_2nd損失，以及基于第一預測信息和第二預測信息而生成的1_3rd損失作為第一損失，以及由參數(shù)更新設備更新第一學生神經(jīng)網(wǎng)絡和第二學生神經(jīng)網(wǎng)絡的參數(shù)。

33、在一個實施例中，第一錯誤標識預測信息和第二錯誤標識預測信息的生成可包括，當?shù)谝活A測信息被確定為準確時，由錯誤標識網(wǎng)絡生成對應于第一標識值的第一特定范圍內(nèi)的第一特定值作為第一錯誤標識預測信息；當?shù)谝活A測信息被確定為不準確時，由錯誤標識網(wǎng)絡生成對應于小于第一標識值的第二標識值的第二特定范圍內(nèi)的第二特定值作為第一錯誤標識預測信息；當?shù)诙A測信息被確定為準確時，由錯誤標識網(wǎng)絡生成第一特定范圍內(nèi)的第三特定值作為第二錯誤標識預測信息；以及當?shù)诙A測信息被確定為不準確時，由錯誤標識網(wǎng)絡生成第二特定范圍內(nèi)的第四特定值作為第二錯誤標識預測信息。

34、在一個實施例中，在生成第一預測信息和第二預測信息之前，學習方法還可包括，由第一學生神經(jīng)網(wǎng)絡和第二學生神經(jīng)網(wǎng)絡之間的特定學生神經(jīng)網(wǎng)絡，將特定神經(jīng)網(wǎng)絡操作應用于包括對應于特定任務的特定標簽信息的第二訓練圖像，以生成對應于特定任務的特定預測信息，以及由參數(shù)更新設備基于特定預測信息和特定標簽信息而反向傳播第二損失，以及由參數(shù)更新設備更新特定學生神經(jīng)網(wǎng)絡的參數(shù)。

35、在一個實施例中，在更新特定學生神經(jīng)網(wǎng)絡的參數(shù)之后，學習方法還可包括，由錯誤標識網(wǎng)絡基于特定預測信息和第二訓練圖像而將錯誤標識操作應用于特定整合圖像，以生成用于預測特定預測信息的準確度的特定錯誤標識預測信息，以及由參數(shù)更新設備基于特定錯誤標識預測信息和對應于特定錯誤標識預測信息的特定錯誤標識標簽信息而反向傳播第三損失，以及由參數(shù)更新設備更新錯誤標識網(wǎng)絡的參數(shù)。