本發(fā)明涉及船舶檢測(cè)，具體而言，涉及一種基于文本信息船舶開集目標(biāo)檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、隨著水運(yùn)技術(shù)快速發(fā)展，船舶是水上運(yùn)輸?shù)闹匾ぞ撸瑸榱朔奖愀鞣N業(yè)務(wù)，船舶種類越來(lái)越多，閉集檢測(cè)算法對(duì)新出的船舶類別無(wú)法檢測(cè)，出現(xiàn)大量的漏檢，將會(huì)出現(xiàn)水上交通安全隱患，目前船舶檢測(cè)算法存在以下問(wèn)題：

2、（1）閉集目標(biāo)檢測(cè)無(wú)法有效檢測(cè)出新型類別船舶，存在大量漏檢和收集新型或不常見的船舶類型收集素材比較困難，難以收集大量的數(shù)據(jù)集；

3、（2）已經(jīng)存在的開集檢測(cè)缺少專業(yè)性，只能檢測(cè)常規(guī)船舶，新型或不常規(guī)的船舶會(huì)出現(xiàn)大量的漏檢；

4、（3）重新訓(xùn)練開集目標(biāo)船舶檢測(cè)算法比較耗時(shí)，對(duì)硬件設(shè)備要求高。

5、針對(duì)上述問(wèn)題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例中提供一種基于文本信息船舶開集目標(biāo)檢測(cè)方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中閉集檢測(cè)和開集檢測(cè)只能檢測(cè)常規(guī)船舶，新型或不常規(guī)的船舶會(huì)出現(xiàn)大量的漏檢；重新訓(xùn)練開集目標(biāo)船舶檢測(cè)算法比較耗時(shí)的問(wèn)題。

2、為達(dá)到上述目的，一方面，本發(fā)明提供了一種基于文本信息船舶開集目標(biāo)檢測(cè)方法，其中，該方法包括：s1、對(duì)第一船舶開集檢測(cè)模型的初始文本模塊進(jìn)行微調(diào)，包括：在初始文本模塊中增加文本提取有效模塊，得到更新文本模塊；并凍結(jié)初始文本模塊的參數(shù)；構(gòu)建文本訓(xùn)練集，包括：含有船舶描述信息的文本，以及不含船舶描述信息的文本，并為每個(gè)文本設(shè)置標(biāo)簽；采用初始文本模塊對(duì)標(biāo)簽進(jìn)行特征提取與編碼得到標(biāo)簽特征序列；采用凍結(jié)后的更新文本模塊對(duì)文本訓(xùn)練集進(jìn)行特征提取與編碼得到訓(xùn)練集特征序列；根據(jù)標(biāo)簽特征序列和訓(xùn)練集特征序列，計(jì)算余弦相似度損失，并根據(jù)計(jì)算到的損失值優(yōu)化文本提取有效模塊；重復(fù)上述過(guò)程，直至最后計(jì)算得到的損失值在第一預(yù)設(shè)范圍內(nèi)波動(dòng)停止訓(xùn)練，得到最終文本模塊；s2、將第二船舶開集檢測(cè)模型的初始視覺(jué)模塊進(jìn)行微調(diào)，包括：獲取圖片訓(xùn)練集，將目標(biāo)為船舶的標(biāo)簽為船舶，人工標(biāo)定每個(gè)目標(biāo)的坐標(biāo)，并輸入原始船舶開集檢測(cè)模型中進(jìn)行檢測(cè)，得到每個(gè)目標(biāo)的描述；將最終文本模塊的權(quán)重賦值到第二船舶開集檢測(cè)模型的初始文本模塊中并進(jìn)行特征修改，得到修改文本模塊；在初始視覺(jué)模塊中增加視覺(jué)提取有效模塊，得到更新視覺(jué)模塊；凍結(jié)初始視覺(jué)模塊和修改文本模塊的參數(shù)；采用修改文本模塊對(duì)每個(gè)目標(biāo)的描述進(jìn)行特征提取與編碼，得到文本特征序列；采用凍結(jié)后的更新視覺(jué)模塊對(duì)圖片訓(xùn)練集進(jìn)行特征提取與編碼得到視覺(jué)特征序列；將文本特征序列和視覺(jué)特征序列進(jìn)行融合并輸入到檢測(cè)頭進(jìn)行檢測(cè)，得到預(yù)測(cè)目標(biāo)坐標(biāo)、類別、描述特征序列和概率；根據(jù)人工標(biāo)定目標(biāo)坐標(biāo)、預(yù)測(cè)目標(biāo)坐標(biāo)、文本特征序列、預(yù)測(cè)目標(biāo)描述特征序列、預(yù)測(cè)目標(biāo)類別、預(yù)測(cè)目標(biāo)概率、目標(biāo)的標(biāo)簽，計(jì)算視覺(jué)損失，并根據(jù)計(jì)算到的損失值優(yōu)化視覺(jué)提取有效模塊；重復(fù)上述過(guò)程，直至最后計(jì)算到的損失值在第二預(yù)設(shè)范圍內(nèi)波動(dòng)停止訓(xùn)練，得到最終視覺(jué)模塊；s3、將最終視覺(jué)模塊進(jìn)行特征修改，得到修改視覺(jué)模塊，以及對(duì)應(yīng)的最終第二船舶開集檢測(cè)模型；s4、將待檢測(cè)的船舶圖片輸入到所述最終第二船舶開集檢測(cè)模型中進(jìn)行檢測(cè)，得到船舶坐標(biāo)、船舶類別和船舶描述。

3、可選的，在采用凍結(jié)后的更新文本模塊對(duì)文本訓(xùn)練集進(jìn)行特征提取與編碼得到訓(xùn)練集特征序列之前包括：將文本訓(xùn)練集分為多次迭代，每次迭代從文本訓(xùn)練集中隨機(jī)抽取固定數(shù)量的文本，每次抽取的文本中同時(shí)包括含有船舶描述信息的文本和不含船舶描述信息的文本；將每次迭代的所有文本作為當(dāng)前迭代文本訓(xùn)練集輸入到凍結(jié)后的更新文本模塊進(jìn)行特征提取與編碼，得到每個(gè)文本特征序列。

4、可選的，所述最終文本模塊通過(guò)以下方法得到：根據(jù)當(dāng)前迭代文本訓(xùn)練集的所有標(biāo)簽特征序列和當(dāng)前迭代文本訓(xùn)練集的當(dāng)前文本特征序列，計(jì)算得到當(dāng)前文本與每個(gè)標(biāo)簽的余弦相似度值；根據(jù)當(dāng)前文本與每個(gè)標(biāo)簽的余弦相似度值，以及當(dāng)前文本的標(biāo)簽計(jì)算得到當(dāng)前文本的余弦相似度損失值；將當(dāng)前迭代文本訓(xùn)練集的每個(gè)文本的余弦相似度損失值求和并求平均，得到當(dāng)前迭代余弦相似度損失值；根據(jù)當(dāng)前迭代余弦相似度損失值優(yōu)化文本提取有效模塊；重復(fù)上述迭代過(guò)程，直至將文本訓(xùn)練集訓(xùn)練完并進(jìn)行多輪訓(xùn)練后，最后計(jì)算得到的當(dāng)前迭代余弦相似度損失值在第一預(yù)設(shè)范圍內(nèi)波動(dòng)停止訓(xùn)練，得到第一船舶開集檢測(cè)模型的最終文本模塊。

5、可選的，所述當(dāng)前迭代余弦相似度損失值根據(jù)以下公式計(jì)算：

6、

7、其中，為當(dāng)前第j個(gè)文本與當(dāng)前第i個(gè)標(biāo)簽的余弦相似度值，為當(dāng)前第i個(gè)標(biāo)簽特征序列，為當(dāng)前第j個(gè)文本特征序列，為當(dāng)前迭代余弦相似度損失值，m為當(dāng)前迭代文本訓(xùn)練集中的標(biāo)簽數(shù)量，i為當(dāng)前迭代文本訓(xùn)練集中第i個(gè)標(biāo)簽，p為當(dāng)前迭代文本訓(xùn)練集中的文本數(shù)量，j為當(dāng)前迭代文本訓(xùn)練集中第j個(gè)文本，y表示當(dāng)前文本的標(biāo)簽與當(dāng)前標(biāo)簽是否對(duì)應(yīng)上，若對(duì)應(yīng)上，y為1，若沒(méi)有對(duì)應(yīng)上，y為0。

8、可選的，所述根據(jù)人工標(biāo)定目標(biāo)坐標(biāo)、預(yù)測(cè)目標(biāo)坐標(biāo)、文本特征序列、預(yù)測(cè)目標(biāo)描述特征序列、預(yù)測(cè)目標(biāo)類別、預(yù)測(cè)目標(biāo)概率、目標(biāo)的標(biāo)簽，計(jì)算視覺(jué)損失，并根據(jù)計(jì)算到的損失值優(yōu)化視覺(jué)提取有效模塊包括：將人工標(biāo)定目標(biāo)坐標(biāo)和預(yù)測(cè)目標(biāo)坐標(biāo)進(jìn)行交并比，得到交并比值，若交并比值大于預(yù)設(shè)交并比值時(shí)：根據(jù)人工標(biāo)定目標(biāo)坐標(biāo)和預(yù)測(cè)目標(biāo)坐標(biāo)，生成坐標(biāo)損失值；根據(jù)文本特征序列和預(yù)測(cè)目標(biāo)描述特征序列，生成第一特征序列損失值；根據(jù)預(yù)測(cè)目標(biāo)類別、目標(biāo)的標(biāo)簽和預(yù)測(cè)目標(biāo)置信度，生成第一類別損失值；將根據(jù)坐標(biāo)損失值、第一特征序列損失值、第一類別損失值求和生成第一視覺(jué)損失值；若交并比值小于等于預(yù)設(shè)交并比值時(shí)：根據(jù)文本特征序列和預(yù)測(cè)目標(biāo)描述特征序列，生成第二特征序列損失值；根據(jù)預(yù)測(cè)目標(biāo)類別、目標(biāo)的標(biāo)簽和預(yù)測(cè)目標(biāo)置信度，生成第二類別損失值；將第二特征序列損失值和第二類別損失值求和生成第二視覺(jué)損失值；根據(jù)第一視覺(jué)損失值和第二視覺(jué)損失值計(jì)算得到總視覺(jué)損失值，并根據(jù)計(jì)算到的總視覺(jué)損失值優(yōu)化視覺(jué)提取有效模塊。

9、可選的，所述第一特征序列損失值根據(jù)以下公式計(jì)算：

10、

11、其中，為當(dāng)前目標(biāo)的描述與當(dāng)前預(yù)測(cè)目標(biāo)的描述的相似度值，為當(dāng)前文本特征序列，為當(dāng)前預(yù)測(cè)目標(biāo)描述特征序列，為第一特征序列損失值，k為圖片訓(xùn)練集中的圖片數(shù)量，k為圖片訓(xùn)練集中第k張圖片，n為當(dāng)前張圖片中目標(biāo)的數(shù)量，n為當(dāng)前張圖片中第n個(gè)目標(biāo)，d為與當(dāng)前張圖片對(duì)應(yīng)的所有目標(biāo)的描述的種類，d為第d個(gè)目標(biāo)描述的種類，y表示當(dāng)前張圖片中當(dāng)前目標(biāo)的種類與當(dāng)前目標(biāo)的描述的種類是否對(duì)應(yīng)上，若對(duì)應(yīng)上，y為1，若沒(méi)有對(duì)應(yīng)上，y為0。

12、可選的，當(dāng)預(yù)測(cè)目標(biāo)類別為船舶時(shí)，當(dāng)前預(yù)測(cè)目標(biāo)的類別損失值根據(jù)以下公式計(jì)算：

13、

14、其中，為當(dāng)前預(yù)測(cè)目標(biāo)的類別損失值，為當(dāng)前預(yù)測(cè)目標(biāo)類別與當(dāng)前目標(biāo)標(biāo)簽是否對(duì)應(yīng)上，若對(duì)應(yīng)上，為1，若沒(méi)有對(duì)應(yīng)上，為0，為當(dāng)前預(yù)測(cè)目標(biāo)預(yù)測(cè)為船舶的概率；

15、當(dāng)預(yù)測(cè)目標(biāo)類別不是船舶，但標(biāo)簽為船舶時(shí)，當(dāng)前預(yù)測(cè)目標(biāo)的類別損失值根據(jù)以下公式計(jì)算：

16、

17、其中，為當(dāng)前預(yù)測(cè)目標(biāo)的類別損失值，為當(dāng)前預(yù)測(cè)目標(biāo)預(yù)測(cè)為其他類別的概率，為當(dāng)前預(yù)測(cè)目標(biāo)預(yù)測(cè)為船舶的概率；

18、將圖片訓(xùn)練集中所有預(yù)測(cè)目標(biāo)類別為船舶的類別損失值，和圖片訓(xùn)練集中所有預(yù)測(cè)目標(biāo)類別不是船舶，但是標(biāo)簽為船舶的類別損失值求和并求平均值，得到第一類別損失值。

19、可選的，所述第二特征序列損失值根據(jù)以下公式計(jì)算：

20、

21、其中，為當(dāng)前目標(biāo)的描述與當(dāng)前預(yù)測(cè)目標(biāo)的描述的相似度值，為當(dāng)前文本特征序列，為當(dāng)前預(yù)測(cè)目標(biāo)描述特征序列，為第二特征序列損失值，k為圖片訓(xùn)練集中的圖片數(shù)量，k為圖片訓(xùn)練集中第k張圖片，n為當(dāng)前張圖片中目標(biāo)的數(shù)量，n為當(dāng)前張圖片中第n個(gè)目標(biāo)，d為與當(dāng)前張圖片對(duì)應(yīng)的所有目標(biāo)的描述的種類，d為第d個(gè)目標(biāo)描述的種類。

22、可選的，僅預(yù)測(cè)目標(biāo)類別為船舶時(shí)進(jìn)行第二類別損失計(jì)算，所述第二類別損失值根據(jù)以下公式計(jì)算：

23、

24、其中，為第二類別損失值，為當(dāng)前預(yù)測(cè)目標(biāo)類別與當(dāng)前目標(biāo)標(biāo)簽是否對(duì)應(yīng)上，若對(duì)應(yīng)上，為1，若沒(méi)有對(duì)應(yīng)上，為0，為當(dāng)前預(yù)測(cè)目標(biāo)預(yù)測(cè)為船舶的概率；f為圖片訓(xùn)練集中所有預(yù)測(cè)目標(biāo)類別為船舶的數(shù)量，f為圖片訓(xùn)練集中所有預(yù)測(cè)目標(biāo)類別為船舶的第f個(gè)預(yù)測(cè)目標(biāo)。

25、另一方面，本發(fā)明提供了一種基于文本信息船舶開集目標(biāo)檢測(cè)系統(tǒng)，該系統(tǒng)包括：第一微調(diào)單元，用于對(duì)第一船舶開集檢測(cè)模型的初始文本模塊進(jìn)行微調(diào)，包括：第一增加子單元，用于在初始文本模塊中增加文本提取有效模塊，得到更新文本模塊；并凍結(jié)初始文本模塊的參數(shù)；構(gòu)建子單元，用于構(gòu)建文本訓(xùn)練集，包括：含有船舶描述信息的文本，以及不含船舶描述信息的文本，并為每個(gè)文本設(shè)置標(biāo)簽；第一編碼子單元，用于采用初始文本模塊對(duì)標(biāo)簽進(jìn)行特征提取與編碼得到標(biāo)簽特征序列；采用凍結(jié)后的更新文本模塊對(duì)文本訓(xùn)練集進(jìn)行特征提取與編碼得到訓(xùn)練集特征序列；第一計(jì)算子單元，用于根據(jù)標(biāo)簽特征序列和訓(xùn)練集特征序列，計(jì)算余弦相似度損失，并根據(jù)計(jì)算到的損失值優(yōu)化文本提取有效模塊；第一重復(fù)子單元，用于重復(fù)上述過(guò)程，直至最后計(jì)算得到的損失值在第一預(yù)設(shè)范圍內(nèi)波動(dòng)停止訓(xùn)練，得到最終文本模塊；第二微調(diào)單元，用于將第二船舶開集檢測(cè)模型的初始視覺(jué)模塊進(jìn)行微調(diào)，包括：數(shù)據(jù)預(yù)處理單元，用于獲取圖片訓(xùn)練集，將目標(biāo)為船舶的標(biāo)簽為船舶，人工標(biāo)定每個(gè)目標(biāo)的坐標(biāo)，并輸入原始船舶開集檢測(cè)模型中進(jìn)行檢測(cè)，得到每個(gè)目標(biāo)的描述；第二增加子單元，用于將最終文本模塊的權(quán)重賦值到第二船舶開集檢測(cè)模型的初始文本模塊中并進(jìn)行特征修改，得到修改文本模塊；在初始視覺(jué)模塊中增加視覺(jué)提取有效模塊，得到更新視覺(jué)模塊；凍結(jié)初始視覺(jué)模塊和修改文本模塊的參數(shù)；第二編碼子單元，用于采用修改文本模塊對(duì)每個(gè)目標(biāo)的描述進(jìn)行特征提取與編碼，得到文本特征序列；采用凍結(jié)后的更新視覺(jué)模塊對(duì)圖片訓(xùn)練集進(jìn)行特征提取與編碼得到視覺(jué)特征序列；融合子單元，用于將文本特征序列和視覺(jué)特征序列進(jìn)行融合并輸入到檢測(cè)頭進(jìn)行檢測(cè)，得到預(yù)測(cè)目標(biāo)坐標(biāo)、類別、描述特征序列和概率；第二計(jì)算子單元，用于根據(jù)人工標(biāo)定目標(biāo)坐標(biāo)、預(yù)測(cè)目標(biāo)坐標(biāo)、文本特征序列、預(yù)測(cè)目標(biāo)描述特征序列、預(yù)測(cè)目標(biāo)類別、預(yù)測(cè)目標(biāo)概率、目標(biāo)的標(biāo)簽，計(jì)算視覺(jué)損失，并根據(jù)計(jì)算到的損失值優(yōu)化視覺(jué)提取有效模塊；第二重復(fù)子單元，用于重復(fù)上述過(guò)程，直至最后計(jì)算到的損失值在第二預(yù)設(shè)范圍內(nèi)波動(dòng)停止訓(xùn)練，得到最終視覺(jué)模塊；修改單元，用于將最終視覺(jué)模塊進(jìn)行特征修改，得到修改視覺(jué)模塊，以及對(duì)應(yīng)的最終第二船舶開集檢測(cè)模型；檢測(cè)單元，用于將待檢測(cè)的船舶圖片輸入到所述最終第二船舶開集檢測(cè)模型中進(jìn)行檢測(cè)，得到船舶坐標(biāo)、船舶類別和船舶描述。

26、本發(fā)明的有益效果：

27、（1）增強(qiáng)船舶目標(biāo)檢測(cè)的特征提取能力：?通過(guò)結(jié)合視覺(jué)信息和文本描述信息，加強(qiáng)了船舶目標(biāo)的特征表達(dá)；

28、（2）提升船舶目標(biāo)檢測(cè)模型的專家能力：?通過(guò)增加文本提取有效模塊并增加余弦相似度損失，本發(fā)明使得模型不僅具備船舶檢測(cè)的專家知識(shí)，還能有效提取除船舶描述外的其他文本特征信息；

29、（3）優(yōu)化視覺(jué)模型，減少訓(xùn)練數(shù)據(jù)需求：視覺(jué)模塊中增加視覺(jué)提取有效模塊，僅優(yōu)化視覺(jué)提取有效模塊，減少了訓(xùn)練數(shù)據(jù)的需求，縮短了訓(xùn)練時(shí)間，降低了對(duì)硬件設(shè)備的要求；

30、（4）增強(qiáng)視覺(jué)和文本模塊的協(xié)同工作：視覺(jué)模塊訓(xùn)練增加類別損失和特征序列損失，使模型在視覺(jué)和文本模塊對(duì)船舶特征提取更多的共同特征；

31、（5）提高模型的訓(xùn)練效率和性能：通過(guò)分階段訓(xùn)練策略，本發(fā)明進(jìn)一步提升了文本和視覺(jué)模型的特征提取能力。