本發(fā)明涉及一種基于深度學(xué)習(xí)的印刷刊物排版智能識別方法。屬于計(jì)算機(jī)視覺和人工智能相結(jié)合的。

背景技術(shù)：

1、隨著人類進(jìn)入信息化、數(shù)字化時(shí)代，各種文檔資料量呈幾何級增長，用戶常需從海量資料中找到個(gè)人所需文檔。若從文檔中先劃分文檔模板類型，則可縮小用戶搜索文檔范圍，也更加精準(zhǔn)地為用戶推送所需的感興趣資料。文檔模板分類方便使用者快速使用適合的文檔格式，利于用戶專注于自己的內(nèi)容。

2、1.傳統(tǒng)的光學(xué)字符識別ocr方法已經(jīng)應(yīng)用于手寫字符和文字識別、圖文轉(zhuǎn)換等方面。融合深度學(xué)習(xí)的ocr方法表現(xiàn)出準(zhǔn)確率高、魯棒性好的優(yōu)勢。文本檢測是光學(xué)字符識別技術(shù)(ocr)中的一個(gè)重要環(huán)節(jié)。傳統(tǒng)的文本檢測使用二值化、旋轉(zhuǎn)仿射變換等算法來定位文本串位置。目前，基于深度學(xué)習(xí)的文本檢測方法已經(jīng)應(yīng)用于ocr。根據(jù)檢測文本對象的不同可以將基于深度學(xué)習(xí)的文本檢測方法劃分為基于回歸的文本檢測方法和基于分割的文本檢測方法?；诜指畹奈谋緳z測方法通常進(jìn)行像素級、段落級、輪廓級分割?；诨貧w的文本檢測方法將文本串視為一個(gè)整體對象，直接回歸文本實(shí)例的邊界框。

3、2.采用匈牙利算法計(jì)算最佳匹配，即在最大匹配的基礎(chǔ)上使得匹配所消耗的成本最小。主要步驟如下：

4、1)矩陣每行每個(gè)元素都減去該行最小的元素值。

5、2)矩陣每一列每個(gè)元素都減去該列的最小元素值。

6、3)用最少水平線或垂直線覆蓋矩陣所有0元素。

7、4)如果線數(shù)量等于min(n，m)，則表示找到最佳分配，算法結(jié)束。否則，進(jìn)入步驟5。

8、5)找到?jīng)]有被任何線覆蓋的最小元素，每個(gè)沒被線覆蓋的行減去這個(gè)元素，每個(gè)沒被線覆蓋的列加上該元素，返至步驟3。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明給出一種基于深度學(xué)習(xí)的印刷刊物排版智能識別方法，采取的技術(shù)方案主要如下：

2、步驟1：訓(xùn)練文本檢測模型檢測印刷刊物文本串位置；

3、步驟2：判斷文本區(qū)域間的位置關(guān)系，計(jì)算文本區(qū)域間距離，對多個(gè)文本區(qū)域進(jìn)行合并和獨(dú)立；

4、步驟3：構(gòu)建待識別印刷刊物表示樹與印刷刊物模板表示樹，計(jì)算樹之間匹配度，確定刊物模板和文檔間的全局和局部的相似度；

5、步驟4：確定待識別印刷刊物的排版樣式。

6、進(jìn)一步的，訴述步驟1的具體步驟如下：

7、步驟1.1：訓(xùn)練dbnet文本檢測模型，對圖像中的每個(gè)像素點(diǎn)進(jìn)行文本和非文本分類，找到文本串位置坐標(biāo)；

8、步驟1.2：將印刷刊物圖片預(yù)處理生成統(tǒng)一尺寸的數(shù)據(jù)集，輸入到訓(xùn)練好dbnet模型中，輸出矩形文本串四個(gè)角的坐標(biāo)。

9、進(jìn)一步的，訴述步驟2的具體步驟如下：

10、步驟2.1：使用文本區(qū)域包圍盒來描述將文本區(qū)域合并生成的矩形區(qū)域塊，文本區(qū)域包圍盒可由多個(gè)文本串合并生成；

11、步驟2.2：判斷文本區(qū)域包圍盒間的分布關(guān)系，兩個(gè)文本區(qū)域包圍盒在坐標(biāo)軸上的分布關(guān)系可簡化為四種形式：相交、水平相交、垂直相交和遠(yuǎn)離；

12、步驟2.3：根據(jù)文本區(qū)域包圍盒四種關(guān)系形式計(jì)算文本區(qū)域間的距離，設(shè)第一個(gè)文本區(qū)域包圍盒左上角坐標(biāo)為(x1，y1)，右下角坐標(biāo)為(x1t，y1t)，第二個(gè)文本區(qū)域包圍盒左上角坐標(biāo)為(x2，y2)，右下角坐標(biāo)為(x2t，y2t)，則文本區(qū)域間距離的計(jì)算方式為

13、步驟2.4：如果兩個(gè)文本區(qū)域包圍盒間的距離小于設(shè)定的閾值，則將兩個(gè)文本區(qū)域合并，否則仍保留為獨(dú)立的文本區(qū)域，合并方法為其中(xt，yt)、(xu，yu)分別表示合并生成的區(qū)域包圍盒左上角和右下角坐標(biāo)。

14、進(jìn)一步的，訴述步驟3的具體步驟如下：

15、步驟3.1：構(gòu)建待識別印刷刊物表示樹和刊物模板表示樹，使用根結(jié)點(diǎn)表示文檔，根結(jié)點(diǎn)第一層子結(jié)點(diǎn)表示主要功能文本區(qū)域，第二層結(jié)點(diǎn)表示組成功能文本區(qū)域的區(qū)域包圍盒，合并生成的區(qū)域包圍盒位于文檔表示樹的葉子結(jié)點(diǎn)；

16、步驟3.2：計(jì)算葉子結(jié)點(diǎn)匹配度，匹配所消耗的成本越小，匹配度就越高；

17、步驟3.3：計(jì)算樹結(jié)構(gòu)間匹配度，補(bǔ)充解釋區(qū)域包圍盒整體分布差異；

18、步驟3.4：計(jì)算刊物版面文本區(qū)域分布相似度，方法為s＝α*mnode+β*mstru，其中α、β分別表示葉子結(jié)點(diǎn)間匹配度和樹結(jié)構(gòu)間匹配度在計(jì)算相似度時(shí)所占的比例，mnode表示葉子結(jié)點(diǎn)匹配度，mstru表示樹結(jié)構(gòu)匹配度；通過設(shè)計(jì)算法找到與待識別印刷刊物匹配度最高的模板，計(jì)算方式為其中n表示印刷刊物模板的數(shù)量，i表示第i個(gè)模板，si表示待識別印刷刊物t1和第i個(gè)印刷刊物模板t2之間的匹配度。

19、更進(jìn)一步的，訴述步驟3.2的具體步驟如下：

20、(3.21)根據(jù)兩個(gè)文本區(qū)域包圍盒非重疊區(qū)域占比計(jì)算匹配損失cij，方法為cij＝1-(xi∩yj)/(xi+yj-(xi∩yj))，其中x表示待識別印刷刊物樹結(jié)構(gòu)中所有的葉子結(jié)點(diǎn)，xi表示待識別印刷刊物樹結(jié)構(gòu)中第i個(gè)葉子結(jié)點(diǎn)，y表示刊物模板樹結(jié)構(gòu)中所有的葉子結(jié)點(diǎn)，yj表示刊物模板樹結(jié)構(gòu)中第j個(gè)葉子結(jié)點(diǎn)；

21、(3.22)由匹配損失cij獲取x匹配y的成本矩陣c；

22、(3.23)采用匈牙利算法計(jì)算最佳匹配，x最佳分配y的最小成本計(jì)算方法為其中snode表示兩棵樹葉子結(jié)點(diǎn)匹配所消耗的最小成本，wij表示一個(gè)布爾矩陣，如果最佳匹配是將行i與列j匹配，則wij＝1，否則wij＝0；

23、(3.24)將snode歸一化再計(jì)算出待識別印刷刊物表示樹葉子結(jié)點(diǎn)與印刷刊物模板庫中每個(gè)模板表示樹葉子結(jié)點(diǎn)間的匹配度，計(jì)算方式為其中n表示印刷刊物模板的數(shù)目，mnode(i)表示待識別印刷刊物表示樹葉子結(jié)點(diǎn)與第i個(gè)模板表示樹葉子結(jié)點(diǎn)的匹配度。

24、更進(jìn)一步的，訴述步驟3.3的具體步驟如下：

25、(3.31)通過比較兩棵樹每一層的結(jié)點(diǎn)差異計(jì)算樹結(jié)構(gòu)相似度，計(jì)算方法為其中t1為待識別印刷刊物表示樹，t2為刊物模板表示樹，|t1|、|t2|分別表示樹t1，t2中的結(jié)點(diǎn)數(shù)目，treematch(t1，t2)表示兩棵樹的結(jié)點(diǎn)匹配數(shù)，sstru表示樹t1，t2的結(jié)構(gòu)相似度；

26、(3.32)將sstru歸一化后可計(jì)算出t1和t2匹配度，計(jì)算方式為其中n表示印刷刊物模板的數(shù)目，mstru(i)表示與第i個(gè)模板樹結(jié)構(gòu)的匹配度。

27、進(jìn)一步的，訴述步驟4的具體步驟如下：根據(jù)匹配度向量s中最大值的下標(biāo)找到匹配度最高的模板，獲取文本區(qū)域分布相似度最高的刊物版面，從而確定待識別印刷刊物的版面風(fēng)格，其中印刷刊物模板可以是論文版式、詩歌版式、書信版式等。

28、本發(fā)明的有益效果在于：印刷刊物版面主要是由圖、表、文字、超鏈接、超媒體構(gòu)成，文字占據(jù)版面的絕大部分幅面。用dbnet網(wǎng)絡(luò)給出刊物的文本串位置坐標(biāo)，比較待識別印刷刊物與印刷刊物模板的文本區(qū)域匹配情況，提高識別印刷刊物的版面樣式效率，降低計(jì)算量；版面中各功能區(qū)域的位置相對固定，印刷刊物會(huì)按照其特定的版面風(fēng)格排版，文本區(qū)域包圍盒的生成能夠提升預(yù)測性能；用樹結(jié)構(gòu)表示刊物版式，將文本用粗粒度表示；結(jié)合樹葉子結(jié)點(diǎn)匹配法和樹結(jié)構(gòu)匹配算法，能夠充分考慮刊物模板和文檔間的局部和全局布局，提高了識別印刷刊物的版面樣式的準(zhǔn)確性。