用于識(shí)別候選答案之間的關(guān)系的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)一般地涉及一種改進(jìn)的數(shù)據(jù)處理設(shè)備和方法，更具體地講，涉及用于識(shí)別 和顯示由問(wèn)答（QA)系統(tǒng)產(chǎn)生的候選答案之間的關(guān)系的機(jī)構(gòu)。
【背景技術(shù)】
[0002] 隨著增加的計(jì)算網(wǎng)絡(luò)（諸如，互聯(lián)網(wǎng)）的使用，人類當(dāng)前淹沒(méi)于他們可從各種結(jié)構(gòu) 化和非結(jié)構(gòu)化源獲得的大量信息。然而，當(dāng)用戶試圖拼湊用戶在搜索關(guān)于各種主題的信息 期間認(rèn)為相關(guān)的他們能夠發(fā)現(xiàn)的信息時(shí)，存在大量信息空隙。為了輔助這種搜索，近來(lái)的研 究已涉及產(chǎn)生問(wèn)答（QA)系統(tǒng)，QA系統(tǒng)可接收輸入問(wèn)題，分析輸入問(wèn)題，并且返回指示輸入 問(wèn)題的最可能的答案的結(jié)果。QA系統(tǒng)提供用于搜索內(nèi)容（例如，電子文檔）的源的大的集 合的自動(dòng)化機(jī)構(gòu)，并且針對(duì)輸入問(wèn)題分析它們以確定問(wèn)題的答案和答案對(duì)于回答輸入問(wèn)題 的準(zhǔn)確性的置信量度。
[0003] -個(gè)這種QA系統(tǒng)是可從New York, Armonk的國(guó)際商用機(jī)器（IBM)公司購(gòu)得的 Watson?系統(tǒng)。Watson?系統(tǒng)將高級(jí)自然語(yǔ)言處理、信息檢索、知識(shí)表示和推理以及機(jī)器學(xué) 習(xí)技術(shù)應(yīng)用于開(kāi)域問(wèn)題回答的領(lǐng)域。Watson?系統(tǒng)建立在用于假設(shè)產(chǎn)生、大量證據(jù)搜集、分 析和評(píng)分的IBM的De印QA tm技術(shù)上。De印QAtm接收輸入問(wèn)題，分析輸入問(wèn)題，將問(wèn)題分解為 組成部分，基于分解的問(wèn)題和答案源的初步搜索的結(jié)果產(chǎn)生一個(gè)或多個(gè)假設(shè)，基于從證據(jù) 源進(jìn)行的證據(jù)的檢索執(zhí)行假設(shè)和證據(jù)評(píng)分，執(zhí)行所述一個(gè)或多個(gè)假設(shè)的合成，并且基于訓(xùn) 練的模型，執(zhí)行最后的合并和評(píng)級(jí)以輸出輸入問(wèn)題的答案以及置信量度。
[0004] 各種美國(guó)專利申請(qǐng)公開(kāi)描述了各種類型的問(wèn)答系統(tǒng)。第2011/0125734號(hào)美國(guó)專 利申請(qǐng)公開(kāi)公開(kāi)了一種用于基于數(shù)據(jù)的資料庫(kù)（corpus)產(chǎn)生問(wèn)答對(duì)的機(jī)構(gòu)。該系統(tǒng)開(kāi)始 于一組問(wèn)題，然后分析這組內(nèi)容以提取這些問(wèn)題的答案。第2011/0066587號(hào)美國(guó)專利申請(qǐng) 公開(kāi)公開(kāi)了一種用于將分析的信息的報(bào)告轉(zhuǎn)換為一批問(wèn)題并且從信息集確定這批問(wèn)題的 答案是被回答還是被反駁的機(jī)構(gòu)。結(jié)果數(shù)據(jù)被包括在更新的信息模型中。

【發(fā)明內(nèi)容】

[0005] 在一個(gè)說(shuō)明性實(shí)施例中，提供一種在數(shù)據(jù)處理系統(tǒng)中用于識(shí)別由問(wèn)答（QA)系統(tǒng) 響應(yīng)于輸入問(wèn)題而產(chǎn)生的或者由用戶直接輸入以由問(wèn)答（QA)系統(tǒng)考慮的候選答案之間的 共性的方法。該方法包括：由數(shù)據(jù)處理系統(tǒng)或用戶輸入從QA系統(tǒng)接收輸入問(wèn)題的多個(gè)候選 答案，并且由數(shù)據(jù)處理系統(tǒng)識(shí)別存在于這些候選答案中的項(xiàng)。該方法還包括：由數(shù)據(jù)處理系 統(tǒng)確定每個(gè)候選答案中的項(xiàng)之間的關(guān)系。此外，該方法包括：由數(shù)據(jù)處理系統(tǒng)基于確定的每 個(gè)候選答案中的項(xiàng)之間的關(guān)系確定第一項(xiàng)和第二項(xiàng)之間的共同關(guān)系，共同關(guān)系至少在所述 多個(gè)候選答案的一個(gè)子集之中是共同的。另外，該方法包括：由數(shù)據(jù)處理系統(tǒng)提供所述多個(gè) 候選答案和共同關(guān)系。
[0006] 在其它說(shuō)明性實(shí)施例中，提供一種包括具有計(jì)算機(jī)可讀程序的計(jì)算機(jī)可用或可讀 介質(zhì)的計(jì)算機(jī)程序產(chǎn)品。當(dāng)在計(jì)算裝置上執(zhí)行所述計(jì)算機(jī)可讀程序時(shí)，所述計(jì)算機(jī)可讀程 序使計(jì)算裝置執(zhí)行以上參照方法說(shuō)明性實(shí)施例概述的操作中的各種操作及其組合。
[0007] 在另一說(shuō)明性實(shí)施例中，提供一種系統(tǒng)/設(shè)備。該系統(tǒng)/設(shè)備可包括：一個(gè)或多個(gè) 處理器；和存儲(chǔ)器，耦合到所述一個(gè)或多個(gè)處理器。該存儲(chǔ)器可包括指令，當(dāng)由所述一個(gè)或 多個(gè)處理器執(zhí)行所述指令時(shí)，所述指令使所述一個(gè)或多個(gè)處理器執(zhí)行以上參照方法說(shuō)明性 實(shí)施例概述的操作中的各種操作及其組合。
[0008] 考慮到下面對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，將會(huì)描述本發(fā)明的這些和其它 特征和優(yōu)點(diǎn)，或者本發(fā)明的這些和其它特征和優(yōu)點(diǎn)將會(huì)對(duì)于本領(lǐng)域普通技術(shù)人員而言變得 清楚。
【附圖說(shuō)明】
[0009] 當(dāng)結(jié)合附圖閱讀時(shí)，通過(guò)參照下面對(duì)說(shuō)明性實(shí)施例的詳細(xì)描述，將會(huì)最好地理解 本發(fā)明以及使用的優(yōu)選模式及其另外的目的和優(yōu)點(diǎn)，其中：
[0010] 圖1描述計(jì)算機(jī)網(wǎng)絡(luò)中的問(wèn)/答創(chuàng)建（QA)系統(tǒng)的一個(gè)說(shuō)明性實(shí)施例的示意圖；
[0011] 圖2是可實(shí)現(xiàn)說(shuō)明性實(shí)施例的各方面的示例性數(shù)據(jù)處理系統(tǒng)的方框圖；
[0012] 圖3表示根據(jù)一個(gè)說(shuō)明性實(shí)施例的用于處理輸入問(wèn)題的QA系統(tǒng)流水線；
[0013] 圖4是根據(jù)一個(gè)說(shuō)明性實(shí)施例的候選答案關(guān)系識(shí)別引擎的主要操作元件的示例 性方框圖；
[0014] 圖5是概述根據(jù)一個(gè)說(shuō)明性實(shí)施例的用于執(zhí)行用于產(chǎn)生用于識(shí)別候選答案中的 關(guān)系的實(shí)體/項(xiàng)關(guān)系資源的預(yù)處理操作的示例性操作的流程圖；
[0015] 圖6是概述根據(jù)一個(gè)說(shuō)明性實(shí)施例的用于使用實(shí)體/項(xiàng)關(guān)系資源確定候選答案之 間的關(guān)系的示例性操作的流程圖；以及
[0016] 圖7是根據(jù)一個(gè)說(shuō)明性實(shí)施例的候選答案用戶界面的示例性示圖。
【具體實(shí)施方式】
[0017] 說(shuō)明性實(shí)施例提供用于識(shí)別由問(wèn)答（QA)系統(tǒng)產(chǎn)生的候選答案之間的關(guān)系的機(jī) 構(gòu)。也就是說(shuō)，說(shuō)明性實(shí)施例提供用于回答"給定由QA系統(tǒng)針對(duì)一問(wèn)題計(jì)算的一組候選答 案，候選答案彼此具有什么共同點(diǎn)？ "這一問(wèn)題的機(jī)構(gòu)。通過(guò)評(píng)估和表示對(duì)于一組候選答案 中的元素而言共同的項(xiàng)，通過(guò)評(píng)估和表示候選答案之間共同的、候選答案內(nèi)的實(shí)體和項(xiàng)之 間的關(guān)系，以及通過(guò)參照共同項(xiàng)以及實(shí)體和項(xiàng)及其關(guān)系，檢索和顯示顯示候選答案之間的 關(guān)聯(lián)的資料庫(kù)中的段落，說(shuō)明性實(shí)施例回答這種問(wèn)題。
[0018] 應(yīng)該理解，這里所使用的術(shù)語(yǔ)"機(jī)構(gòu)"可以是具有設(shè)備、過(guò)程或計(jì)算機(jī)程序產(chǎn)品的 形式的說(shuō)明性實(shí)施例的各功能或方面的任何實(shí)現(xiàn)方式。這里描述的機(jī)構(gòu)可被實(shí)現(xiàn)為專用硬 件、在通用硬件上執(zhí)行的軟件、存儲(chǔ)在介質(zhì)上從而可容易地由專用或通用硬件執(zhí)行的軟件 指令、用于執(zhí)行功能的過(guò)程或方法或者以上各項(xiàng)的組合。
[0019] 說(shuō)明性實(shí)施例的機(jī)構(gòu)在一個(gè)或多個(gè)數(shù)據(jù)倉(cāng)庫(kù)（例如，數(shù)據(jù)庫(kù)等）中創(chuàng)建一個(gè)或多 個(gè)數(shù)據(jù)結(jié)構(gòu)，所述一個(gè)或多個(gè)數(shù)據(jù)結(jié)構(gòu)識(shí)別在文檔中的句子的文本中識(shí)別的實(shí)體之間的關(guān) 系。說(shuō)明性實(shí)施例的機(jī)構(gòu)還使實(shí)體與它們?cè)谒阉魉饕械墓餐茫╟o-reference)相關(guān) 聯(lián)。結(jié)果，這些機(jī)構(gòu)可顯示對(duì)于問(wèn)題的一組候選答案而言共同的項(xiàng)，按照項(xiàng)的實(shí)體類型（例 如，人、組織或其它項(xiàng)"類型"）過(guò)濾共同的項(xiàng)，識(shí)別項(xiàng)和實(shí)體之間的關(guān)系，并且顯示支持候選 答案和共同項(xiàng)相關(guān)的斷言的段落。
[0020] 說(shuō)明性實(shí)施例的機(jī)構(gòu)可使用實(shí)體識(shí)別和跟蹤引擎，諸如可從New York，Armonk的 國(guó)際商用機(jī)器公司購(gòu)得的統(tǒng)計(jì)信息和關(guān)系提?。⊿IRE)引擎。SIRE提供：用于使用最大熵 模型的項(xiàng)或?qū)嶓w檢測(cè)的部件，能夠從注釋數(shù)據(jù)訓(xùn)練最大熵模型；可訓(xùn)練的共同引用部件，用 于對(duì)在文檔中檢測(cè)到的對(duì)應(yīng)于相同實(shí)體的項(xiàng)進(jìn)行分組；和可訓(xùn)練的關(guān)系提取系統(tǒng)。當(dāng)然， 可在不脫離說(shuō)明性實(shí)施例的精神和范圍的情況下使用其它實(shí)體識(shí)別和跟蹤引擎，并且SIRE 在這里僅用作例子以幫助理解由說(shuō)明性實(shí)施例做出的改進(jìn)。
[0021] 實(shí)體識(shí)別和跟蹤（EIT)引擎提供文檔中的文本的語(yǔ)法分解、在文本中檢測(cè)到的實(shí) 體的識(shí)別、共同引用解析（參考相同實(shí)體的兩個(gè)或更多項(xiàng)的解析）和實(shí)體之間的關(guān)系檢測(cè)。 另外，提供用于產(chǎn)生利用由EIT引擎發(fā)現(xiàn)的共同引用的項(xiàng)增強(qiáng)的搜索索引以及用于產(chǎn)生關(guān) 系數(shù)據(jù)庫(kù)的邏輯，所述關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)由EIT引擎發(fā)現(xiàn)的實(shí)體、實(shí)體類型、與實(shí)體相關(guān)的 項(xiàng)、資料庫(kù)內(nèi)或跨資料庫(kù)的特定關(guān)系的頻率、作為關(guān)系的源的文檔的公布時(shí)間、資料庫(kù)標(biāo)識(shí) 符和作為關(guān)系的源的文檔的文檔標(biāo)識(shí)符。
[0022] 這些資源被用于識(shí)別由QA系統(tǒng)產(chǎn)生的候選答案中的實(shí)體、項(xiàng)和關(guān)系以識(shí)別除了 候選答案是共同輸入問(wèn)題的答案的明顯關(guān)系之外的候選答案之間的關(guān)系。也就是說(shuō)，給定 由QA系統(tǒng)返回或由用戶明確地輸入以由QA系統(tǒng)考慮的針對(duì)輸入問(wèn)題的一組候選答案，說(shuō) 明性實(shí)施例的邏輯顯示返回的聯(lián)系起候選答案的實(shí)體、項(xiàng)和它們的關(guān)系（例如，候選答案 之間的共同項(xiàng)），并且顯示支持答案/實(shí)體/項(xiàng)關(guān)系的資料庫(kù)中的段落。實(shí)體、項(xiàng)和關(guān)系的 這種識(shí)別考慮了在資源的產(chǎn)生期間識(shí)別的項(xiàng)的共同引用。
[0023] 因此，由說(shuō)明性實(shí)施例的機(jī)構(gòu)產(chǎn)生的結(jié)果可被輸出到用戶，以使得用戶能夠更深 入地了解候選答案之間的共性和候選答案之間的關(guān)系，從而用戶更深入地了解他們的原始 輸入問(wèn)題的答案。例如，可諸如通過(guò)用戶界面給予用戶選項(xiàng)以詢問(wèn)針對(duì)候選答案的共性的 問(wèn)題。可詢問(wèn)的這種問(wèn)題的例子例如可以是"所有的答案具有什么共同項(xiàng)？ "（以及顯示項(xiàng) 和答案相關(guān)的資料庫(kù)的文檔中的段落是什么）、"答案的子集具有什么共同項(xiàng)？（以及顯示 項(xiàng)和答案相關(guān)的段落是什么）"等。在一些情況下，問(wèn)題可針對(duì)實(shí)體類型以確定什么實(shí)體類 型在候選答案之間是共同的，例如，"所有的答案具有什么共同的人？ "（其中"人"是實(shí)體類 型）、"所有的答案具有什么共同的組織？ "、"所有的答案具有什么共同的國(guó)家？ "等。
[0024] 由說(shuō)明性實(shí)施例的機(jī)構(gòu)執(zhí)行的分析的結(jié)果可被用于基于確定的項(xiàng)的特性、項(xiàng)之間 的關(guān)系和用戶詢問(wèn)的關(guān)于候選答案的特定問(wèn)題，改變候選答案的顯示。例如，如果用戶要 求候選答案之間共同的項(xiàng)的指示，則可在候選答案以及支持項(xiàng)和特定候選答案之間的關(guān)系 的段落中突出顯示共同項(xiàng)。此外，資料庫(kù)內(nèi)和/或跨資料庫(kù)的項(xiàng)和實(shí)體之間的關(guān)系的頻率 可被用作該關(guān)系的強(qiáng)度的量度，并且可被用于修改候選答案的顯示以代表候選答案中的關(guān) 系的相對(duì)強(qiáng)度，例如以顏色、字體、尺寸或任何其它文本或圖形特性的不同強(qiáng)調(diào)顯示不同強(qiáng) 度。此外，關(guān)系的獨(dú)特性的量度也可被用于修改候選答案的顯示。不管單獨(dú)地或組合地實(shí) 現(xiàn)以上特征中的哪些特征，說(shuō)明性實(shí)施例針對(duì)使用的項(xiàng)和在候選答案中提及的項(xiàng)/實(shí)體之 間的關(guān)系，提供對(duì)在候選答案之間什么是共同的以及在候選答案為什么被選擇為輸入問(wèn)題 的候選答案后面的推理的更深入的了解。
[0025] 將在以下參照附圖更詳細(xì)地描述本發(fā)明的說(shuō)明性實(shí)施例的以上方面和優(yōu)點(diǎn)。應(yīng)該 理解，附圖僅用于說(shuō)明本發(fā)明的示例性實(shí)施例。本發(fā)明可包括未在附圖中明確地示出但考 慮到說(shuō)明性實(shí)施例的當(dāng)前描述將會(huì)對(duì)于本領(lǐng)域普通技術(shù)人員而言容易想到的各方面、實(shí)施 例和描述的示例性實(shí)施例的變型。
[0026] 所屬技術(shù)領(lǐng)域的技術(shù)人員知道，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或計(jì)算 機(jī)程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即：完全的硬件實(shí)施方式、 完全的軟件實(shí)施方式（包括固件、駐留軟件、微代碼等），或硬件和軟件方面結(jié)合的實(shí)施方 式，這里可以統(tǒng)稱為"電路"、"模塊"或"系統(tǒng)"。此外，在一些實(shí)施例中，本發(fā)明的各個(gè)方面 還可以實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介 質(zhì)中包含計(jì)算機(jī)可讀的程序代碼。
[0027] 可使用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任何組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可 讀信號(hào)介質(zhì)或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是電子、磁、光學(xué)、電磁或半 導(dǎo)體性質(zhì)的系統(tǒng)、設(shè)備或裝置、前述各項(xiàng)的任何合適的組合或者其等同物。計(jì)算機(jī)可讀存 儲(chǔ)介質(zhì)的更具體的例子（非窮舉列表）將會(huì)包括下述各項(xiàng)：具有存儲(chǔ)能力的電氣裝置、便 攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器（RAM)、只讀存儲(chǔ)器（ROM)、可擦除可編程只讀存儲(chǔ)器 (EPROM或閃存）、基于光纖的裝置、便攜式壓縮盤只讀存儲(chǔ)器（CDROM)、光學(xué)存儲(chǔ)裝置、磁存 儲(chǔ)裝置或前述各項(xiàng)的任何合適的組合。在這個(gè)文檔的上下文中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以 是能夠包含或存儲(chǔ)由指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或結(jié)合指令執(zhí)行系統(tǒng)、設(shè)備或裝置使 用的程序的任何有形介質(zhì)。
[0028] 在一些說(shuō)明性實(shí)施例中，計(jì)算機(jī)可讀介質(zhì)是非暫態(tài)計(jì)算機(jī)可讀介質(zhì)。非暫態(tài)計(jì)算 機(jī)可讀介質(zhì)是