一種數(shù)據(jù)并行處理方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)并行處理方法及裝置。一種數(shù)據(jù)并行處理方法，包括：確定目標(biāo)數(shù)據(jù)集及用于處理目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量，目標(biāo)數(shù)據(jù)集中包含多條待處理的數(shù)據(jù)；根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對目標(biāo)數(shù)據(jù)集進行劃分；將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程；啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。應(yīng)用本發(fā)明實施例所提供的技術(shù)方案，可以縮短數(shù)據(jù)獲取時長，提高數(shù)據(jù)處理效率。
【專利說明】
一種數(shù)據(jù)并行處理方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)并行處理方法及裝置。
【背景技術(shù)】
[0002]并行處理，是指啟動多個數(shù)據(jù)處理進程，并行對數(shù)據(jù)進行處理，以提高數(shù)據(jù)處理速率，在很多數(shù)據(jù)處理過程中較為常用，尤其是在進行數(shù)據(jù)庫數(shù)據(jù)跑批過程中。
[0003]比如，在進行養(yǎng)老金年結(jié)時，可以啟動多個數(shù)據(jù)處理進程對上一年度個人賬號數(shù)據(jù)并行進行業(yè)務(wù)結(jié)算。在這個過程中，每個數(shù)據(jù)處理進程按條獲取數(shù)據(jù)，并對獲取的數(shù)據(jù)進行處理，需要確保每個數(shù)據(jù)處理進程獲取到的數(shù)據(jù)都是尚未處理的和不重復(fù)的。
[0004]目前，常見的處理方法是對數(shù)據(jù)加鎖，以防止重復(fù)獲取。比如，oracle數(shù)據(jù)庫采用的select,.for update方式，當(dāng)某個數(shù)據(jù)處理進程要對某條數(shù)據(jù)進行處理，會先查詢該數(shù)據(jù)是否處于鎖定狀態(tài)，如果否，會針對該數(shù)據(jù)加鎖，這樣，其他數(shù)據(jù)處理進程就不會再處理該條數(shù)據(jù)，如果是，則再進行其他數(shù)據(jù)的狀態(tài)查詢，直至查詢到未處于鎖定狀態(tài)的數(shù)據(jù)。
[0005]這種處理方法導(dǎo)致數(shù)據(jù)處理進程獲取數(shù)據(jù)的時間長，數(shù)據(jù)處理效率低。

【發(fā)明內(nèi)容】

[0006]為解決上述技術(shù)問題，本發(fā)明提供一種數(shù)據(jù)并行處理方法及裝置。
[0007]一種數(shù)據(jù)并行處理方法，包括:
[0008]確定目標(biāo)數(shù)據(jù)集及用于處理所述目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量，所述目標(biāo)數(shù)據(jù)集中包含多條待處理的數(shù)據(jù)；
[0009]根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分；
[0010]將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程；
[0011 ]啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。
[0012]在本發(fā)明的一種【具體實施方式】中，所述目標(biāo)數(shù)據(jù)集為進行固化處理后的數(shù)據(jù)的集入口 O
[0013]在本發(fā)明的一種【具體實施方式】中，所述根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分，包括:
[0014]根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，將所述目標(biāo)數(shù)據(jù)集劃分為N等份，所述N為確定的數(shù)據(jù)處理進程的數(shù)量。
[0015]在本發(fā)明的一種【具體實施方式】中，所述根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分，包括:
[0016]根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量及預(yù)先獲得的每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，對所述目標(biāo)數(shù)據(jù)集進行劃分。
[0017]在本發(fā)明的一種【具體實施方式】中，所述方法還包括:
[0018]獲得各數(shù)據(jù)處理進程針對相應(yīng)數(shù)據(jù)的處理結(jié)果；
[0019]根據(jù)接收到的處理結(jié)果，確定處理失敗數(shù)據(jù)；
[0020]將確定的所有處理失敗數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)集，重復(fù)執(zhí)行所述根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分的步驟。
[0021 ] 一種數(shù)據(jù)并行處理裝置，包括:
[0022]確定模塊，用于確定目標(biāo)數(shù)據(jù)集及用于處理所述目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量，所述目標(biāo)數(shù)據(jù)集中包含多條待處理的數(shù)據(jù)；
[0023]劃分模塊，用于根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分；
[0024]分配模塊，用于將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程；
[0025]處理模塊，用于啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。
[0026]在本發(fā)明的一種【具體實施方式】中，所述目標(biāo)數(shù)據(jù)集為進行固化處理后的數(shù)據(jù)的集入口 ο
[0027]在本發(fā)明的一種【具體實施方式】中，所述劃分模塊，具體用于:
[0028]根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，將所述目標(biāo)數(shù)據(jù)集劃分為N等份，所述N為確定的數(shù)據(jù)處理進程的數(shù)量。
[0029]在本發(fā)明的一種【具體實施方式】中，所述劃分模塊，具體用于:
[0030]根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量及預(yù)先獲得的每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，對所述目標(biāo)數(shù)據(jù)集進行劃分。
[0031]在本發(fā)明的一種【具體實施方式】中，所述裝置還包括再處理模塊，用于:
[0032]獲得各數(shù)據(jù)處理進程針對相應(yīng)數(shù)據(jù)的處理結(jié)果；
[0033]根據(jù)接收到的處理結(jié)果，確定處理失敗數(shù)據(jù)；
[0034]將確定的所有處理失敗數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)集，觸發(fā)所述劃分模塊。
[0035]應(yīng)用本發(fā)明實施例所提供的技術(shù)方案，確定目標(biāo)數(shù)據(jù)集和處理數(shù)據(jù)進程的數(shù)量之后，可以根據(jù)處理數(shù)據(jù)進程的數(shù)量，將目標(biāo)數(shù)據(jù)集進行劃分，將劃分后的每份數(shù)據(jù)分配給各數(shù)據(jù)處理進程，然后再啟動各數(shù)據(jù)處理進程處理分配得到的相應(yīng)數(shù)據(jù)，這樣可以縮短數(shù)據(jù)獲取時長，提高數(shù)據(jù)處理效率。
【附圖說明】
[0036]為了更清楚的說明本發(fā)明實施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0037]圖1為本發(fā)明實施例中數(shù)據(jù)并行處理的一種實施流程圖；
[0038]圖2為本發(fā)明實施例中數(shù)據(jù)并行處理的一種結(jié)構(gòu)示意圖。
【具體實施方式】
[0039]本發(fā)明的核心是提供一種數(shù)據(jù)并行處理方法。本發(fā)明所提供的技術(shù)方案主要應(yīng)用于數(shù)據(jù)庫數(shù)據(jù)跑批過程中，當(dāng)然，也可以應(yīng)用于其他對已知固定數(shù)據(jù)進行數(shù)據(jù)處理的過程中，本發(fā)明實施例對此不作限制。在本發(fā)明實施例中，存在多個數(shù)據(jù)處理進程，每個數(shù)據(jù)處理進程都可以針對數(shù)據(jù)進行處理。在數(shù)據(jù)處理進程對數(shù)據(jù)進行處理之前，可以先對目標(biāo)數(shù)據(jù)集進行劃分，為每個數(shù)據(jù)處理進程分配相應(yīng)的數(shù)據(jù)。然后，數(shù)據(jù)處理進程再對分配得到的相應(yīng)數(shù)據(jù)進行處理，可以縮短數(shù)據(jù)獲取時長，提高數(shù)據(jù)處理效率。
[0040]為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進一步的詳細(xì)說明。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0041]參見圖1所示，為本發(fā)明實施例所提供的一種數(shù)據(jù)并行處理方法的實施流程圖，該方法可以包括以下步驟:
[0042]SI 10:確定目標(biāo)數(shù)據(jù)集及用于處理目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量。
[0043]目標(biāo)數(shù)據(jù)集中包含多條待處理的數(shù)據(jù)。
[0044]確定目標(biāo)數(shù)據(jù)集，即確定應(yīng)用本發(fā)明實施例所提供的技術(shù)方案要對哪些數(shù)據(jù)進行處理，這些待處理的數(shù)據(jù)構(gòu)成了目標(biāo)數(shù)據(jù)集。具體的，目標(biāo)數(shù)據(jù)集可以是進行固化處理后的數(shù)據(jù)的集合，待處理的數(shù)據(jù)均為固化處理后的數(shù)據(jù)，這樣，作為數(shù)據(jù)源的目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)是固定的。
[0045]在本發(fā)明實施例中，存在多個用于處理目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程，每個數(shù)據(jù)處理進程均可以對目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)進行處理。
[0046]在實際應(yīng)用中，可以由技術(shù)人員預(yù)先定義目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)范圍。根據(jù)預(yù)先定義的目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)范圍，確定多條待處理的數(shù)據(jù)，從而確定目標(biāo)數(shù)據(jù)集。
[0047]確定目標(biāo)數(shù)據(jù)集后，可以進一步根據(jù)目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)條數(shù)，確定用于處理目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量，或者，直接確定預(yù)先設(shè)定的數(shù)據(jù)處理進程的數(shù)量。
[0048]S120:根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對目標(biāo)數(shù)據(jù)集進行劃分。
[0049]在步驟SI10確定目標(biāo)數(shù)據(jù)集及用于處理該目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量之后，可以根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對目標(biāo)數(shù)據(jù)集進行劃分。即根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對目標(biāo)數(shù)據(jù)集中包含的待處理的數(shù)據(jù)進行劃分，劃分份數(shù)與確定的數(shù)據(jù)處理進程的數(shù)量相匹配，以使每個數(shù)據(jù)處理進程可以獲得一份數(shù)據(jù)。
[0050]在本發(fā)明的一種【具體實施方式】中，可以根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，將目標(biāo)數(shù)據(jù)集劃分為N等份，N為確定的數(shù)據(jù)處理進程的數(shù)量。
[0051]比如，目標(biāo)數(shù)據(jù)集包含的待處理的數(shù)據(jù)條數(shù)為100，確定的可以處理這些數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量為5，則可以將目標(biāo)數(shù)據(jù)集劃分為5等份，每份數(shù)據(jù)中包含20條待處理的數(shù)據(jù)。
[0052]在本發(fā)明的另一種【具體實施方式】中，還可以根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量及預(yù)先獲得的每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，對目標(biāo)數(shù)據(jù)集進行劃分。
[0053]在實際應(yīng)用中，多個數(shù)據(jù)處理進程可以運行在同一臺物理計算機上，還可以運行在不同物理計算機上。每個數(shù)據(jù)處理進程被分配的內(nèi)存大小可能不同。對于被分配的內(nèi)存較大的數(shù)據(jù)處理進程而言，單位時間內(nèi)其處理數(shù)據(jù)能力較強，可以處理較多條數(shù)的數(shù)據(jù)，對于被分配的內(nèi)存較小的數(shù)據(jù)處理進程而言，單位時間內(nèi)其處理數(shù)據(jù)能力較弱，可以處理較少條數(shù)的數(shù)據(jù)。
[0054]所以，可以預(yù)先獲得每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量及預(yù)先獲得的每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，對目標(biāo)數(shù)據(jù)集進行劃分，將目標(biāo)數(shù)據(jù)集劃分為N份，N為數(shù)據(jù)處理進程的數(shù)量，每份數(shù)據(jù)中包含的數(shù)據(jù)條數(shù)不同，可以根據(jù)數(shù)據(jù)處理進程的被分配的內(nèi)存大小確定。
[0055]具體的，可以根據(jù)數(shù)據(jù)處理進程的被分配的內(nèi)存大小，確定每個數(shù)據(jù)處理進程的被分配的內(nèi)存占所有數(shù)據(jù)處理進程的被分配的內(nèi)存總和的比例，根據(jù)該比例，確定與該數(shù)據(jù)處理進程對應(yīng)的數(shù)據(jù)量占總的數(shù)據(jù)量的比例。
[0056]如例I，確定的數(shù)據(jù)處理進程的數(shù)量為3，目標(biāo)數(shù)據(jù)集中包含的待處理的數(shù)據(jù)的條數(shù)為20，第一數(shù)據(jù)處理進程被分配的內(nèi)存大小為IMBy te，第二數(shù)據(jù)處理進程被分配的內(nèi)存大小為2MByte，第三數(shù)據(jù)處理進程被分配的內(nèi)存大小為IMByte，第一數(shù)據(jù)處理進程對應(yīng)的內(nèi)存占比為1/( 1+2+1 ) = 1/4,第二數(shù)據(jù)處理進程對應(yīng)的內(nèi)存占比為2/( 1+2+1 ) = 1/2,第三數(shù)據(jù)處理進程對應(yīng)的內(nèi)存占比為1/(1+2+1) = 1/4，按照這樣的比例，可以將目標(biāo)數(shù)據(jù)集劃分為5/10/5，即與第一數(shù)據(jù)處理進程對應(yīng)的第一份數(shù)據(jù)為5條，與第二數(shù)據(jù)處理進程對應(yīng)的第二份數(shù)據(jù)為10條，與第三數(shù)據(jù)處理進程對應(yīng)的第三份數(shù)據(jù)為5條。
[0057]當(dāng)然，也可以根據(jù)其他比例關(guān)系對目標(biāo)數(shù)據(jù)集進行劃分，只要遵循被分配內(nèi)存大的數(shù)據(jù)處理進程對應(yīng)的數(shù)據(jù)量較多為原則即可。本發(fā)明實施例對此不作限制。
[0058]在實際應(yīng)用中，如果確定對目標(biāo)數(shù)據(jù)集的劃分后的份數(shù)或者每份包含的條數(shù)不是整數(shù)，則可以向上取整。
[0059]S130:將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程。
[0060]在步驟S120，對目標(biāo)數(shù)據(jù)集進行劃分之后，可以將劃分后的每份數(shù)據(jù)按順序分配給每個數(shù)據(jù)處理進程?；蛘?，在接收到數(shù)據(jù)處理進程的數(shù)據(jù)獲取指令后，將相應(yīng)的數(shù)據(jù)分配給該數(shù)據(jù)處理進程。
[0061 ]比如，如果是對目標(biāo)數(shù)據(jù)集進行均等劃分，則將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程后，可以使每個數(shù)據(jù)處理進程得到的數(shù)據(jù)條數(shù)是相等的。
[0062]如果是不均等劃分，即按照數(shù)據(jù)處理進程的數(shù)量及數(shù)據(jù)處理進程被分配的內(nèi)存大小進行的劃分，則可以按照順序，將劃分后的每份數(shù)據(jù)分配給相應(yīng)的數(shù)據(jù)處理進程，使被分配的內(nèi)存較大的數(shù)據(jù)處理進程被分配較多條數(shù)的數(shù)據(jù)，使被分配的內(nèi)存較小的數(shù)據(jù)處理進程被分配較少條數(shù)的數(shù)據(jù)。
[0063]如例I中，第一份數(shù)據(jù)包含5條數(shù)據(jù)，將該份數(shù)據(jù)分配給第一數(shù)據(jù)處理進程，第二份數(shù)據(jù)包含10條數(shù)據(jù)，將該份數(shù)據(jù)分配給第二數(shù)據(jù)處理進程，第三份數(shù)據(jù)包含5條數(shù)據(jù)，將該份數(shù)據(jù)分配給第三數(shù)據(jù)處理進程。
[0064]這樣，每個數(shù)據(jù)處理進程均得到了與其處理能力相當(dāng)?shù)拇幚淼臄?shù)據(jù)，這樣各數(shù)據(jù)處理進程的數(shù)據(jù)處理時間相差不大。
[0065]S140:啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。
[0066]在步驟S130將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程之后，可以啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。數(shù)據(jù)處理進程對相應(yīng)數(shù)據(jù)進行處理為現(xiàn)有技術(shù)，本發(fā)明實施例對此不再贅述。
[0067]應(yīng)用本發(fā)明實施例所提供的方法，確定目標(biāo)數(shù)據(jù)集和處理數(shù)據(jù)進程的數(shù)量之后，可以根據(jù)處理數(shù)據(jù)進程的數(shù)量，將目標(biāo)數(shù)據(jù)集進行劃分，將劃分后的每份數(shù)據(jù)分配給各數(shù)據(jù)處理進程，然后再啟動各數(shù)據(jù)處理進程處理分配得到的相應(yīng)數(shù)據(jù)，這樣可以縮短數(shù)據(jù)獲取時長，提高數(shù)據(jù)處理效率。
[0068]另外，這樣的數(shù)據(jù)處理流程簡單靈活，對于原有程序的改造代價較小。
[0069]在本發(fā)明的一個實施例中，在步驟S140之后，該方法還可以包括以下步驟:
[0070]步驟一:接收各數(shù)據(jù)處理進程針對相應(yīng)數(shù)據(jù)的處理結(jié)果；
[0071 ]步驟二:根據(jù)接收到的處理結(jié)果，確定處理失敗數(shù)據(jù)；
[0072]步驟三:將確定的所有處理失敗數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)集，重復(fù)執(zhí)行步驟S120的操作。
[0073]為方便描述，將上述三個步驟結(jié)合起來進行說明。
[0074]數(shù)據(jù)處理進程對分配得到的相應(yīng)數(shù)據(jù)處理完成后，可以獲得各數(shù)據(jù)處理進程針對相應(yīng)數(shù)據(jù)的處理結(jié)果。具體的，數(shù)據(jù)處理進程可以在相應(yīng)數(shù)據(jù)中添加處理結(jié)果標(biāo)識，如處理成功標(biāo)識或者處理失敗標(biāo)識，根據(jù)數(shù)據(jù)中的處理結(jié)果標(biāo)識，可以確定各數(shù)據(jù)的處理結(jié)果。
[0075]根據(jù)接收到的處理結(jié)果，可以確定處理失敗數(shù)據(jù)，并將所有數(shù)據(jù)處理進程對應(yīng)的所有處理失敗數(shù)據(jù)歸集在一起，確定為目標(biāo)數(shù)據(jù)集，重復(fù)執(zhí)行步驟S120的操作。使數(shù)據(jù)處理進程可以對處理失敗數(shù)據(jù)進行再次處理。如果針對某數(shù)據(jù)，進行多次處理后，仍處理失敗，則可以輸出告警信息，以便技術(shù)人員可以查看，糾正數(shù)據(jù)錯誤。
[0076]相應(yīng)于上面的方法實施例，本發(fā)明實施例還提供了一種數(shù)據(jù)并行處理裝置。下面對本發(fā)明實施例提供的一種數(shù)據(jù)并行處理裝置進行介紹，下文描述的一種數(shù)據(jù)并行處理裝置與上文描述的一種數(shù)據(jù)并行處理方法可相互對應(yīng)參照。
[0077]參見圖2所示，為本發(fā)明實施例提供的一種數(shù)據(jù)并行處理裝置的結(jié)構(gòu)示意圖，該裝置可以包括:
[0078]確定模塊210，用于確定目標(biāo)數(shù)據(jù)集及用于處理所述目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量，所述目標(biāo)數(shù)據(jù)集中包含多條待處理的數(shù)據(jù)；
[0079]劃分模塊220，用于根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分；
[0080]分配模塊230，用于將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程；
[0081]處理模塊240，用于啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。
[0082]應(yīng)用本發(fā)明實施例所提供的裝置，確定目標(biāo)數(shù)據(jù)集和處理數(shù)據(jù)進程的數(shù)量之后，可以根據(jù)處理數(shù)據(jù)進程的數(shù)量，將目標(biāo)數(shù)據(jù)集進行劃分，將劃分后的每份數(shù)據(jù)分配給各數(shù)據(jù)處理進程，然后再啟動各數(shù)據(jù)處理進程處理分配得到的相應(yīng)數(shù)據(jù)，這樣可以縮短數(shù)據(jù)獲取時長，提高數(shù)據(jù)處理效率。
[0083]在本發(fā)明的一種【具體實施方式】中，所述目標(biāo)數(shù)據(jù)集為進行固化處理后的數(shù)據(jù)的集入口 ο
[0084]在本發(fā)明的一種【具體實施方式】中，所述劃分模塊220，可以具體用于:
[0085]根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，將所述目標(biāo)數(shù)據(jù)集劃分為N等份，所述N為確定的數(shù)據(jù)處理進程的數(shù)量。
[0086]在本發(fā)明的一種【具體實施方式】中，所述劃分模塊220，可以具體用于:
[0087]根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量及預(yù)先獲得的每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，對所述目標(biāo)數(shù)據(jù)集進行劃分。
[0088]在本發(fā)明的一種【具體實施方式】中，所述裝置還可以包括再處理模塊，用于:
[0089]獲得各數(shù)據(jù)處理進程針對相應(yīng)數(shù)據(jù)的處理結(jié)果；
[0090]根據(jù)接收到的處理結(jié)果，確定處理失敗數(shù)據(jù)；
[0091]將確定的所有處理失敗數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)集，觸發(fā)所述劃分模塊。
[0092]本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。
[0093]專業(yè)人員還可以進一步意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結(jié)合來實現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
[0094]結(jié)合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實施。軟件模塊可以置于隨機存儲器(RAM)、內(nèi)存、只讀存儲器(R0M)、電可編程R0M、電可擦除可編程R0M、寄存器、硬盤、可移動磁盤、CD-ROM、或技術(shù)領(lǐng)域內(nèi)所公知的任意其它形式的存儲介質(zhì)中。
[0095]以上對本發(fā)明所提供的一種數(shù)據(jù)并行處理方法及裝置進行了詳細(xì)介紹。本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對本發(fā)明進行若干改進和修飾，這些改進和修飾也落入本發(fā)明權(quán)利要求的保護范圍內(nèi)。
【主權(quán)項】
1.一種數(shù)據(jù)并行處理方法，其特征在于，包括: 確定目標(biāo)數(shù)據(jù)集及用于處理所述目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量，所述目標(biāo)數(shù)據(jù)集中包含多條待處理的數(shù)據(jù)； 根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分； 將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程； 啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)數(shù)據(jù)集為進行固化處理后的數(shù)據(jù)的集合。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分，包括: 根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，將所述目標(biāo)數(shù)據(jù)集劃分為N等份，所述N為確定的數(shù)據(jù)處理進程的數(shù)量。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分，包括: 根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量及預(yù)先獲得的每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，對所述目標(biāo)數(shù)據(jù)集進行劃分。5.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，所述方法還包括: 獲得各數(shù)據(jù)處理進程針對相應(yīng)數(shù)據(jù)的處理結(jié)果； 根據(jù)接收到的處理結(jié)果，確定處理失敗數(shù)據(jù)； 將確定的所有處理失敗數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)集，重復(fù)執(zhí)行所述根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分的步驟。6.一種數(shù)據(jù)并行處理裝置，其特征在于，包括: 確定模塊，用于確定目標(biāo)數(shù)據(jù)集及用于處理所述目標(biāo)數(shù)據(jù)集包含的數(shù)據(jù)的數(shù)據(jù)處理進程的數(shù)量，所述目標(biāo)數(shù)據(jù)集中包含多條待處理的數(shù)據(jù)； 劃分模塊，用于根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，對所述目標(biāo)數(shù)據(jù)集進行劃分； 分配模塊，用于將劃分后的每份數(shù)據(jù)分配給每個數(shù)據(jù)處理進程； 處理模塊，用于啟動各數(shù)據(jù)處理進程對分配得到的對應(yīng)數(shù)據(jù)進行處理。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述目標(biāo)數(shù)據(jù)集為進行固化處理后的數(shù)據(jù)的集合。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述劃分模塊，具體用于: 根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量，將所述目標(biāo)數(shù)據(jù)集劃分為N等份，所述N為確定的數(shù)據(jù)處理進程的數(shù)量。9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述劃分模塊，具體用于: 根據(jù)確定的數(shù)據(jù)處理進程的數(shù)量及預(yù)先獲得的每個數(shù)據(jù)處理進程被分配的內(nèi)存大小，對所述目標(biāo)數(shù)據(jù)集進行劃分。10.根據(jù)權(quán)利要求6至9任一項所述的裝置，其特征在于，所述裝置還包括再處理模塊，用于: 獲得各數(shù)據(jù)處理進程針對相應(yīng)數(shù)據(jù)的處理結(jié)果； 根據(jù)接收到的處理結(jié)果，確定處理失敗數(shù)據(jù)；將確定的所有處理失敗數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)集，觸發(fā)所述劃分模塊。
【文檔編號】G06F9/46GK105975331SQ201610265208
【公開日】2016年9月28日
【申請日】2016年4月26日
【發(fā)明人】王萌
【申請人】浪潮(北京)電子信息產(chǎn)業(yè)有限公司