一種基于流式計算與時間窗動態(tài)優(yōu)化的多源交通狀態(tài)判別方法
【技術領域】
[0001] 本發(fā)明涉及城市智能交通技術領域的大數(shù)據(jù)處理技術，具體是一種多源交通狀態(tài) 判別方法
【背景技術】
[0002] 近年來，隨著信息技術的飛速發(fā)展與各地智慧城市項目建設規(guī)模的逐步提升，智 慧交通項目的研發(fā)與實施也逐漸變得更加復雜，在這個變化的過程中也產(chǎn)生了更多的系統(tǒng) 業(yè)務需求。與傳統(tǒng)的交通項目相對比，新的智慧交通項目主要有以下幾個方面的特點：項目 生產(chǎn)與處理的數(shù)據(jù)量規(guī)模急劇增長，由GB級跨入TB級；智慧交通平臺實時響應時間要求提 高；實時交通運行評價分析算法準確性與可靠性要求較高；交通運行深度信息服務應用需 求增加。其中，生產(chǎn)數(shù)據(jù)量的迅速增加是智慧交通新系統(tǒng)的重要特點，如何更好地處理大規(guī) 模的數(shù)據(jù)信息也成為了各類智慧交通項目建設中的關鍵問題。
[0003] 從系統(tǒng)開發(fā)的角度來看，數(shù)據(jù)量的爆炸性增長，尤其是多種數(shù)據(jù)源采集數(shù)據(jù)的同 步增長的態(tài)勢已經(jīng)對現(xiàn)有智慧交通系統(tǒng)造成了相當大的數(shù)據(jù)流量壓力。在這種情況下，亟 需一種能夠?qū)崿F(xiàn)對多源海量交通數(shù)據(jù)進行及時快速處理的生產(chǎn)系統(tǒng)。而各類開源實時流式 計算系統(tǒng)，包括ApacheStorm、ApacheSparkStreaming、YahooS4等則可以滿足這種對海 量數(shù)據(jù)的實時處理需求。通過將應用服務分解為多個子處理模塊，并將所有的子處理模塊 并行地運行于流式計算系統(tǒng)中，可以實現(xiàn)應用服務的快速處理與響應。同時，在數(shù)據(jù)量持續(xù) 增加的情況下，還可以根據(jù)實際需求，適當增加處理節(jié)點來實現(xiàn)實時處理的彈性性能擴展。 不過，由于實時流式計算仍然是一種較新的概念，現(xiàn)階段真正實現(xiàn)該技術的交通數(shù)據(jù)處理 應用，尤其是在復雜的多源交通數(shù)據(jù)采集的場景下的應用較少，而且缺乏較完備的多源交 通數(shù)據(jù)動態(tài)處理方案，制約了海量交通數(shù)據(jù)處理技術領域的發(fā)展。

【發(fā)明內(nèi)容】

[0004] 為了克服已有交通狀態(tài)判別方法的無法適用于多源交通數(shù)據(jù)采集的場合、無法滿 足海量數(shù)據(jù)的處理要求的不足，本發(fā)明提供一種有效適用于多源交通數(shù)據(jù)采集的場合、滿 足海量數(shù)據(jù)的處理要求的多源交通數(shù)據(jù)采集的場合。
[0005] 本發(fā)明解決其技術問題所采用的技術方案是：
[0006] -種基于流式計算與時間窗動態(tài)優(yōu)化的多源交通狀態(tài)判別方法，所述多源交通狀 態(tài)判別方法包括以下步驟：
[0007] 1)設定多源交通狀態(tài)動態(tài)優(yōu)化的單元時間窗UTW，調(diào)節(jié)時間窗ATW，以及平滑時間 窗STW;
[0008] 2)以設定的單元時間窗UTW為單位滾動接收路段中所有交通數(shù)據(jù)采集設備的采 集數(shù)據(jù)，并在接收完成之后將該時間窗的數(shù)據(jù)集作為輸入數(shù)據(jù)流發(fā)送到流式計算系統(tǒng)中； [0009] 3)流式計算系統(tǒng)將采集數(shù)據(jù)按照設備類型分別發(fā)送到不同的處理組件中；
[0010] 4)在每個處理組件中分別計算各個設備類型的交通狀態(tài)，并將計算好的交通狀態(tài) 結果統(tǒng)一發(fā)送到動態(tài)優(yōu)化組件；
[0011] 5)動態(tài)優(yōu)化組件接收處理組件的交通狀態(tài)結果，對接收到的多個結果進行融合計 算，并輸出最終的路段交通狀態(tài)結果，過程如下：
[0012] 5. 1)動態(tài)優(yōu)化組件以設定的平滑時間窗STW為單位分析路段交通狀態(tài)，將一天劃 分為SN個時間窗，
[0013]SN=D/STW,
[0014] 其中，D為一天的總時間；
[0015] 5. 2)在動態(tài)優(yōu)化組件中設置一個包含有M個數(shù)據(jù)槽的平滑計算隊列SCQ，將當前 數(shù)據(jù)槽位置匕初始化為1 ;
[0016] 5. 3)動態(tài)優(yōu)化組件以UTW為單位接收上游處理組件的結果數(shù)據(jù)，將接收到的數(shù)據(jù) 存放到SCQ的匕位置對應的數(shù)據(jù)槽中；
[0017] 5. 4)對Ps位置對應的數(shù)據(jù)槽中的狀態(tài)數(shù)據(jù)進行融合計算并輸出最終的路段交通 狀態(tài)結果；
[0018] 5. 5)比較P#M的大小，如果有Ps<M，則將P5加1;如果有Ps=M，則將隊列SCQ 中所有數(shù)據(jù)清空，并將Ps設置為1 ;
[0019]5. 6)返回步驟3)，等待接收新的結果數(shù)據(jù)。
[0020] 進一步，所述步驟1)中，調(diào)節(jié)時間窗ATW與平滑時間窗STW為UTW的倍數(shù)，即有
[0021] ATff=NXUTff,
[0022] STff=MXUTff,
[0023]其中，M，NG[2, 100]，M、N為整數(shù)。
[0024] 再進一步，所述步驟2)中，各個交通數(shù)據(jù)采集設備的采集數(shù)據(jù)中包含采集時間參 數(shù)，一個UTW中接收到的所有采集數(shù)據(jù)按照數(shù)據(jù)的采集時間順序排序依次發(fā)送到流式計算 系統(tǒng)中。
[0025] 更進一步，所述步驟4)中，每種設備類型處理組件中計算交通狀態(tài)的步驟為：
[0026] 4. 1)在處理組件中設置一個包含有N個數(shù)據(jù)槽的計算隊列CQ，每一個數(shù)據(jù)槽保存 一個UTW中所有的采集數(shù)據(jù)；
[0027] 4. 2)將當前數(shù)據(jù)槽位置始化為1;
[0028] 4. 3)在接收到一個新的UTW的數(shù)據(jù)集之后，移除CQ中P1^應位置的數(shù)據(jù)槽中的 數(shù)據(jù)，并將接收到的新數(shù)據(jù)集存入該數(shù)據(jù)槽；
[0029] 4. 4)對CQ中所有數(shù)據(jù)進行匯總計算，將計算得出的交通狀態(tài)結果與有效數(shù)據(jù)統(tǒng) 計結果發(fā)送到動態(tài)優(yōu)化組件；
[0030] 4. 5)根據(jù)下式重新計算PR:
[0031]Pr*=(PR+l) %N,
[0032]Pr=Pr*,
[0033] 其中，" ％ "表示取余計算；
[0034] 返回步驟3)，等待接收新的數(shù)據(jù)集。
[0035] 所述步驟4. 4)中，對隊列CQ中所有數(shù)據(jù)進行匯總計算的步驟為：
[0036] 4. 4. 1)將Pr對應的數(shù)據(jù)槽中數(shù)據(jù)集的最后一個采集數(shù)據(jù)的采集時間確定為匯總 計算截止時間t+;
[0037] 4. 4. 2)按照PR+1，PR+2, . . .，N，1，2,...，匕的順序依次遍歷CQ中相應的數(shù)據(jù)槽，比 較該數(shù)據(jù)槽中的最后一個采集數(shù)據(jù)的采集時間燈與t+的大小，如果有t+_ATW，則移除 該數(shù)據(jù)槽中的數(shù)據(jù)；
[0038] 4. 4. 3)對CQ中剩下的所有數(shù)據(jù)進行匯總計算，得出一個交通狀態(tài)結果與一個有 效數(shù)據(jù)統(tǒng)計結果。
[0039] 所述步驟4. 4)中，對隊列CQ中所有數(shù)據(jù)進行匯總計算的步驟為：
[0040] 4. 4. 1)將Pr對應的數(shù)據(jù)槽中數(shù)據(jù)集的最后一個采集數(shù)據(jù)的采集時間確定為匯總 計算截止時間t+;
[0041] 4. 4. 2)按照PR+1，PR+2,. . .，N，1，2,...，匕的順序依次遍歷CQ中相應的數(shù)據(jù)槽，比 較該數(shù)據(jù)槽中的最后一個采集數(shù)據(jù)的采集時間燈與t+的大小，如果有t+-ATW，則移除 該數(shù)據(jù)槽中的數(shù)據(jù)；
[0042] 4. 4. 3)對CQ中剩下的所有數(shù)據(jù)進行匯總計算，得出一個交通狀態(tài)結果與一個有 效數(shù)據(jù)統(tǒng)計結果。
[0043] 6、如權利要求1或2所述的基于流式計算與時間窗動態(tài)優(yōu)化的多源交通狀態(tài)判別 方法，其特征在于：所述步驟5. 4)中，融合計算的過程為：
[0044] 5. 4. 1)根據(jù)各個交通數(shù)據(jù)采集設備的歷史數(shù)據(jù)計算確定每個采集設備的歷史置 信度
[0045] 5. 4. 2)依次計算SCQ中Ps位置對應的數(shù)據(jù)槽中各個設備結果數(shù)據(jù)的優(yōu)先級，優(yōu)先 級計算公式為
[0048]其中，Xk為第k個設備數(shù)據(jù)的優(yōu)先級；
[0049] y Qi為第k個設備的歷史置信度；
[0050] nk為第k個設備的有效數(shù)據(jù)統(tǒng)計結果；
[0051] tnk為第k個設備的理論數(shù)據(jù)統(tǒng)計結果；
[0052]Sk為第k個設備的狀態(tài)結果；
[0053] 互為數(shù)據(jù)槽中所有設備結果數(shù)據(jù)的統(tǒng)計均值結果；
[0054]P為數(shù)據(jù)槽中設備結果數(shù)據(jù)個數(shù)；
[0055] 5. 4. 3)選取優(yōu)先級最高的設備狀態(tài)結果作為最終的路段交通狀態(tài)結果。
[0056] 本發(fā)明的技術構思為：本發(fā)明充分利用了流式計算系統(tǒng)的實時性特點，構造了基 于多元時間窗動態(tài)更新的狀態(tài)優(yōu)化計算應用，實現(xiàn)了多源異構采集數(shù)據(jù)場景下交通狀態(tài)的 實時更新服務，通過適當調(diào)節(jié)時間窗口ATW、STW與UTW的大小，本發(fā)明可以實現(xiàn)任意時間維 度與有效結果精度的動態(tài)交通狀態(tài)優(yōu)化，可擴展性好，結果有效性高。
[0057] 本發(fā)明的有益效果主要表現(xiàn)在：有效適用于多源交通數(shù)據(jù)采集的場合、滿足海量 數(shù)據(jù)的處理要求。
【附圖說明】
[0058] 圖1為本發(fā)明實施例的流程圖。
[0059] 圖2為本發(fā)明實施例的邏輯結構圖。
[0060] 圖3為本發(fā)明實施例數(shù)據(jù)采集系統(tǒng)采集數(shù)據(jù)示意圖。
[0061] 圖4為本發(fā)明實施例處理組件時間窗處理模式示意圖。
[0062] 圖5為本發(fā)明實施例處理組件計算隊列示意圖。
[0063] 圖6為本發(fā)明實施例動態(tài)優(yōu)化組件時間窗處理模式示意圖。
[0064] 圖7為本發(fā)明實施例動態(tài)優(yōu)化組件計算隊列示意圖。
【具體實施方式】
[0065] 下面結合附圖對本發(fā)明作進一步描述。
[0066] 參照圖1~圖7,一種一種基于流式計算與時間窗動態(tài)優(yōu)化的多源交通狀態(tài)判別 方法，包括以下步驟：
[0067] 1)，設定多源交通狀態(tài)動態(tài)優(yōu)化的單元時間窗UTW=lmin，設定N= 5,M= 3,即 有調(diào)節(jié)時間窗ATW= 5XUTW= 5min，平滑時間窗STW= 3XUTW= 3min。
[0068] 2)，如圖2所示，本發(fā)明實施例由數(shù)據(jù)采集系統(tǒng)與流式計算系統(tǒng)構成。其中，數(shù)據(jù) 采集系統(tǒng)部分負責接收所有實際數(shù)據(jù)采集設備傳輸?shù)牟杉瘮?shù)據(jù)。設定數(shù)據(jù)采集系統(tǒng)中有微 波、線圈、地磁、視頻4種采集設備類型，即有m= 4,則流式計算系統(tǒng)中也相應會有4個處理 組件。
[0069] 如圖3所示，數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)接收模塊中包含有若干個采集設備數(shù)據(jù)集，對 應于不同的采集設備。數(shù)據(jù)接收模塊以設定的單元時間窗UTW(Imin)為單位滾動接收數(shù) 據(jù)，將不同設備的數(shù)據(jù)存放到不同的數(shù)據(jù)集中。也就是說，數(shù)據(jù)接收模塊不停地接收采集數(shù) 據(jù)，每隔Imin的時間窗的時間，將接收到的該時間窗內(nèi)數(shù)據(jù)集中的所有數(shù)據(jù)作為輸入數(shù)據(jù) 流發(fā)送到流式計算系統(tǒng)中，并在采集數(shù)據(jù)發(fā)送完成之后發(fā)送一個結束標識數(shù)據(jù)，同時清空 數(shù)據(jù)集。各個交通數(shù)據(jù)采集設備的采集數(shù)據(jù)中包含采集時間參數(shù)與采集設備類型標識，數(shù) 據(jù)接收模塊在發(fā)送數(shù)據(jù)時以數(shù)據(jù)采集時間的先后順序依次將數(shù)據(jù)發(fā)送到流式計算系統(tǒng)中。
[0070] 3)，流式計算系統(tǒng)的數(shù)據(jù)源組件不間斷地接受采集數(shù)據(jù)，并根據(jù)數(shù)據(jù)中的采集設 備類型標識將接收到的采集數(shù)據(jù)按照設備類型分別發(fā)送到不同的處理組件中。由于上游數(shù) 據(jù)接收模塊發(fā)送數(shù)據(jù)的有序性，這里數(shù)據(jù)源組件向下游