海量數(shù)據(jù)管理方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及航天器自動(dòng)化測(cè)試技術(shù)領(lǐng)域，更具體地，涉及一種利用哈希(HASH)算法進(jìn)行海量測(cè)試數(shù)據(jù)管理、存儲(chǔ)的方法和設(shè)備。本發(fā)明尤其適用于通信衛(wèi)星、載人航天器、導(dǎo)航衛(wèi)星、遙感衛(wèi)星等航天器綜合測(cè)試實(shí)施系統(tǒng)中海量測(cè)試數(shù)據(jù)存儲(chǔ)管理應(yīng)用領(lǐng)域。
【背景技術(shù)】
[0002]數(shù)據(jù)存儲(chǔ)軟件是衛(wèi)星綜合測(cè)試實(shí)施系統(tǒng)中的一個(gè)重要軟件，測(cè)試數(shù)據(jù)管理和存儲(chǔ)是其重要功能。目前，基于早期衛(wèi)星平臺(tái)開(kāi)發(fā)的數(shù)據(jù)存儲(chǔ)軟件，所有測(cè)試信息以隊(duì)列的形式存放在緩沖區(qū)，所有數(shù)據(jù)根據(jù)到達(dá)的先后順序來(lái)進(jìn)行數(shù)據(jù)庫(kù)讀寫操作。數(shù)據(jù)存儲(chǔ)軟件這種測(cè)試數(shù)據(jù)管理形式是一種最簡(jiǎn)單的方法，實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)軟件運(yùn)行狀態(tài)、測(cè)試數(shù)據(jù)管理服務(wù)、測(cè)試數(shù)據(jù)存儲(chǔ)服務(wù)的功能。由于早期衛(wèi)星平臺(tái)較為簡(jiǎn)單，測(cè)試系統(tǒng)較為單一，測(cè)試設(shè)備數(shù)據(jù)沒(méi)有進(jìn)行統(tǒng)一管理，整星測(cè)試過(guò)程中產(chǎn)生的測(cè)試數(shù)據(jù)較少，這種測(cè)試數(shù)據(jù)管理形式對(duì)綜合測(cè)試影響不明顯。隨著大容量平臺(tái)、新型平臺(tái)衛(wèi)星的研制，地面測(cè)試設(shè)備種類趨向復(fù)雜，以及新測(cè)試系統(tǒng)的應(yīng)用使得測(cè)試過(guò)程中需統(tǒng)一管理的數(shù)據(jù)大大增加，導(dǎo)致衛(wèi)星綜合測(cè)試過(guò)程中產(chǎn)生的數(shù)據(jù)成量級(jí)的增長(zhǎng)，特別是測(cè)試過(guò)程中地面測(cè)試設(shè)備的數(shù)據(jù)越來(lái)越多，設(shè)備監(jiān)控?cái)?shù)據(jù)也越來(lái)越全面。另一方面，衛(wèi)星測(cè)試對(duì)綜合測(cè)試實(shí)施系統(tǒng)的響應(yīng)速度要求較高，要求測(cè)試數(shù)據(jù)的精度要達(dá)到毫秒級(jí)，同時(shí)要求數(shù)據(jù)存儲(chǔ)軟件具備更快的響應(yīng)速度。
[0003]由于網(wǎng)絡(luò)延遲、隊(duì)列堵塞等多種因素，會(huì)導(dǎo)致某些測(cè)試信息到達(dá)順序不能嚴(yán)格按照時(shí)間戳的順序，而數(shù)據(jù)庫(kù)中存儲(chǔ)的測(cè)試信息是以時(shí)間為主鍵，因此會(huì)導(dǎo)致測(cè)試信息存儲(chǔ)不完整。因此，數(shù)據(jù)存儲(chǔ)軟件這種測(cè)試數(shù)據(jù)管理方式已不大適合有高精度要求的綜合測(cè)試系統(tǒng)。
[0004]HASH算法被廣泛的應(yīng)用于計(jì)算機(jī)技術(shù)的各個(gè)方面。計(jì)算機(jī)應(yīng)用中由屈志毅等編寫的《一種基于信息分散算法的分布式數(shù)據(jù)存儲(chǔ)方案》提出了分布式系統(tǒng)中一種數(shù)據(jù)存儲(chǔ)方案，在數(shù)據(jù)寫入過(guò)程中通過(guò)構(gòu)造編碼后數(shù)據(jù)分塊的HASH值進(jìn)行級(jí)連，以實(shí)現(xiàn)數(shù)據(jù)的完整性保護(hù)。井網(wǎng)山師范學(xué)院學(xué)報(bào)(自然科學(xué))中由孫凌宇等編寫的《一種基于多哈希表的堆式動(dòng)態(tài)存儲(chǔ)管理方法》提出了一種基于多哈希表的堆式動(dòng)態(tài)存儲(chǔ)管理方法，其基本思想是利用哈希表的快速查找優(yōu)點(diǎn)，通過(guò)查找以空閑塊大小為關(guān)鍵字的哈希表實(shí)現(xiàn)最佳擬合法的分配策略，并通過(guò)查找以空閑塊頭地址及尾地址為關(guān)鍵字的雙哈希表，最終高效率地實(shí)現(xiàn)堆式動(dòng)態(tài)存儲(chǔ)管理。微電子學(xué)與計(jì)算機(jī)中由趙大勇等編寫的《基于改進(jìn)主動(dòng)哈希的URL存儲(chǔ)和查找算法》提出了一種基于改進(jìn)主動(dòng)哈希的統(tǒng)一資源定位符(也被稱為網(wǎng)頁(yè)地址，UniformResource Locator，以下簡(jiǎn)稱為URL)存儲(chǔ)和查找算法。徐青持有的CN101706719A號(hào)專利公開(kāi)了一種基于HASH映射的綜合管網(wǎng)三維可視化資源管理方法。郭健持有的CN101419571號(hào)專利公開(kāi)了一種基于HASH算法的在NOR FLASH中存儲(chǔ)配置參數(shù)的方法，采用HASH鏈表用于表示配置參數(shù)分區(qū)數(shù)據(jù)與內(nèi)存數(shù)據(jù)之間的映射關(guān)系。邁普(四川)通信技術(shù)有限公司持有的CN101350010號(hào)專利公開(kāi)了一種主從式并行多核處理器系統(tǒng)下哈希表操作的方法，提供一種在主從式多核處理器系統(tǒng)中，能夠高效地對(duì)HASH表進(jìn)行創(chuàng)建、插入等操作，并使HASH表的上述操作不影響HASH表查找性能的HASH表的操作方法。
[0005]因此，急需一種方案，能夠采用HASH表的形式對(duì)衛(wèi)星綜合測(cè)試數(shù)據(jù)進(jìn)行管理，實(shí)現(xiàn)所有收到的測(cè)試數(shù)據(jù)HASH表的建立、檢索和更新，進(jìn)而實(shí)現(xiàn)測(cè)試數(shù)據(jù)快速精確的存儲(chǔ)到數(shù)據(jù)庫(kù)中。

【發(fā)明內(nèi)容】

[0006]在本發(fā)明中，采用HASH表的形式對(duì)衛(wèi)星綜合測(cè)試數(shù)據(jù)進(jìn)行管理，實(shí)現(xiàn)所有收到的測(cè)試數(shù)據(jù)HASH表的建立、檢索和更新，進(jìn)而實(shí)現(xiàn)測(cè)試數(shù)據(jù)快速精確的存儲(chǔ)到數(shù)據(jù)庫(kù)中，克服原有軟件測(cè)試數(shù)據(jù)存儲(chǔ)不完整的缺點(diǎn)。
[0007]本發(fā)明的一個(gè)方面提供了一種海量數(shù)據(jù)管理方法，包括以下步驟:在數(shù)據(jù)存儲(chǔ)軟件啟動(dòng)之后，開(kāi)啟監(jiān)聽(tīng)端口來(lái)監(jiān)聽(tīng)是否接收到衛(wèi)星測(cè)試數(shù)據(jù)；在內(nèi)存中設(shè)定一個(gè)數(shù)據(jù)緩存區(qū)，作為衛(wèi)星測(cè)試數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)；以及在數(shù)據(jù)存儲(chǔ)區(qū)中，以時(shí)間為關(guān)鍵字，按照哈希表算法，建立對(duì)應(yīng)于衛(wèi)星測(cè)試數(shù)據(jù)中的每種數(shù)據(jù)類型的哈希表。
[0008]優(yōu)選地，衛(wèi)星測(cè)試數(shù)據(jù)作為在衛(wèi)星綜合測(cè)試系統(tǒng)的運(yùn)行過(guò)程中的各種數(shù)據(jù)，并且衛(wèi)星測(cè)試數(shù)據(jù)的數(shù)據(jù)類型至少包括:遙測(cè)參數(shù)值DATE、遙測(cè)原始幀DATF、設(shè)備采集數(shù)據(jù)DATS和測(cè)試信息MESG。
[0009]可選地，在接收到衛(wèi)星測(cè)試數(shù)據(jù)后，本發(fā)明的方法還包括:判斷衛(wèi)星測(cè)試數(shù)據(jù)的數(shù)據(jù)類型；以及確定在對(duì)應(yīng)數(shù)據(jù)類型的哈希表中是否已經(jīng)存儲(chǔ)了關(guān)于數(shù)據(jù)類型的時(shí)間。
[0010]如果哈希表中沒(méi)有存儲(chǔ)關(guān)于數(shù)據(jù)類型的時(shí)間，則將衛(wèi)星測(cè)試數(shù)據(jù)存儲(chǔ)到哈希表中，然后存儲(chǔ)到作為數(shù)據(jù)最后歸檔地的綜合測(cè)試數(shù)據(jù)庫(kù)中，而如果哈希表中已經(jīng)存儲(chǔ)關(guān)于數(shù)據(jù)類型的時(shí)間，則將與時(shí)間的時(shí)間鍵對(duì)應(yīng)的值累加一，并將衛(wèi)星測(cè)試數(shù)據(jù)存儲(chǔ)到作為數(shù)據(jù)最后歸檔地的綜合測(cè)試數(shù)據(jù)庫(kù)中。
[0011]可選地，在本發(fā)明中，哈希表算法在將衛(wèi)星測(cè)試數(shù)據(jù)存儲(chǔ)到哈希表的同時(shí)，判斷哈希表中存儲(chǔ)衛(wèi)星測(cè)試數(shù)據(jù)的時(shí)間跨度，如果時(shí)間跨度大于第一預(yù)置時(shí)間，則衛(wèi)星綜合測(cè)試系統(tǒng)將清除在哈希表中第二預(yù)置時(shí)間內(nèi)的數(shù)據(jù)，從而使哈希表在一個(gè)可控范圍內(nèi)增長(zhǎng)。
[0012]優(yōu)選地，第一預(yù)置時(shí)間大于第二預(yù)置時(shí)間，并且第一預(yù)置時(shí)間為2小時(shí)以及第二預(yù)置時(shí)間為1.5小時(shí)。
[0013]在本發(fā)明中，通過(guò)數(shù)據(jù)存儲(chǔ)軟件的測(cè)試數(shù)據(jù)管理服務(wù)模塊，根據(jù)所接收的衛(wèi)星測(cè)試數(shù)據(jù)，動(dòng)態(tài)地更新哈希表中關(guān)于衛(wèi)星測(cè)試數(shù)據(jù)的數(shù)據(jù)信息。通過(guò)數(shù)據(jù)存儲(chǔ)軟件的測(cè)試數(shù)據(jù)存儲(chǔ)服務(wù)模塊，根據(jù)所接收的數(shù)據(jù)信息，存儲(chǔ)與數(shù)據(jù)信息對(duì)應(yīng)的衛(wèi)星測(cè)試數(shù)據(jù)。
[0014]本發(fā)明的另一個(gè)方面提供了一種海量數(shù)據(jù)管理設(shè)備，包括:端口開(kāi)啟模塊，用于在數(shù)據(jù)存儲(chǔ)軟件啟動(dòng)之后，開(kāi)啟監(jiān)聽(tīng)端口來(lái)監(jiān)聽(tīng)是否接收到衛(wèi)星測(cè)試數(shù)據(jù)；緩存區(qū)設(shè)置模塊，用于在內(nèi)存中設(shè)定一個(gè)數(shù)據(jù)緩存區(qū)作為衛(wèi)星測(cè)試數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)；哈希表建立模塊，用于在數(shù)據(jù)存儲(chǔ)區(qū)中，以時(shí)間為關(guān)鍵字、按照哈希表算法建立對(duì)應(yīng)于衛(wèi)星測(cè)試數(shù)據(jù)中的每種數(shù)據(jù)類型的哈希表；測(cè)試數(shù)據(jù)管理服務(wù)模塊，用于根據(jù)所接收的衛(wèi)星測(cè)試數(shù)據(jù)，動(dòng)態(tài)地更新哈希表中關(guān)于衛(wèi)星測(cè)試數(shù)據(jù)的數(shù)據(jù)信息；以及測(cè)試數(shù)據(jù)存儲(chǔ)服務(wù)模塊，用于根據(jù)所接收的數(shù)據(jù)信息，存儲(chǔ)與數(shù)據(jù)信息對(duì)應(yīng)的衛(wèi)星測(cè)試數(shù)據(jù)。
[0015]因此，通過(guò)本發(fā)明可以實(shí)現(xiàn)以下優(yōu)點(diǎn):
[0016]一、采用HASH算法進(jìn)行測(cè)試數(shù)據(jù)管理，優(yōu)化了數(shù)據(jù)存儲(chǔ)軟件中測(cè)試數(shù)據(jù)管理方面的設(shè)計(jì)，提高了測(cè)試數(shù)據(jù)的存儲(chǔ)精度；
[0017]二、使得測(cè)試數(shù)據(jù)的傳輸不用嚴(yán)格按照時(shí)間順序進(jìn)行傳輸，不受數(shù)據(jù)包亂序的影響，使得測(cè)試系統(tǒng)更加靈活可變；以及
[0018]三、采用HASH算法進(jìn)行測(cè)試數(shù)據(jù)管理，使數(shù)據(jù)庫(kù)中存儲(chǔ)的測(cè)試數(shù)據(jù)信息更完備、更精確，為后續(xù)測(cè)試數(shù)據(jù)結(jié)果評(píng)價(jià)工作提高了效率，也為自動(dòng)化結(jié)果評(píng)價(jià)技術(shù)的發(fā)展做出
-Tj.士 [>貝獻(xiàn)。
【附圖說(shuō)明】
[0019]圖1是根據(jù)本發(fā)明的數(shù)據(jù)存儲(chǔ)軟件測(cè)試數(shù)據(jù)管理方法的工作原理流程圖；
[0020]圖2是根據(jù)本發(fā)明【具體實(shí)施方式】的數(shù)據(jù)存儲(chǔ)軟件的工作流程圖；以及
[0021]圖3是根據(jù)本發(fā)明的海量數(shù)據(jù)管理設(shè)備的框圖。
【具體實(shí)施方式】
[0022]下面結(jié)合附圖及【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
[0023]應(yīng)了解，數(shù)據(jù)存儲(chǔ)軟件中測(cè)試數(shù)據(jù)管理方法涉及衛(wèi)星測(cè)試數(shù)據(jù)、數(shù)據(jù)存儲(chǔ)軟件運(yùn)行狀態(tài)、綜合測(cè)試數(shù)據(jù)數(shù)據(jù)庫(kù)、測(cè)試數(shù)據(jù)管理服務(wù)、測(cè)試數(shù)據(jù)存儲(chǔ)服務(wù)。衛(wèi)星測(cè)試數(shù)據(jù)為衛(wèi)星綜合測(cè)試過(guò)程中所有數(shù)據(jù)，測(cè)試數(shù)據(jù)類型包括遙測(cè)參數(shù)值DATE，遙測(cè)原始幀DATF，設(shè)備采集數(shù)據(jù)DATS，測(cè)試信息MESG等。數(shù)據(jù)存儲(chǔ)軟件運(yùn)行狀態(tài)是指在軟件啟動(dòng)時(shí)開(kāi)啟用于監(jiān)聽(tīng)是否接收到測(cè)試數(shù)據(jù)的監(jiān)聽(tīng)端口，以及開(kāi)辟出的一塊用于臨時(shí)存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)緩存區(qū)。綜合測(cè)試數(shù)據(jù)數(shù)據(jù)庫(kù)是指所有測(cè)試數(shù)據(jù)最終歸檔的地方。測(cè)試數(shù)據(jù)管理服務(wù)根據(jù)衛(wèi)星綜合測(cè)試數(shù)據(jù)動(dòng)態(tài)更新測(cè)試數(shù)據(jù)HASH表中的數(shù)據(jù)信