两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

數(shù)據(jù)采集方法和裝置與流程

文檔序號:12131692閱讀:346來源:國知局
數(shù)據(jù)采集方法和裝置與流程
本申請涉及數(shù)據(jù)處理領(lǐng)域,具體而言,涉及一種數(shù)據(jù)采集方法和裝置。
背景技術(shù)
:在數(shù)據(jù)采集系統(tǒng)中,對于數(shù)據(jù)源范圍特別大無法采集全量數(shù)據(jù)或者數(shù)據(jù)處理能力達不到處理全量數(shù)據(jù)的要求時會對數(shù)據(jù)源進行采樣。采樣率根據(jù)實際需求設(shè)定,且可能會發(fā)生變動,例如,在對湖南衛(wèi)視的視頻數(shù)據(jù)進行采集時,在播放“爸爸去哪兒”等節(jié)目時,數(shù)據(jù)量可能會較平時有大量增長,此時如果按照原來的采樣率可能會出現(xiàn)數(shù)據(jù)量過大超出網(wǎng)絡(luò)流量限制或數(shù)據(jù)處理能力無法應(yīng)對過大的數(shù)據(jù)量等問題。在現(xiàn)有的數(shù)據(jù)采集系統(tǒng)中,一般是在數(shù)據(jù)采集軟件開發(fā)工具包(SoftwareDevelopmentKit,簡稱為SDK)內(nèi)部提供數(shù)據(jù)采樣率接口,SDK使用者將SDK嵌入產(chǎn)品(例如,網(wǎng)站,應(yīng)用程序等)代碼中,并按照需求為采樣率接口設(shè)置指定值,產(chǎn)品上線后,通過采樣算法采集在采樣范圍內(nèi)的數(shù)據(jù)源數(shù)據(jù)。如果用戶需要調(diào)整采樣范圍,則需要重新為SDK采樣率接口賦值,并發(fā)布上線新版產(chǎn)品。對于產(chǎn)品的終端用戶(即通過終端訪問網(wǎng)站或應(yīng)用程序的用戶)來說,是否更新產(chǎn)品版本及更新時間通常是不確定的,因此這種方式存在響應(yīng)時間長,調(diào)整的采用率無法及時生效等問題。針對相關(guān)技術(shù)中數(shù)據(jù)采集時采樣率改變生效慢的問題,目前尚未提出有效的解決方案。技術(shù)實現(xiàn)要素:本申請的主要目的在于提供一種數(shù)據(jù)采集方法和裝置,以解決相關(guān)技術(shù)中數(shù)據(jù)采集時采樣率改變生效慢的問題。為了實現(xiàn)上述目的,根據(jù)本申請的一個方面,提供了一種數(shù)據(jù)采集方法。根據(jù)本申請的數(shù)據(jù)采集方法包括:檢測終端是否執(zhí)行網(wǎng)絡(luò)訪問;在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率;根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集;以及在根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集。進一步地,在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置上獲取目標(biāo)數(shù)據(jù)采 集系統(tǒng)的采樣率包括:獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;判斷是否成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;以及在判斷出成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件時,從目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。進一步地,在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置上獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率包括:從采樣率配置裝置中讀取采樣率配置文件;判斷是否成功從采樣率配置裝置中讀取采樣率配置文件;在判斷出成功從采樣率配置裝置中讀取采樣率配置文件時,獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;以及根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。進一步地,在判斷出未能成功讀取采樣率配置文件時,該方法還包括:從緩存中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。進一步地,在從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率之后,該方法還包括:將目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率進行緩存。進一步地,根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集包括:根據(jù)采樣率確定采樣范圍;判斷終端是否在采樣范圍內(nèi);在判斷出終端在采樣范圍內(nèi)時,則確定需要對終端進行數(shù)據(jù)采集;以及在判斷出終端不在采樣范圍內(nèi)時,則確定不需要對終端進行數(shù)據(jù)采集。進一步地,判斷終端是否在采樣范圍內(nèi)包括:獲取終端的唯一標(biāo)識符;對唯一標(biāo)識符進行散列運算,得到唯一標(biāo)識符的散列值;對唯一標(biāo)識符的散列值進行求余運算,得到唯一標(biāo)識符對應(yīng)的余數(shù);判斷唯一標(biāo)識符對應(yīng)的余數(shù)是否在采樣范圍內(nèi);如果唯一標(biāo)識符對應(yīng)的余數(shù)在采樣范圍內(nèi),則確定終端在采樣范圍內(nèi);以及如果唯一標(biāo)識符對應(yīng)的余數(shù)不在采樣范圍內(nèi),則確定終端不在采樣范圍內(nèi)。為了實現(xiàn)上述目的,根據(jù)本申請的另一方面,提供了一種數(shù)據(jù)采集裝置。根據(jù)本申請的數(shù)據(jù)采集裝置包括:檢測單元,用于檢測終端是否執(zhí)行網(wǎng)絡(luò)訪問;第一獲取單元,用于在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率;第一判斷單元,用于根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集;以及采集單元,用于在根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集。進一步地,第一獲取單元包括:第一獲取模塊,用于獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;第一讀取模塊,用于根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置裝置中讀取目標(biāo) 數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;第一判斷模塊,用于判斷是否成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;以及第二獲取模塊,用于在判斷出成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件時,從目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。進一步地,第一獲取單元包括:第二讀取模塊,用于從采樣率配置裝置中讀取采樣率配置文件;第二判斷模塊,用于判斷是否成功從采樣率配置裝置中讀取采樣率配置文件;第三獲取模塊,用于在判斷出成功從采樣率配置裝置中讀取采樣率配置文件時,獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;以及第四獲取模塊,用于根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。通過本申請,采用檢測終端是否執(zhí)行網(wǎng)絡(luò)訪問;在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率;根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集;以及在根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集,解決了相關(guān)技術(shù)中數(shù)據(jù)采集時采樣率改變生效慢的問題,進而達到了快速響應(yīng)采樣率的改變的效果。附圖說明構(gòu)成本申請的一部分的附圖用來提供對本申請的進一步理解,本申請的示意性實施例及其說明用于解釋本申請,并不構(gòu)成對本申請的不當(dāng)限定。在附圖中:圖1是根據(jù)本申請第一實施例的數(shù)據(jù)采集方法的流程圖;圖2是根據(jù)本申請第二實施例的數(shù)據(jù)采集方法的流程圖;以及圖3是根據(jù)本申請實施例的數(shù)據(jù)采集裝置的示意圖。具體實施方式需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本申請。為了使本
技術(shù)領(lǐng)域
的人員更好地理解本申請方案,下面將結(jié)合本申請實施例中的附圖,對本申請實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本申請一部分的實施例,而不是全部的實施例。基于本申請中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都應(yīng)當(dāng)屬于本申請保護的范圍。需要說明的是,本申請的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的本申請的實施例。此外,術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。為了便于描述和理解,首先說明幾個概念:數(shù)據(jù)采集系統(tǒng),是一種將數(shù)據(jù)采集軟件開發(fā)工具包(SoftwareDevelopmentKit,簡稱為SDK)嵌入網(wǎng)頁頁面或應(yīng)用程序(俗稱App)等數(shù)據(jù)源中,獲取指定數(shù)據(jù)并發(fā)送至指定服務(wù)器的系統(tǒng)。調(diào)整數(shù)據(jù)源范圍,是指通過控制數(shù)據(jù)采樣,獲取采樣范圍內(nèi)的數(shù)據(jù)源數(shù)據(jù),而非全量數(shù)據(jù)的一種方法。根據(jù)本申請實施例,提供了一種數(shù)據(jù)采集方法。圖1是根據(jù)本申請第一實施例的數(shù)據(jù)采集方法的流程圖,如圖1所示,該方法包括如下的步驟S102至步驟S108:步驟S102:檢測終端是否執(zhí)行網(wǎng)絡(luò)訪問。本申請實施例的終端可以是電腦、平板電腦、手機等,網(wǎng)絡(luò)訪問是指用戶通過終端訪問網(wǎng)頁、應(yīng)用程序等,例如,用戶通過移動終端在線觀看“中國好聲音”節(jié)目視頻。步驟S104:在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率。當(dāng)終端執(zhí)行網(wǎng)絡(luò)訪問時,例如,打開某個APP或網(wǎng)頁,APP或網(wǎng)頁中的數(shù)據(jù)采集系統(tǒng)啟動,首先獲取該數(shù)據(jù)采集系統(tǒng)(即目標(biāo)數(shù)據(jù)采集系統(tǒng))的采樣率。本申請實施例從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率。具體地,采樣率配置裝置可以是在特定服務(wù)器上創(chuàng)建采樣率配置的站點,其中,站點與數(shù)據(jù)采集系統(tǒng)對應(yīng),在該站點的目錄下創(chuàng)建采樣率配置文件samplerate.config,配置文件可以采用可擴展標(biāo)記語言(extensiblemarkuplanguage,簡稱為xml)格式,例如,某個站點的配置格式如下:<accountid=‘a(chǎn)ccounted’><samplerate>0.5</samplerate></account>如上所示,標(biāo)識為accounted的站點的采樣率設(shè)置為0.5,則該站點對應(yīng)的數(shù)據(jù)采集系統(tǒng)的采樣率即為0.5。優(yōu)選地,在采樣率配置裝置中可以設(shè)置多個站點,并分別為每個站點設(shè)置采樣率,其中,不同站點可以對應(yīng)于不同的數(shù)據(jù)采集系統(tǒng)。需要說明的是,上述采樣率配置方式只是一種可選的方式,并不構(gòu)成對本申請實施例的采樣率配置的限制。優(yōu)選地,在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置上獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率包括:獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;判斷是否成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;以及在判斷出成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件時,從目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。本申請實施例在采樣率配置裝置中為不同的數(shù)據(jù)采集系統(tǒng)分別設(shè)置不同的采樣率配置文件,并為每個數(shù)據(jù)采集系統(tǒng)分配不同的標(biāo)識,根據(jù)每個數(shù)據(jù)采集系統(tǒng)的標(biāo)識即可查找到其對應(yīng)的采樣率配置文件,并可以從其采樣率配置文件中獲取采樣率。具體地,在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,本申請實施例根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識獲取該目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件,從而進一步從該目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件中讀取其采樣率。優(yōu)選地,在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置上獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率包括:從采樣率配置裝置中讀取采樣率配置文件;判斷是否成功從采樣率配置裝置中讀取采樣率配置文件;在判斷出成功從采樣率配置裝置中讀取采樣率配置文件時,獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;以及根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。本申請實施例將不同數(shù)據(jù)采集系統(tǒng)的采樣率配置在同一個采樣率配置文件中,并為每個數(shù)據(jù)采集系統(tǒng)分配不同的標(biāo)識,根據(jù)每個數(shù)據(jù)采集系統(tǒng)的標(biāo)識從同一個采樣率配置文件獲取對應(yīng)的采樣率。具體地,在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,嘗試從采樣率配置裝置中讀取采樣率配置文件,例如,samplerate.config,如果成功讀取到采樣率配置文件,則獲取該目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識,并進一步根據(jù)該目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從該采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。優(yōu)選地,在判斷出未能成功讀取采樣率配置文件時,該方法還包括:從緩存中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。如果讀取采樣率配置文件失敗,則從緩存中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。需 要說明的是,本申請實施例可以在緩存中預(yù)先存儲一個目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,也可以是將前一次從采樣率配置裝置中讀取到的目標(biāo)采集系統(tǒng)的采樣率進行緩存,在未能成功從采樣率配置裝置中讀取采樣率配置文件時,獲取前一次緩存的目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。在未能成功從采樣率配置裝置中讀取采樣率配置文件時,從緩存中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,可以避免數(shù)據(jù)采集系統(tǒng)因缺少采樣率導(dǎo)致數(shù)據(jù)采集失敗或是系統(tǒng)異常等問題。優(yōu)選地,在從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率之后,該方法還包括:將目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率進行緩存。本申請實施例在從采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率之后,對目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率進行緩存,從而可以在下一次從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率失敗時,從緩存中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。此外,通過對目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率進行緩存,在采樣率配置裝置中目標(biāo)采集系統(tǒng)的采樣率未發(fā)生變化時,下一次操作時可以直接從緩存中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,以提高數(shù)據(jù)采集效率。步驟S106:根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集。可選地,根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集包括:根據(jù)采樣率確定采樣范圍;判斷終端是否在采樣范圍內(nèi);在判斷出終端在采樣范圍內(nèi)時,則確定需要對終端進行數(shù)據(jù)采集;以及在判斷出終端不在采樣范圍內(nèi)時,則確定不需要對終端進行數(shù)據(jù)采集。具體地,采樣率和采樣范圍一一對應(yīng),例如,采樣率為0.5,其對應(yīng)的采樣范圍為(0,500),采樣率為0.3,其對應(yīng)的采樣范圍為[0,300]。本申請實施例在根據(jù)采樣率確定采樣范圍之后,判斷終端是否處于采樣范圍內(nèi),其中,如果該終端處于采樣范圍內(nèi),則對該終端進行數(shù)據(jù)采集,例如,采集該終端的行為數(shù)據(jù),否則不對該終端進行數(shù)據(jù)采集。例如,獲取該終端的設(shè)備標(biāo)識ID(即唯一標(biāo)識符),對于PC端一般為介質(zhì)訪問控制層(MediaAccessControl,簡稱為MAC)地址,對于移動端可以是MAC地址、移動設(shè)備國際身份碼(InternationalMobileEquipmentIdentity,簡稱為IMEI)或唯一設(shè)備識別符(UniqueDeviceIdentifier,簡稱為UDID)等,得到一個32位的用戶標(biāo)識guid;將guid作為是一個36進制數(shù),從而將guid轉(zhuǎn)化為一個整數(shù);將該整數(shù)除以1000取余數(shù),得到余數(shù)V1;將采樣率乘以1000也得到一個大于等于0,小于等于1000的閾值數(shù)V2;比較V1和V2大小,如果V1<=V2,則說明該終端落在采樣范圍內(nèi)??蛇x地,判斷終端是否在采樣范圍內(nèi)包括:獲取終端的唯一標(biāo)識符;對唯一標(biāo)識符進行散列運算,得到唯一標(biāo)識符的散列值;對唯一標(biāo)識符的散列值進行求余運算,得到唯一標(biāo)識符對應(yīng)的余數(shù);判斷唯一標(biāo)識符對應(yīng)的余數(shù)是否在采樣范圍內(nèi);如果唯一標(biāo)識符對應(yīng)的余數(shù)在采樣范圍內(nèi),則確定終端在采樣范圍內(nèi);以及如果唯一標(biāo)識符對應(yīng)的余數(shù)不在采樣范圍內(nèi),則確定終端不在采樣范圍內(nèi)。終端的唯一性標(biāo)識可以是該終端的設(shè)備標(biāo)識,如上所述,對于PC端一般為介質(zhì)訪問控制層(MediaAccessControl,簡稱為MAC)地址,對應(yīng)移動端可以是MAC地址、移動設(shè)備國際身份碼(InternationalMobileEquipmentIdentity,簡稱為IMEI)、或唯一設(shè)備識別符(UniqueDeviceIdentifier,簡稱為UDID)等。本申請實施例通過對終端的唯一性標(biāo)識進行散列運算(例如,哈希運算),得到該終端的唯一標(biāo)識符的散列值,并對該散列值進行求余運算,得到唯一標(biāo)識符對應(yīng)的余數(shù),并通過判斷該唯一標(biāo)識符對應(yīng)的余數(shù)是否在采樣范圍內(nèi)來確定是否對該終端進行數(shù)據(jù)采集。步驟S108:在根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集。本申請實施例在判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集,例如,采集該終端的行為數(shù)據(jù)和終端本身的數(shù)據(jù),例如,用戶通過該終端觀看某個視頻,該終端的行為數(shù)據(jù)包括該視頻名稱、播放地址、觸發(fā)時間、觀看時長等,終端本身的數(shù)據(jù)包括終端的型號、類型(移動終端或是PC終端)、所采用的瀏覽器類型等。本申請實施例通過檢測終端是否執(zhí)行網(wǎng)絡(luò)訪問;在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率;根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集;以及在根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集。相比于現(xiàn)有技術(shù)中每次采樣率調(diào)整時需要重新為采樣率接口賦值并更新產(chǎn)品版本,本申請實施例在需要調(diào)整采樣范圍時,只需要調(diào)整采樣率配置裝置上的采樣率的值,通過從采樣率配置裝置中讀取最新的數(shù)據(jù)采集系統(tǒng)的采樣率,操作方便,并能夠快速響應(yīng)變化的采樣率進行數(shù)據(jù)采集,解決了相關(guān)技術(shù)中數(shù)據(jù)采集時采樣率改變生效慢的問題,進而達到了快速響應(yīng)采樣率的改變的效果。需要說明的是,本申請實施例的采樣率配置裝置可以自動更新采樣率配置文件,具體地,可以獲取當(dāng)前時間,例如,采樣率配置裝置當(dāng)前的系統(tǒng)時間,并根據(jù)當(dāng)前時間判斷是否需要更新目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率配置文件,如果判斷出需要更新目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率配置文件,則更新目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率配置文件。具體地,由于在一些時段,例如,12:00-14:00,20:00-22:00等,網(wǎng)頁或是 應(yīng)用程序的訪問量較大,此時為了減少數(shù)據(jù)量,可以降低采樣率;而在另一些時段,例如,00:00-5:00,9:00-11:00等,網(wǎng)頁或是應(yīng)用程序的訪問量較小,此時可以增大采樣率。優(yōu)選地,本申請實施例可以預(yù)先在采樣率配置裝置中設(shè)置一個預(yù)設(shè)時間和采樣率的映射關(guān)系表,如表1所示:表1預(yù)設(shè)時間采樣率00:00-5:590.86:00-8:590.69:00-11:590.712:00-13:590.6……采樣率配置裝置可以實時獲取當(dāng)前的系統(tǒng)時間(即當(dāng)前時間)并與映射關(guān)系表中預(yù)設(shè)時間進行匹配,并通過匹配的預(yù)設(shè)時間對應(yīng)的采樣率更新目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率配置文件。通過上述方式可以實現(xiàn)采樣率配置文件的自動更新,從而可以保證每次獲取到的目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率都為最新的采樣率,從而可以自動且及時地實現(xiàn)目標(biāo)采集系統(tǒng)的采樣率的調(diào)整,以滿足不同時間段對不同采樣率的需求。圖2是根據(jù)本申請第二實施例的數(shù)據(jù)采集方法的流程圖。需要說明的是,本申請實施例通過采樣率配置云平臺(即采樣率配置裝置)配置數(shù)據(jù)采集系統(tǒng)的采樣率,具體地,采樣率配置云平臺可以是在特定服務(wù)器上創(chuàng)建采樣率配置的站點,啟動該站點的文件訪問,其中,站點與數(shù)據(jù)采集系統(tǒng)對應(yīng),在該站點的目錄下創(chuàng)建采樣率配置文件samplerate.config,配置文件可以采用可擴展標(biāo)記語言(extensiblemarkuplanguage,簡稱為xml)格式,例如,某個站點的配置格式如下:<accountid=‘a(chǎn)ccounted’><samplerate>0.5</samplerate></account>如上所示,標(biāo)識為accounted的站點的采樣率設(shè)置為0.5,則該站點對應(yīng)的數(shù)據(jù)采集系統(tǒng)的采樣率即為0.5。本申請實施例可以在數(shù)據(jù)采集SDK中增加從采樣率云配置平臺獲取采樣率信息的模塊,從而可以實時的獲取采樣率云配置平臺上配置的采樣率。用戶通過在產(chǎn)品(例如,網(wǎng)頁,APP等)中嵌入此SDK,終端用戶(例如,手機或PC等終端)在每次啟動產(chǎn)品時會從采樣率云配置平臺上獲取采樣率,并判斷該終端是否在采樣范圍內(nèi),如果在采樣范圍內(nèi)則采集數(shù)據(jù)。具體地,如圖2所示,該方法包括如下步驟:步驟S202:終端執(zhí)行網(wǎng)絡(luò)訪問。即用戶通過終端訪問網(wǎng)頁或是APP等。步驟S204:讀取SDK配置中的標(biāo)識符accountid。標(biāo)識符accountid用于在采樣率配置云平臺中(即采樣率配置裝置)標(biāo)識目標(biāo)數(shù)據(jù)采集系統(tǒng),具體地,在采樣率配置云平臺中,標(biāo)識符accountid與數(shù)據(jù)采集系統(tǒng)一一對應(yīng)。步驟S206:訪問采樣率配置云平臺中samplerate.config配置文件。具體地,amplerate.config配置文件即采樣率配置文件。步驟S208:判斷讀取samplerate.config配置文件是否成功。判斷是否成功讀取采樣率配置云平臺中samplerate.config配置文件,如果成功讀取到采樣率配置云平臺中samplerate.config配置文件,則執(zhí)行步驟S210,否則執(zhí)行步驟S214。步驟S210:按照accountid得到對應(yīng)的采樣率。根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的accountid查找目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率。步驟S212:將采樣率值緩存到本地。在從采樣率配置云平臺中獲取到目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率之后,將該采樣率值緩存到本地,例如,緩存到終端上。步驟S214:讀取本地緩存的采樣率值。在讀取采樣率配置云平臺中samplerate.config配置文件失敗時,則從本地緩存中獲取采樣率值。步驟S216:判斷該終端是否在采樣范圍內(nèi)。再通過上述步驟得到目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率后,判斷該終端是否在采樣范圍 內(nèi)。具體地,判斷該終端是否在采樣率范圍內(nèi)的方法可以包括如下步驟:步驟S1:對于PC端一般為介質(zhì)訪問控制層(MediaAccessControl,簡稱為MAC)地址,對于移動端可以是MAC地址、移動設(shè)備國際身份碼(InternationalMobileEquipmentIdentity,簡稱為IMEI)或唯一設(shè)備識別符(UniqueDeviceIdentifier,簡稱為UDID)等,得到一個32位的用戶標(biāo)識guid。步驟S2:將guid作為是一個36進制數(shù),其中,0~9、a~z分別對應(yīng)于0~35,從而將guid轉(zhuǎn)化為一個整數(shù)。步驟S3:該整數(shù)除以1000取余數(shù),得到余數(shù)V1。步驟S4:將采樣率乘以1000也得到一個大于等于0,小于等于1000的閾值數(shù)V2。步驟S5:比較V1和V2大小,如果V1<=V2,則說明該終端落在采樣范圍內(nèi)。在判斷出該終端在采樣范圍內(nèi)時,則執(zhí)行步驟S218,在判斷出該終端不在采樣范圍內(nèi)時,則執(zhí)行步驟S220。步驟S218:對此終端進行數(shù)據(jù)采集。本申請實施例在判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集,例如,采集該終端的行為數(shù)據(jù)和終端本身的數(shù)據(jù),例如,用戶通過該終端觀看某個視頻,該終端的行為數(shù)據(jù)包括該視頻名稱、播放地址、觸發(fā)時間、觀看時長等,終端本身的數(shù)據(jù)包括終端的型號、類型(移動終端或是PC終端)、所采用的瀏覽器類型等。步驟S220:不采集此終端數(shù)據(jù)。即不對該終端進行數(shù)據(jù)采集。從以上的描述中,可以看出,本申請實現(xiàn)了如下技術(shù)效果:本申請實施例在需要調(diào)整采樣范圍時,只需要調(diào)整采樣率配置裝置(采樣率配置云平臺)中的采樣率的值,產(chǎn)品終端用戶就可以動態(tài)的從采樣率配置裝置獲取最新的采用率,并判斷是否在采樣范圍內(nèi),如果需要定時調(diào)整采樣率,還可以編寫專用腳本,定時更新采樣率配置裝置中對應(yīng)的站點中采樣率的值。采用上述方式,不需要重新發(fā)布或更新產(chǎn)品版本,可以隨時調(diào)整數(shù)據(jù)采樣范圍,降低采樣率改變的復(fù)雜度,使采樣率改變輕松易操作,使采樣率改變后可以快速生效,使得采樣統(tǒng)計結(jié)果準(zhǔn)確、符合預(yù)期,此外,還增加了讀取異常的緩存?zhèn)浞輽C制,防止異常。需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。根據(jù)本申請實施例的另一方面,提供了一種數(shù)據(jù)采集裝置,該數(shù)據(jù)采集裝置可以用于執(zhí)行本申請實施例的數(shù)據(jù)采集方法,本申請實施例的數(shù)據(jù)采集方法也可以通過本申請實施例的數(shù)據(jù)采集裝置來執(zhí)行。圖3是根據(jù)本申請實施例的數(shù)據(jù)采集裝置的示意圖,如圖3所示,該裝置包括:檢測單元10、第一獲取單元20、第一判斷單元30和采集單元40。檢測單元10,用于檢測終端是否執(zhí)行網(wǎng)絡(luò)訪問。本申請實施例的終端可以是電腦、平板電腦、手機等,網(wǎng)絡(luò)訪問是指用戶通過終端訪問網(wǎng)頁、應(yīng)用程序等,例如,用戶通過移動終端在線觀看“中國好聲音”節(jié)目視頻。第一獲取單元20,用于在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率。當(dāng)終端執(zhí)行網(wǎng)絡(luò)訪問時,例如,打開某個APP或網(wǎng)頁,APP或網(wǎng)頁中的數(shù)據(jù)采集系統(tǒng)啟動,首先獲取該數(shù)據(jù)采集系統(tǒng)(即目標(biāo)數(shù)據(jù)采集系統(tǒng))的采樣率。本申請實施例從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率。具體地,采樣率配置裝置可以是在特定服務(wù)器上創(chuàng)建采樣率配置的站點,其中,站點與數(shù)據(jù)采集系統(tǒng)對應(yīng),在該站點的目錄下創(chuàng)建采樣率配置文件samplerate.config,配置文件可以采用可擴展標(biāo)記語言(extensiblemarkuplanguage,簡稱為xml)格式??蛇x地,第一獲取單元20包括:第一獲取模塊,用于獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;第一讀取模塊,用于根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;第一判斷模塊,用于判斷是否成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件;以及第二獲取模塊,用于在判斷出成功從采樣率配置裝置中讀取目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件時,從目標(biāo)數(shù)據(jù)采集系統(tǒng)對應(yīng)的采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率??蛇x地,第一獲取單元20包括:第二讀取模塊,用于從采樣率配置裝置中讀取采樣率配置文件;第二判斷模塊,用于判斷是否成功從采樣率配置裝置中讀取采樣率配置文件;第三獲取模塊,用于在判斷出成功從采樣率配置裝置中讀取采樣率配置文件時,獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識;以及第四獲取模塊,用于根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的標(biāo)識從采樣率配置文件中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。第一判斷單元30,用于根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集。采集單元40,用于在根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集。本申請實施例通過檢測單元10檢測終端是否執(zhí)行網(wǎng)絡(luò)訪問;第一獲取單元20在檢測到終端執(zhí)行網(wǎng)絡(luò)訪問時,從采樣率配置裝置中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率,其中,采樣率配置裝置用于設(shè)置數(shù)據(jù)采集系統(tǒng)的采樣率;第一判斷單元30根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷是否對終端進行數(shù)據(jù)采集;以及采集單元40在根據(jù)目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率判斷出需要對終端進行數(shù)據(jù)采集時,對終端進行數(shù)據(jù)采集。相比于現(xiàn)有技術(shù)中每次采樣率調(diào)整時需要重新為采樣率接口賦值并更新產(chǎn)品版本,本申請實施例在需要調(diào)整采樣范圍時,只需要調(diào)整采樣率配置裝置上的采樣率的值,通過從采樣率配置裝置中讀取最新的數(shù)據(jù)采集系統(tǒng)的采樣率,操作方便,并能夠快速響應(yīng)變化的采樣率進行數(shù)據(jù)采集,解決了相關(guān)技術(shù)中數(shù)據(jù)采集時采樣率改變生效慢的問題,進而達到了快速響應(yīng)采樣率的改變的效果。優(yōu)選地,該裝置還包括:緩存模塊,用于將目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率進行緩存。優(yōu)選地,該裝置還包括:第二獲取單元,用于從緩存中獲取目標(biāo)數(shù)據(jù)采集系統(tǒng)的采樣率。優(yōu)選地,第一判斷單元30包括:第一確定模塊,用于根據(jù)采樣率確定采樣范圍;第三判斷模塊,用于判斷終端是否在采樣范圍內(nèi);以及第二確定模塊,用于在判斷出終端在采樣范圍內(nèi)時,則確定需要對終端進行數(shù)據(jù)采集,在判斷出終端不在采樣范圍內(nèi)時,則確定不需要對終端進行數(shù)據(jù)采集??蛇x地,第三判斷模塊包括:獲取子模塊,用于獲取終端的唯一標(biāo)識符;第一運算子模塊,用于對唯一標(biāo)識符進行散列運算,得到唯一標(biāo)識符的散列值;第二運算子模塊,用于對唯一標(biāo)識符的散列值進行求余運算,得到唯一標(biāo)識符對應(yīng)的余數(shù);判斷子模塊,用于判斷唯一標(biāo)識符對應(yīng)的余數(shù)是否在采樣范圍內(nèi);以及確定子模塊,用于在判斷出唯一標(biāo)識符對應(yīng)的余數(shù)在采樣范圍內(nèi)時,確定終端在采樣范圍內(nèi),在判斷出唯一標(biāo)識符對應(yīng)的余數(shù)不在采樣范圍內(nèi)時,確定終端不在采樣范圍內(nèi)。上述本申請實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。在本申請的上述實施例中,對各個實施例的描述都各有側(cè)重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關(guān)描述。在本申請所提供的幾個實施例中,應(yīng)該理解到,所揭露的技術(shù)內(nèi)容,可通過其它的方式實現(xiàn)。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或 組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。另外,在本申請各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機可讀取存儲介質(zhì)中?;谶@樣的理解,本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機設(shè)備(可為個人計算機、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、只讀存儲器(ROM,Read-OnlyMemory)、隨機存取存儲器(RAM,RandomAccessMemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。以上所述僅是本申請的優(yōu)選實施方式,應(yīng)當(dāng)指出,對于本
技術(shù)領(lǐng)域
的普通技術(shù)人員來說,在不脫離本申請原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應(yīng)視為本申請的保護范圍。當(dāng)前第1頁1 2 3 
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
古交市| 玉溪市| 泸溪县| 龙川县| 庆安县| 上饶市| 武川县| 万州区| 彰武县| 天水市| 鄂伦春自治旗| 皮山县| 清流县| 志丹县| 靖江市| 柳州市| 庆阳市| 清徐县| 个旧市| 张家口市| 琼结县| 洱源县| 精河县| 马公市| 中阳县| 东乌珠穆沁旗| 山阳县| 凯里市| 扎囊县| 桦南县| 万山特区| 类乌齐县| 繁昌县| 青川县| 麻城市| 泾阳县| 临邑县| 项城市| 涟水县| 蒙山县| 栖霞市|