本申請(qǐng)涉及圖像處理技術(shù),尤其涉及一種天氣圖像分類方法及裝置。
背景技術(shù):
天氣圖像分類是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)新課題,其主要是基于一幅室外場(chǎng)景圖像,識(shí)別出該圖像中對(duì)應(yīng)的天氣狀況,進(jìn)而使人們根據(jù)天氣狀況開展相應(yīng)的活動(dòng),也即,天氣圖像分類可以應(yīng)用到不同的場(chǎng)合中。例如:基于天氣狀況的太陽(yáng)能電力輸送,戶外機(jī)器人控制以及基于圖像的檢索和場(chǎng)景識(shí)別。
目前,應(yīng)用比較廣泛的天氣圖像分類方法是兩級(jí)天氣分類,在該方法中,首先利用分類系統(tǒng)中的檢測(cè)裝置檢測(cè)出幾種表征天氣的區(qū)域特征,例如:天空,陰影,反光,對(duì)比度以及霧等,其次將被檢測(cè)出來的區(qū)域特征作為分類系統(tǒng)中分類工具(例如,支持向量機(jī))的輸入進(jìn)行天氣圖像的分類。但是該方法需要人事先對(duì)特定的天氣種類進(jìn)行特征設(shè)計(jì),不但限制了系統(tǒng)的靈活性,而且在數(shù)據(jù)量較大的情況下,靠人來進(jìn)行數(shù)據(jù)觀察以及設(shè)計(jì)特征非常不可靠而且實(shí)現(xiàn)困難,分類不準(zhǔn)確。
綜上所述,現(xiàn)有天氣圖像分類方法由于需要人為進(jìn)行特性設(shè)計(jì)造成了分類系統(tǒng)的靈活性低,分類準(zhǔn)確度低。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)?zhí)峁┮环N天氣圖像分類方法及裝置,用于提高天氣分類系統(tǒng)的靈活性,解決分類準(zhǔn)確度低的問題。
本申請(qǐng)第一方面提供一種天氣圖像分類方法,包括:
將待分析圖像進(jìn)行分割,得到多類圖像特征,每類所述圖像特征包括至少一個(gè)圖像區(qū)域;
獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征;
根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定所述待分析圖像對(duì)應(yīng)的天氣類別。
該技術(shù)方案,利用學(xué)習(xí)獲取到的圖像特征中圖像區(qū)域?qū)?yīng)的天氣特征,不需要人為對(duì)天氣特征進(jìn)行設(shè)計(jì),提高了分類系統(tǒng)的靈活性,分類準(zhǔn)確率高。
在第一方面的一實(shí)施例中,所述方法還包括:
根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性、不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,建立所述天氣分類模型。
通過建立天氣分類模型,這樣可使分類系統(tǒng)根據(jù)選擇的每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,更新天氣分類模型的各個(gè)參數(shù),進(jìn)而準(zhǔn)確的確定出待分析圖像對(duì)應(yīng)的天氣類別。
在第一方面的另一實(shí)施例中,所述根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定所述待分析圖像對(duì)應(yīng)的天氣類別,包括:
根據(jù)所述多類圖像特征中的一類圖像特征、以及每類圖像特征所包含的一個(gè)或多個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,更新所述天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù);
根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及更新后的所述選擇參數(shù)、所述關(guān)聯(lián)參數(shù)和所述學(xué)習(xí)參數(shù),確定所述待分析圖像對(duì)應(yīng)的天氣類別。
本技術(shù)方案根據(jù)更新后的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù)來確定待分析圖像對(duì)應(yīng)的天氣類別,準(zhǔn)確率高。
在第一方面的再一實(shí)施例中,所述根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性、不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,建立所述天氣分類模型,包括:
根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性,確定所述單選特性對(duì)應(yīng)的區(qū)域選擇方程;
根據(jù)不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,確定所述關(guān)聯(lián)特性對(duì)應(yīng)的區(qū)域關(guān)聯(lián)方程;
根據(jù)所述區(qū)域選擇方程和所述區(qū)域關(guān)聯(lián)方程,建立所述天氣分類模型。
該技術(shù)方案通過對(duì)同類圖像特征中圖像區(qū)域進(jìn)行選擇、對(duì)不同類圖像特征中圖像區(qū)域進(jìn)行關(guān)聯(lián),從而得到天氣分類模型,為后續(xù)得到待分析圖像對(duì)應(yīng)的天氣類別奠定了基礎(chǔ),避免了需要人為設(shè)定區(qū)域天氣特征的步驟,提高了系統(tǒng)的靈活性。
可選的,所述區(qū)域選擇方程用如下區(qū)域選擇目標(biāo)函數(shù)es(ws;v,f)表示:
其中,
可選的,所述區(qū)域關(guān)聯(lián)方程用如下區(qū)域關(guān)聯(lián)目標(biāo)函數(shù)ec(wc,θ;v,f)表示:
其中,
可選的,所述天氣分類模型對(duì)應(yīng)的天氣分類確定函數(shù)j(ws,wc,θ;v,f)用如下公式表示:
其中,vi,j∈{0,1},且
在第一方面的又一實(shí)施例中,所述獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,包括:
針對(duì)每類圖像特征,利用字典學(xué)習(xí)算法構(gòu)造每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
本申請(qǐng)第二方面提供一種天氣圖像分類裝置,包括:
處理模塊,用于將待分析圖像進(jìn)行分割,得到多類圖像特征,每類所述圖像特征包括至少一個(gè)圖像區(qū)域,并獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征;
確定模塊,用于根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定所述待分析圖像對(duì)應(yīng)的天氣類別。
在第二方面的一實(shí)施例中,所述裝置,還包括:建立模塊;
所述建立模塊,用于根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性、不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,建立所述天氣分類模型。
在第二方面的另一實(shí)施例中,所述確定模塊,具體用于根據(jù)所述多類圖像特征中的一類圖像特征、以及每類圖像特征所包含的一個(gè)或多個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,更新所述天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及更新后的所述選擇參數(shù)、所述關(guān)聯(lián)參數(shù)和所述學(xué)習(xí)參數(shù),確定所述待分析圖像對(duì)應(yīng)的天氣類別。
在第二方面的再一實(shí)施例中,所述建立模塊,具體用于根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性,確定所述單選特性對(duì)應(yīng)的區(qū)域選擇方程,根據(jù)不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,確定所述關(guān)聯(lián)特性對(duì)應(yīng)的區(qū)域關(guān)聯(lián)方程,根據(jù)所述區(qū)域選擇方程和所述區(qū)域關(guān)聯(lián)方程,建立所述天氣分類模型。
可選的,所述區(qū)域選擇方程用如下區(qū)域選擇目標(biāo)函數(shù)es(ws;v,f)表示:
其中,
可選的,所述區(qū)域關(guān)聯(lián)方程用如下區(qū)域關(guān)聯(lián)目標(biāo)函數(shù)ec(wc,θ;v,f)表示:
其中,
可選的,所述天氣分類模型對(duì)應(yīng)的天氣分類確定函數(shù)j(ws,wc,θ;v,f)用如下公式表示:
其中,vi,j∈{0,1},且
在第二方面的又一實(shí)施例中,所述處理模塊在獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征時(shí),具體用于針對(duì)每類圖像特征,利用字典學(xué)習(xí)算法構(gòu)造每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
本申請(qǐng)實(shí)施例第三方面提供一種天氣圖像分類裝置,包括:處理器和存儲(chǔ)器,該存儲(chǔ)器用于存儲(chǔ)程序,處理器調(diào)用存儲(chǔ)器存儲(chǔ)的程序,以執(zhí)行本申請(qǐng)第一方面提供的方法。
本申請(qǐng)實(shí)施例第四方面提供一種天氣圖像分類裝置,包括用于執(zhí)行以上第一方面的方法的至少一個(gè)處理元件(或芯片)。
本申請(qǐng)實(shí)施例第五方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令,當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí),使得計(jì)算機(jī)執(zhí)行上述第一方面的方法。
本申請(qǐng)實(shí)施例第六方面提供一種包含指令的計(jì)算機(jī)程序產(chǎn)品,當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí),使得計(jì)算機(jī)執(zhí)行上述第一方面所述的方法。
在以上各個(gè)方面中,通過將待分析圖像進(jìn)行分割,得到多類圖像特征,且每類圖像特征包括至少一個(gè)圖像區(qū)域,獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,最后根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定出待分析圖像對(duì)應(yīng)的天氣類別。該技術(shù)方案,利用學(xué)習(xí)獲取到的圖像特征中圖像區(qū)域?qū)?yīng)的天氣特征,不需要人為對(duì)天氣特征進(jìn)行設(shè)計(jì),提高了分類系統(tǒng)的靈活性,分類準(zhǔn)確率高。
附圖說明
圖1為現(xiàn)有兩級(jí)天氣分類方法的應(yīng)用系統(tǒng)示意圖;
圖2為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例一的流程示意圖;
圖3為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例二的流程示意圖;
圖4為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例三的流程示意圖;
圖5為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例四的流程示意圖;
圖6為本申請(qǐng)實(shí)施例提供的天氣圖像分類裝置實(shí)施例一的結(jié)構(gòu)示意圖;
圖7為本申請(qǐng)實(shí)施例提供的天氣圖像分類裝置實(shí)施例二的結(jié)構(gòu)示意圖。
具體實(shí)施方式
隨著圖像理解與智能視頻技術(shù)的不斷發(fā)展,對(duì)室外環(huán)境下各種天氣現(xiàn)象,尤其是惡劣天氣現(xiàn)象的檢測(cè)與識(shí)別提出了極為迫切的需求,同時(shí)在氣象領(lǐng)域?qū)μ鞖猬F(xiàn)象的觀測(cè)仍然主要依靠人工觀測(cè),天氣現(xiàn)象信息的采集耗費(fèi)了大量的人力和物力,因此,近年來基于室外圖像的天氣現(xiàn)象自動(dòng)識(shí)別研究受到了較為廣泛的關(guān)注。
目前,天氣圖像分類中,最好的天氣分類方法是兩級(jí)天氣分類方法,該方法是luetal.在2014年cvpr的會(huì)議文章“two-classweatherclassification”中提出的。圖1為現(xiàn)有兩級(jí)天氣分類方法的應(yīng)用系統(tǒng)示意圖。如圖1所示,該應(yīng)用系統(tǒng)示意圖主要包括檢測(cè)裝置1和分類工具2兩個(gè)部分。該兩級(jí)天氣分類方法的主要步驟是首先利用檢測(cè)裝置1檢測(cè)出待分析圖像中存在的表征天氣的區(qū)域特征,該區(qū)域特征包括但不局限于天空、陰影、反光、對(duì)比度以及霧等;其次將檢測(cè)出來的區(qū)域特征輸入分類工具2中,利用該分類工具進(jìn)行天氣圖像分類。其中,該分類工具可選為支持向量機(jī)(supportvectormachine,svm),支持向量機(jī)是一個(gè)有監(jiān)督的學(xué)習(xí)模型,其能夠根據(jù)簡(jiǎn)化天氣圖像分類的復(fù)雜度,確定出待分析圖像對(duì)應(yīng)的天氣類別,能夠很好的實(shí)現(xiàn)天氣圖像分類。
但是,該方法的應(yīng)用場(chǎng)景中需要人為對(duì)待分析圖像中的特定天氣種類進(jìn)行特征設(shè)計(jì),這樣系統(tǒng)僅能對(duì)設(shè)定的天氣種類進(jìn)行識(shí)別和判斷,系統(tǒng)的靈活性比較低。另外,當(dāng)待分析圖像比較大,圖像中包含的數(shù)據(jù)量非常大時(shí),人為對(duì)圖像數(shù)據(jù)進(jìn)行觀察以及進(jìn)行特征設(shè)計(jì)不但可靠性低,而且難以實(shí)現(xiàn),這樣致使最后得到的天氣分類結(jié)果不準(zhǔn)確。
針對(duì)上述問題,本申請(qǐng)實(shí)施例提出了一種天氣圖像分類方法及裝置,用于提高分類系統(tǒng)的靈活性和分類的準(zhǔn)確度。下面,通過具體實(shí)施例對(duì)本申請(qǐng)所示的技術(shù)方案進(jìn)行詳細(xì)說明。需要說明的是,下面這幾個(gè)具體的實(shí)施例可以相互結(jié)合,對(duì)于相同或相似的概念或過程可能在某些實(shí)施例中不再贅述。
本申請(qǐng)實(shí)施例中,“多個(gè)”是指兩個(gè)或兩個(gè)以上?!昂?或”,描述關(guān)聯(lián)對(duì)象的關(guān)聯(lián)關(guān)系,表示可以存在三種關(guān)系,例如,a和/或b,可以表示:?jiǎn)为?dú)存在a,同時(shí)存在a和b,單獨(dú)存在b這三種情況。字符“/”一般表示前后關(guān)聯(lián)對(duì)象是一種“或”的關(guān)系。
圖2為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例一的流程示意圖。如圖2所示,本實(shí)施例提供的天氣圖像分類方法,包括如下步驟:
步驟21:將待分析圖像進(jìn)行分割,得到多類圖像特征,每類圖像特征包括至少一個(gè)圖像區(qū)域。
協(xié)同分割是圖像內(nèi)關(guān)聯(lián)圖像區(qū)域之間的集合結(jié)構(gòu)約束分割方法,其能夠?qū)⒋治鰣D像中的主題相關(guān)的圖像區(qū)域分割出來。
在本實(shí)施例中,若想確定出待分析圖像對(duì)應(yīng)的天氣類別,首先需要對(duì)待分析圖像進(jìn)行預(yù)處理。具體的,可以采用協(xié)同分割的方法對(duì)待分析圖像進(jìn)行分割。作為預(yù)處理,利用協(xié)同分割可以得到待分析圖像中的一些具有相似結(jié)構(gòu)的圖像區(qū)域,從而可容易獲得每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
值得說明的是,根據(jù)圖像中包含的特征類別,可以將待分析圖像分割得到的多個(gè)圖像區(qū)域分成多類不同的圖像特征,比如,建筑物、草地等等。每個(gè)圖像區(qū)域?qū)?yīng)一類圖像特征,即每類圖像特征中包括多個(gè)圖像區(qū)域。
步驟22:獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
可選的,當(dāng)?shù)玫酱治鰣D像的多類圖像特征以及每類圖像特征包含的至少一個(gè)圖像區(qū)域之后,首先確定每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。作為一種示例,針對(duì)每類圖像特征,利用字典學(xué)習(xí)算法構(gòu)造每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
可選的,每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征的構(gòu)造步驟可以通過如下公式(1)來實(shí)現(xiàn):
實(shí)際上,公式(1)是求
其中,βp是第j類圖像特征中的圖像區(qū)域?qū)?yīng)的天氣特征,也是cp基于dj的稀疏編碼,cp=[rgblabch]t是待分析圖像的第j類圖像特征的圖像區(qū)域中每個(gè)像素的顏色表征向量,其中,r、g、b是rgb顏色空間,l、a、b是lab顏色空間,c、h是色度和色調(diào),dj是第j類圖像特征的字典,λ是經(jīng)驗(yàn)系數(shù)。
對(duì)于cp中各分量的解釋如下:
通常情況下,主要利用計(jì)算機(jī)視覺技術(shù)來識(shí)別待分析圖像對(duì)應(yīng)的天氣類別,因此,本申請(qǐng)實(shí)施例在對(duì)待分析圖像進(jìn)行處理時(shí),采用rgb顏色空間實(shí)現(xiàn)顏色顯示和圖像處理,即使用rgb顏色空間的紅色、綠色和藍(lán)色分別作為x、y和z坐標(biāo)軸,即利用r、g、b來表示待分析圖像中每個(gè)像素的顏色顯示。
lab顏色空間是由cie(國(guó)際照明委員會(huì))制定的一種色彩模式,其是以數(shù)字化方式來描述人的視覺感應(yīng),與設(shè)備無(wú)關(guān)。lab顏色空間取坐標(biāo)lab,其中,l值表示像素的亮度,取值范圍是[0,100],即表示從純黑(0)到純白(100);a表示從紅色到綠色的范圍,取值范圍是[127,-128],b表示從黃色到藍(lán)色的范圍,取值范圍是[127,-128],且a=b=0時(shí),表示無(wú)色。
此外,c是色度,用于表示顏色的深和淺,h是色調(diào),用于表示顏色的冷和暖。
值得說明的是,在本實(shí)施例中,cp中的r、g、b、l、a、b、c、h均可以用一個(gè)數(shù)值表示。
可選的,下面簡(jiǎn)單描述一下字典學(xué)習(xí)算法如何來確定每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
對(duì)于第j類圖像特征,可以用如下公式(2)學(xué)習(xí)得到待分析圖像中每類圖像特征的字典dj,具體如下:
公式(2)中的參數(shù)含義與公式(1)中的參數(shù)含義一致。
此外,在本實(shí)施例中,待分析圖像的每個(gè)像素都具有自身的顏色表征向量cp,待分析圖像的所有像素被協(xié)同分割分為m類圖像特征,其中,dj∈r8×q表示第j類圖像特征的字典,即dj屬于一個(gè)8行、q列的矩陣空間,dj的行數(shù)8與cp中的列數(shù)8一致,pj={p}是第j類圖像特征中的像素集合,βp∈rq×1是cp基于dj的稀疏編碼,即cp屬于一個(gè)q行、1列的矩陣空間,γ={βp}是βp的稀疏編碼集合。λ是經(jīng)驗(yàn)系數(shù),可選的,可設(shè)為0.3,q的取值可以是1024。
類似的,采用公式(2)可以分別求出待分析圖像的m類圖像特征的字典。
結(jié)合上述可知,當(dāng)求出每類圖像特征的字典dj之后,可求出每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。例如,對(duì)于第j類圖像特征中給定一個(gè)圖像區(qū)域,利用上述公式(1)可學(xué)習(xí)得到該第j類圖像特征中的該圖像區(qū)域?qū)?yīng)的天氣特征。實(shí)際上,利用公式(1)可首先計(jì)算出該第j類圖像特征的該圖像區(qū)域中每個(gè)像素的稀疏編碼βp,然后再使用最大投票方法(max-poolingoperator)得到該圖像區(qū)域?qū)?yīng)的天氣特征f,f∈r1×q,天氣特征f屬于一個(gè)1行、q列的矩陣空間。
步驟23:根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定待分析圖像對(duì)應(yīng)的天氣類別。
在本實(shí)施例中,當(dāng)獲取到每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征之后,將待分析圖像中的一類或幾類圖像特征中的一個(gè)或多個(gè)圖像區(qū)域?qū)?yīng)的天氣特征輸入到天氣分類模型中,進(jìn)而學(xué)習(xí)得到天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),進(jìn)而根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征以及得到的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),最終確定出待分析圖像對(duì)應(yīng)的天氣類別。
值得說明的是,在使用該天氣分類模型之前,需要根據(jù)每類圖像特征、以及每個(gè)圖像區(qū)域之間的關(guān)聯(lián)關(guān)系,建立用于確定待分析圖像對(duì)應(yīng)天氣類別的天氣分類模型。關(guān)于天氣分類模型的具體建立流程詳見如下圖3實(shí)施例中的記載,此處不再贅述。
本申請(qǐng)實(shí)施例提供的天氣圖像分類方法,通過將待分析圖像進(jìn)行分割,得到多類圖像特征,且每類圖像特征包括至少一個(gè)圖像區(qū)域,獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,最后根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定出待分析圖像對(duì)應(yīng)的天氣類別。該技術(shù)方案,利用學(xué)習(xí)獲取到的圖像特征中圖像區(qū)域?qū)?yīng)的天氣特征,不需要人為對(duì)天氣特征進(jìn)行設(shè)計(jì),提高了分類系統(tǒng)的靈活性,分類準(zhǔn)確率高。
可選的,在上述實(shí)施例的基礎(chǔ)上,圖3為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例二的流程示意圖。如圖3所示,本申請(qǐng)實(shí)施例提供的天氣圖像分類方法,還包括如下步驟:
步驟31:根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性、不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,建立天氣分類模型。
在本實(shí)施例中,由于待分析圖像中多類圖像特征、每類圖像特征包含的每個(gè)圖像區(qū)域是通過協(xié)同分割方法得到的,那么可認(rèn)為每類圖像特征對(duì)應(yīng)的天氣特征類似,而不同類圖像特征中每個(gè)圖像區(qū)域具有一定的聯(lián)系,所以可從同類圖像特征中選擇一個(gè)圖像區(qū)域,并結(jié)合不同類圖像特征中被選擇的圖像區(qū)域不同的特點(diǎn),建立天氣分類模型。
可選的,該步驟31可位于上述步驟22之后、步驟23之前,也即,首先根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性、不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性建立天氣分類模型并確定出天氣分裂模型的各參數(shù)之后,再根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征確定出天氣類別。
可選的,對(duì)于天氣分類模型的具體建立過程以及具體表示方式參見如下圖4所述實(shí)施例中的記載,對(duì)于如何根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征以及天氣分類模型確定待分析圖像對(duì)應(yīng)天氣類別的具體表述參見圖5所述實(shí)施例中的記載,此處不再贅述。
本實(shí)施例提供的天氣圖像分類方法,通過建立天氣分類模型,這樣可使分類系統(tǒng)根據(jù)選擇的每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,更新天氣分類模型的各個(gè)參數(shù),進(jìn)而準(zhǔn)確的確定出待分析圖像對(duì)應(yīng)的天氣類別。
可選的,在上述實(shí)施例的基礎(chǔ)上,圖4為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例三的流程示意圖。該實(shí)施例是對(duì)上述步驟31的進(jìn)一步解釋說明。如圖4所示,在本實(shí)施例提供的天氣圖像分類方法中,上述步驟31可包括如下步驟:
步驟41:根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性,確定該單選特性對(duì)應(yīng)的區(qū)域選擇方程。
具體的,在上述步驟22之后,即獲取到所有類圖像特征中所有圖像區(qū)域?qū)?yīng)的天氣特征之后,本實(shí)施例的分類系統(tǒng)會(huì)進(jìn)行圖像區(qū)域的選擇步驟。具體的,由于只需從同類圖像特征所包含的圖像區(qū)域中選擇一個(gè)圖像區(qū)域與不同類圖像特征中的圖像區(qū)域聯(lián)立計(jì)算,即根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性,確定出該單選特性對(duì)應(yīng)的區(qū)域選擇方程。
可選的,該區(qū)域選擇方程用區(qū)域選擇目標(biāo)函數(shù)es(ws;v,f)表示,具體參見如下公式(3)所示:
其中,
步驟42:根據(jù)不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,確定該關(guān)聯(lián)特性對(duì)應(yīng)的區(qū)域關(guān)聯(lián)方程。
在步驟41執(zhí)行的同時(shí),分類系統(tǒng)也進(jìn)行步驟42的區(qū)域關(guān)聯(lián)步驟。即本實(shí)施例并不限定步驟41與步驟42的執(zhí)行順序,只要能夠確定出區(qū)域選擇方程和區(qū)域關(guān)聯(lián)方程,進(jìn)而得到天氣分類模型的實(shí)現(xiàn)方案均屬于本申請(qǐng)的保護(hù)范疇。
可選的,在本實(shí)施例中,上述區(qū)域關(guān)聯(lián)方程用區(qū)域關(guān)聯(lián)目標(biāo)函數(shù)ec(wc,θ;v,f)表示,具體參見如下公式(4)所示:
其中,
在公式(4)中,關(guān)聯(lián)分?jǐn)?shù)sj,k可通過如下公式(5)表示:
s.t.fi,j,fl,k∈f,vi,j,vl,k∈v
其中,fi,j為第j類圖像特征的第i個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,fl,k為第k類圖像特征的第l個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,當(dāng)vi,j為1時(shí),表示第j類圖像特征的第i個(gè)圖像區(qū)域被選中,當(dāng)vi,j為0時(shí),表示第j類圖像特征的第i個(gè)圖像區(qū)域未被選中,當(dāng)vl,k為1時(shí),表示第k類圖像特征的第l個(gè)圖像區(qū)域被選中,當(dāng)vl,k為0時(shí),表示第k類圖像特征的第l個(gè)圖像區(qū)域未被選中。
該關(guān)聯(lián)分?jǐn)?shù)sj,k越大,表示第j類圖像區(qū)域所包含圖像區(qū)域與第k類圖像特征所包含圖像區(qū)域的關(guān)聯(lián)度越高。其中,g(θ;:)代表一個(gè)雙子神經(jīng)網(wǎng)絡(luò),這個(gè)雙子神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練學(xué)習(xí)可以用來計(jì)算兩個(gè)圖像區(qū)域的關(guān)聯(lián)分?jǐn)?shù)sj,k。
進(jìn)一步的,為了優(yōu)化g(θ;:)這個(gè)雙子神經(jīng)網(wǎng)絡(luò),定義如下?lián)p失函數(shù),用公式(6)表示如下:
在該公式中,η是一個(gè)經(jīng)驗(yàn)參數(shù),在一實(shí)施例中,η可設(shè)為2。該公式中的其他參數(shù)參見上述各公式中的記載,此處不再贅述。
公式(6)計(jì)算出的損失函數(shù)的值越小,表明第j類圖像區(qū)域所包含圖像區(qū)域與第k類圖像特征所包含圖像區(qū)域的關(guān)聯(lián)度越大。
步驟43:根據(jù)上述區(qū)域選擇方程和上述區(qū)域關(guān)聯(lián)方程,建立天氣分類模型。
在本實(shí)施例中,根據(jù)公式(3)和公式(4),以及聯(lián)合公式(5)和(6)建立天氣分類對(duì)應(yīng)的區(qū)域選擇方程和區(qū)域關(guān)聯(lián)方程的聯(lián)合表達(dá)式,即天氣分類模型,該天氣分類模型可以用天氣分類確定函數(shù)j(ws,wc,θ;v,f)表示,具體參見如下公式(7)所示:
其中,vi,j∈{0,1},且
值得說明的是,公式(7)中各參數(shù)的具體含義與上述公式(3)至公式(6)中一致,此處不再贅述。
因此,當(dāng)確定出天氣分類模型對(duì)應(yīng)的天氣分類確定函數(shù)j(ws,wc,θ;v,f)之后,通過將每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征輸入到該天氣分類模型中,通過天氣分類模型對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)過程,便能夠計(jì)算出天氣分類模型的選擇參數(shù)ws、關(guān)聯(lián)參數(shù)wc和學(xué)習(xí)參數(shù)θ。關(guān)于天氣分類模型對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)過程參見下述圖5所示實(shí)施例中步驟51的記載,此處不再贅述。
本申請(qǐng)實(shí)施例提供的天氣圖像分類方法,通過根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性,確定該單選特性對(duì)應(yīng)的區(qū)域選擇方程,以及根據(jù)不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,確定該關(guān)聯(lián)特性對(duì)應(yīng)的區(qū)域關(guān)聯(lián)方程,最后根據(jù)上述區(qū)域選擇方程和上述區(qū)域關(guān)聯(lián)方程,建立天氣分類模型。該技術(shù)方案通過對(duì)同類圖像特征中圖像區(qū)域進(jìn)行選擇、對(duì)不同類圖像特征中圖像區(qū)域進(jìn)行關(guān)聯(lián),從而得到天氣分類模型,為后續(xù)得到待分析圖像對(duì)應(yīng)的天氣類別奠定了基礎(chǔ),避免了需要人為設(shè)定區(qū)域天氣特征的步驟,提高了系統(tǒng)的靈活性。
進(jìn)一步的,在上述實(shí)施例的基礎(chǔ)上,圖5為本申請(qǐng)?zhí)峁┑奶鞖鈭D像分類方法實(shí)施例四的流程示意圖。該實(shí)施例是對(duì)上述步驟23的進(jìn)一步解釋說明。如圖5所示,在本實(shí)施例提供的天氣圖像分類方法中,上述步驟23可包括如下步驟:
步驟51:根據(jù)多類圖像特征中的一類圖像特征、以及每類圖像特征所包含的一個(gè)或多個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,更新天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù)。
具體的,在本實(shí)施例中,根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性、不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性確定并更新天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù)的流程可總結(jié)如下:
首先,定義參與計(jì)算的變量集合γ、設(shè)定初始值學(xué)習(xí)率
其中,該變量集合γ包括:每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征f、圖像區(qū)域選擇變量v,以及待分析圖像對(duì)應(yīng)的天氣類別y。
其次,重復(fù)以下步驟:
對(duì)于
使用如下公式(9)計(jì)算梯度
更新
重復(fù)以下步驟:
隨機(jī)選擇(f,y,v)∈γ;
隨機(jī)選擇fi,j,fl,k∈f,vi,j,vl,k∈v;
使用損失函數(shù)對(duì)應(yīng)的公式(6)更新學(xué)習(xí)參數(shù)θ;
直到學(xué)習(xí)參數(shù)θ收斂;
直到參數(shù)集合w收斂;
最后,輸出選擇參數(shù)ws、關(guān)聯(lián)參數(shù)wc和學(xué)習(xí)參數(shù)θ。
綜上所述,本步驟可以得到更新后的天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù)。
可選的,上述公式(8)具體如下所示:
可選的,該公式(8)實(shí)際上是對(duì)公式(7)的變形,目的是在公式(7)所示天氣分類確定函數(shù)取最大值時(shí),確定出圖像區(qū)域選擇變量v的取值。
可選的,在利用公式(9)計(jì)算梯度
對(duì)目標(biāo)函數(shù)l(w;γ)中的參數(shù)集合w求偏導(dǎo)數(shù),便得到公式(9),具體如下:
其中,1(:)是一個(gè)指示函數(shù)。
步驟52:根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及更新后的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定待分析圖像對(duì)應(yīng)的天氣類別。
可選的,當(dāng)天氣分類模型對(duì)應(yīng)天氣分類確定函數(shù)中的選擇參數(shù)ws、關(guān)聯(lián)參數(shù)wc和學(xué)習(xí)參數(shù)θ均確定之后,利用上述公式(8)確定出天氣分類確定函數(shù)取最大值時(shí)對(duì)應(yīng)的圖像區(qū)域選擇變量v*,進(jìn)而利用如下公式(11)所示的天氣類別函數(shù)確定出待分析圖像對(duì)應(yīng)的天氣類別:
y=sign(j(ws,wc,θ;v*,f))(11)
其中,y就是待分析圖像對(duì)應(yīng)的天氣類別。
實(shí)際上,公式(11)是一個(gè)符號(hào)函數(shù),即根據(jù)本實(shí)施例的方案可以得到一個(gè)事實(shí),即:任何一個(gè)多分類問題,都可以轉(zhuǎn)化為多個(gè)2分類問題,從而簡(jiǎn)化了天氣圖像分類的步驟,提高了分類準(zhǔn)確率。
本實(shí)施例提供的天氣圖像分類方法,通過根據(jù)多類圖像特征中的一類圖像特征、以及每類圖像特征所包含的一個(gè)或多個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,更新天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),并根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及更新后的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定待分析圖像對(duì)應(yīng)的天氣類別。本技術(shù)方案根據(jù)更新后的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù)來確定待分析圖像對(duì)應(yīng)的天氣類別,準(zhǔn)確率高。
本申請(qǐng)實(shí)施例提供的天氣圖像分類方法可以有效監(jiān)測(cè)待分析圖像中的同類圖像特征以及同類圖像特征包含的多個(gè)圖像區(qū)域,由于同類圖像特征中的多個(gè)圖像區(qū)域能夠共同表征了待分析圖像對(duì)應(yīng)的天氣特征,有效提高了天氣分類的準(zhǔn)確度。
圖6為本申請(qǐng)實(shí)施例提供的天氣圖像分類裝置實(shí)施例一的結(jié)構(gòu)示意圖,該裝置可以集成于具有處理功能的電子設(shè)備內(nèi)。如圖6所示,該裝置包括:處理模塊61和確定模塊62。
其中,該處理模塊61,用于將待分析圖像進(jìn)行分割,得到多類圖像特征,并獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
其中,每類所述圖像特征包括至少一個(gè)圖像區(qū)域。
該確定模塊62,用于根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),確定所述待分析圖像對(duì)應(yīng)的天氣類別。
可選的,如圖6所示,本申請(qǐng)實(shí)施例提供的天氣圖像分類裝置,還包括:建立模塊60。
該建立模塊60,用于根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性、不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,建立所述天氣分類模型。
可選的,本申請(qǐng)實(shí)施例以建立模塊60位于處理模塊61之前進(jìn)行舉例說明。實(shí)際上,該建立模塊60既可以位于處理模塊61之前,也可以位于處理模塊61之后,本申請(qǐng)實(shí)施例并不對(duì)其進(jìn)行限制。
可選的,在一實(shí)施例中,上述確定模塊62,具體用于根據(jù)所述多類圖像特征中的一類圖像特征、以及每類所述圖像特征所包含的一個(gè)或多個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,更新所述天氣分類模型的選擇參數(shù)、關(guān)聯(lián)參數(shù)和學(xué)習(xí)參數(shù),根據(jù)每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征,以及更新后的所述選擇參數(shù)、所述關(guān)聯(lián)參數(shù)和所述學(xué)習(xí)參數(shù),確定所述待分析圖像對(duì)應(yīng)的天氣類別。
可選的,在上述實(shí)施例中,上述建立模塊60,具體用于根據(jù)同類圖像特征所包含圖像區(qū)域的單選特性,確定所述單選特性對(duì)應(yīng)的區(qū)域選擇方程,根據(jù)不同類圖像特征所包含圖像區(qū)域間的關(guān)聯(lián)特性,確定所述關(guān)聯(lián)特性對(duì)應(yīng)的區(qū)域關(guān)聯(lián)方程,根據(jù)所述區(qū)域選擇方程和所述區(qū)域關(guān)聯(lián)方程,建立天氣分類模型。
在本實(shí)施例中,所述區(qū)域選擇方程可以用如下區(qū)域選擇目標(biāo)函數(shù)es(ws;v,f)表示:
其中,
可選的,所述區(qū)域關(guān)聯(lián)方程用如下區(qū)域關(guān)聯(lián)目標(biāo)函數(shù)ec(wc,θ;v,f)表示:
其中,
相應(yīng)的,所述天氣分類模型對(duì)應(yīng)的天氣分類確定函數(shù)j(ws,wc,θ;v,f)用如下公式表示:
其中,vi,j∈{0,1},且
可選的,在上述實(shí)施例中,上述處理模塊61在獲取每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征時(shí),具體用于針對(duì)每類圖像特征,利用字典學(xué)習(xí)算法構(gòu)造每類圖像特征中每個(gè)圖像區(qū)域?qū)?yīng)的天氣特征。
本實(shí)施例的天氣圖像分類裝置用于執(zhí)行上述圖2至圖5所示方法實(shí)施例的實(shí)現(xiàn)方案,具體實(shí)現(xiàn)方式和技術(shù)效果類似,這里不再贅述。
需要說明的是,應(yīng)理解以上裝置的各個(gè)模塊的劃分僅僅是一種邏輯功能的劃分,實(shí)際實(shí)現(xiàn)時(shí)可以全部或部分集成到一個(gè)物理實(shí)體上,也可以物理上分開。且這些模塊可以全部以軟件通過處理元件調(diào)用的形式實(shí)現(xiàn);也可以全部以硬件的形式實(shí)現(xiàn);還可以部分模塊通過處理元件調(diào)用軟件的形式實(shí)現(xiàn),部分模塊通過硬件的形式實(shí)現(xiàn)。例如,確定模塊可以為單獨(dú)設(shè)立的處理元件,也可以集成在上述裝置的某一個(gè)芯片中實(shí)現(xiàn),此外,也可以以程序代碼的形式存儲(chǔ)于上述裝置的存儲(chǔ)器中,由上述裝置的某一個(gè)處理元件調(diào)用并執(zhí)行以上確定模塊的功能。其它模塊的實(shí)現(xiàn)與之類似。此外這些模塊全部或部分可以集成在一起,也可以獨(dú)立實(shí)現(xiàn)。這里所述的處理元件可以是一種集成電路,具有信號(hào)的處理能力。在實(shí)現(xiàn)過程中,上述方法的各步驟或以上各個(gè)模塊可以通過處理器元件中的硬件的集成邏輯電路或者軟件形式的指令完成。
例如,以上這些模塊可以是被配置成實(shí)施以上方法的一個(gè)或多個(gè)集成電路,例如:一個(gè)或多個(gè)特定集成電路(applicationspecificintegratedcircuit,asic),或,一個(gè)或多個(gè)微處理器(digitalsingnalprocessor,dsp),或,一個(gè)或者多個(gè)現(xiàn)場(chǎng)可編程門陣列(fieldprogrammablegatearray,fpga)等。再如,當(dāng)以上某個(gè)模塊通過處理元件調(diào)度程序代碼的形式實(shí)現(xiàn)時(shí),該處理元件可以是通用處理器,例如中央處理器(centralprocessingunit,cpu)或其它可以調(diào)用程序代碼的處理器。再如,這些模塊可以集成在一起,以片上系統(tǒng)(system-on-a-chip,soc)的形式實(shí)現(xiàn)。
在上述實(shí)施例中,可以全部或部分地通過軟件、硬件、固件或者其任意組合來實(shí)現(xiàn)。當(dāng)使用軟件實(shí)現(xiàn)時(shí),可以全部或部分地以計(jì)算機(jī)程序產(chǎn)品的形式實(shí)現(xiàn)。所述計(jì)算機(jī)程序產(chǎn)品包括一個(gè)或多個(gè)計(jì)算機(jī)指令。在計(jì)算機(jī)上加載和執(zhí)行所述計(jì)算機(jī)程序指令時(shí),全部或部分地產(chǎn)生按照本申請(qǐng)實(shí)施例所述的流程或功能。所述計(jì)算機(jī)可以是通用計(jì)算機(jī)、專用計(jì)算機(jī)、計(jì)算機(jī)網(wǎng)絡(luò)、或者其他可編程裝置。所述計(jì)算機(jī)指令可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,或者從一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)向另一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)傳輸,例如,所述計(jì)算機(jī)指令可以從一個(gè)網(wǎng)站站點(diǎn)、計(jì)算機(jī)、服務(wù)器或數(shù)據(jù)中心通過有線(例如同軸電纜、光纖、數(shù)字用戶線(dsl))或無(wú)線(例如紅外、無(wú)線、微波等)方式向另一個(gè)網(wǎng)站站點(diǎn)、計(jì)算機(jī)、服務(wù)器或數(shù)據(jù)中心進(jìn)行傳輸。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是計(jì)算機(jī)能夠存取的任何可用介質(zhì)或者是包含一個(gè)或多個(gè)可用介質(zhì)集成的服務(wù)器、數(shù)據(jù)中心等數(shù)據(jù)存儲(chǔ)設(shè)備。所述可用介質(zhì)可以是磁性介質(zhì),(例如,軟盤、硬盤、磁帶)、光介質(zhì)(例如,dvd)、或者半導(dǎo)體介質(zhì)(例如固態(tài)硬盤solidstatedisk(ssd))等。
圖7為本申請(qǐng)實(shí)施例提供的天氣圖像分類裝置實(shí)施例二的結(jié)構(gòu)示意圖。本實(shí)例提供的天氣圖像分類裝置,包括:處理器71、存儲(chǔ)器72、通信接口73和系統(tǒng)總線74,該存儲(chǔ)器72和通信接口73通過系統(tǒng)總線74與處理器71連接并完成相互間的通信,該存儲(chǔ)器72用于存儲(chǔ)計(jì)算機(jī)執(zhí)行指令,該通信接口73用于和其他設(shè)備進(jìn)行通信,該處理器71用于運(yùn)行計(jì)算機(jī)以執(zhí)行相應(yīng)指令,使該天氣圖像分類裝置執(zhí)行如上天氣圖像分類方法的各個(gè)步驟。
另外,該處理器上可以設(shè)置多個(gè)接口,分別用于連接外圍設(shè)備或與外圍設(shè)備連接的接口電路。例如,用于連接顯示屏的接口,用于連接攝像頭的接口,用于連接音頻處理元件的接口等。
具體的,在上述圖6中,處理模塊61、確定模塊62和建立模塊60均對(duì)應(yīng)處理器71等。