本發(fā)明涉及機器學習、圖像多標簽分類和數(shù)據(jù)流分類，特別涉及一種在線自適應核選擇方法。

背景技術：

1、圖像多標簽數(shù)據(jù)流分類是計算機視覺和機器學習領域中一項重要的任務，涉及到實時處理和分析一幅圖像所關聯(lián)的所有標簽，在智能監(jiān)控系統(tǒng)、社交媒體內(nèi)容分析等領域有廣泛應用。在圖像多標簽數(shù)據(jù)流分類問題中，圖像以數(shù)據(jù)流的形式持續(xù)不斷到來，每張圖像可能與多個標簽相關聯(lián)，任務則是在每張圖像到來后，能從一個從預定義的標簽集中實時識別出與該對象相關聯(lián)的所有標簽。

2、傳統(tǒng)的離線多標簽分類方法在新的圖像到達后，往往需要重新訓練新的分類模型，具有較貴的訓練成本，難以滿足實時識別的需求。相比而言，在線方法能夠增量地更新分類模型，并實時預測，因此在數(shù)據(jù)流分類中占據(jù)重要的地位。在在線方法中，由于核方法能夠顯著增強方法處理復雜非線性預測問題的能力，因此已經(jīng)引起廣泛關注和研究。在在線核方法中，核的選擇是至關重要的，好的選擇可以帶來成功的任務結果，而差的選擇會使任務更具挑戰(zhàn)性。

3、在多標簽分類領域中，近來提出的在線核方法包括paml(passive?aggressivemulti-label?classification)算法和falt(first-order?adaptive?labelthresholding)算法。對于任何輸入實例，這兩個算法的理想目標都是要將實例的相關標簽的分數(shù)排名在標簽閾值以上，并確保標簽閾值高于不相關標簽的分數(shù)，從而通過與標簽閾值進行比較，將實例的相關和無關標簽分開。這個目標被形式化為一個具有l(wèi)個約束的優(yōu)化問題。直接解決該問題帶來了重大的計算挑戰(zhàn)。因此，paml解決了一個簡化的問題，其中只考慮當前分類器違反最多的兩個約束。然后，它使用kkt條件為這個簡化問題推導出一個閉式更新解。相比之下，falt將原始的約束問題轉換為無約束問題，從而使用在線梯度下降法輕松求解。

4、上述可用于圖像多標簽數(shù)據(jù)流分類的在線核方法普遍存在一個缺陷，即采用離線的核函數(shù)選擇策略。這些策略要么依賴于先驗知識預定義一個核函數(shù)，要么借助于可用數(shù)據(jù)從一組核中選擇出一個適合的核。然而，在實際應用中，往往缺乏足夠的先驗知識。此外，在數(shù)據(jù)流的背景下，數(shù)據(jù)是按順序逐步到達的，且全局數(shù)據(jù)結構在開始在線學習之前是未知的。因此，可用于核選擇的數(shù)據(jù)通常非常有限。這種情況會導致離線核選擇策略選擇出次優(yōu)的核，從而影響在線多標簽預測的性能。

技術實現(xiàn)思路

1、針對現(xiàn)有技術中存在的不足，本發(fā)明提供了一種用于圖像多標簽數(shù)據(jù)流分類的在線自適應核選擇方法，解決現(xiàn)有方法的上述缺陷，能在在線學習的過程中執(zhí)行核函數(shù)的選擇，同時進行多標簽核分類器的在線學習，以期望能從一個可能很大的預定義核函數(shù)池中快速識別出全局最優(yōu)的核函數(shù)，有效避免使用次優(yōu)的核，同時取得與事后方知的最佳固定的單核多標簽模型一樣好的性能，極大提高已有的在線核方法的在線多標簽預測性能。

2、本發(fā)明的目的是這樣實現(xiàn)的：一種用于圖像多標簽數(shù)據(jù)流分類的在線自適應核選擇方法，包括以下步驟：

3、步驟1)在第t輪，程序接收到一個待識別圖像的特征向量

4、步驟2)利用特征映射子程序將xt分別映射到p個特征空間，得到映射后的特征向量其中，對于任意的p∈{1,2,…,p}，φp(·)是核函數(shù)kp蘊含的非線性特征映射，dp是第p個映射后的特征空間的維度；

5、步驟3)使用當前最新的多標簽核分類器來實時預測xt的相關標簽集，其中且對于任意的p∈{1,2,…,p}，μt＝[μ1,t,…,μp,t]t∈δ，且該多標簽核分類器由p個單核多標簽分類器wp,t以及相對應的組合系數(shù)μp,t組成，而每個單核多標簽分類器wp,t則包含l個標簽得分預測器和1個標簽閾值預測器；預測xt的相關標簽集為：

6、

7、步驟4)預測結束后，xt的真實的相關標簽集yt被揭曉，然后進入多標簽核分類器的在線更新子程序，該子程序通過解決一個涉及到p個單核多標簽分類器及其組合系數(shù)的聯(lián)合優(yōu)化問題來得到多標簽核分類器的迭代更新公式，從而得到下一輪的多標簽核分類器

8、步驟5)回到步驟1)，等待第t+1輪的圖像特征向量；若沒有新的特征向量傳入，則退出程序。

9、進一步的，步驟1)前需要給定一個圖像多標簽數(shù)據(jù)流{(x1,y1),(x2,y2),…,(xt,yt)}，其中是t時刻到達的一張圖像經(jīng)過特征提取后得到的d維的實值向量，是與xt相聯(lián)系的相關標簽的集合，表示所有可能的標簽的集合，l是標簽的總數(shù)；使用一個預定義的核函數(shù)集合{k1,k2,...,kp}作為輸入，其中p表示預定義的核函數(shù)的數(shù)目。

10、進一步的，對于任意特征向量以及任意的p∈{1,2,…,p}，所述核函數(shù)kp滿足條件kp(xi,xj)≤1。

11、進一步的，步驟3)中多標簽核分類器的迭代更新公式推導方法如下：

12、首先，定義如下的損失函數(shù)來評估多標簽核分類器在樣本(x,y)上的多標簽分類性能表現(xiàn)：

13、

14、其中，|y|表示集合y的大小，表示與x無關的標簽的集合，根據(jù)統(tǒng)計學習中的正則化框架，找到最小化正則化損失的即求解如下問題：

15、

16、其中，是正則化項，λ>0是一個預定義的正則化系數(shù)，||wp||f是矩陣wp的f范數(shù)，是向量的2-范數(shù)；

17、然后，定義如下?lián)p失函數(shù)來評估單核多標簽模型wp在樣本(φp(x),y)上的分類性能：

18、

19、由于，μ＝[μ1,…,μp]∈δ是一個概率分布，函數(shù)g(z)＝max{0,1-z}是一個凸函數(shù)，利用jensen不等式，得到在原始優(yōu)化目標中將l替換為它的上界，并重新整理后得到如下優(yōu)化問題：

20、

21、其中，表示正則化的單核模型的損失；

22、最后，求解上述兩個子問題，第一個子問題涉及到在每個映射后的特征空間中找到一個最優(yōu)的單核多標簽模型，其目標是最小化所有樣本上的正則化單核損失；第二個子問題旨在確定最優(yōu)的組合系數(shù)，以最小化由這些最優(yōu)的單核多標簽模型產(chǎn)生的損失的加權平均值。

23、進一步的，使用在線梯度下降法增量地求解第一個子問題：

24、初始時，設置也即是，對于任意的p∈{1,2,…,p}，任意的i∈{1,2,…,l+1}，設置當?shù)趖≥1輪，按照如下公式得到

25、

26、其中，ft(wp)是f(wp；(φp(xt),yt))的簡寫，是ft(wp)關于的次梯度在wp,t處的具體值，η<1/λ是預定義的學習步長；計算得到且

27、

28、其中這里表示一個指示函數(shù)，在條件h成立時，不成立時，帶入得到每個單核多標簽模型的迭代更新公式：

29、

30、對于所有的p＝1,2,…,p，依次應用此公式，得到w1,t+1,w2,t+1,…,wp,t+1，從而得到

31、進一步的，使用專家預測算法hedge算法增量地求解第二個子問題：

32、為未標準化的組合系數(shù)向量，μt＝[μ1,t,μ2,t,…,μp,t]t為其標準化后的組合系數(shù)向量，即這里表示向量的1-范數(shù)；初始時，當?shù)趖≥1輪，首先計算得到每個單核多標簽分類模型wp,t所招致的損失ft(wp,t)，然后按照如下公式得到μt+1：

33、

34、其中，β>0是這個更新的步長，是向量的1-范數(shù)；在每一輪中，允許更新公式(1)和(2)被執(zhí)行l(wèi)次。

35、進一步的，步驟3)中多標簽核分類器的在線更新子程序步驟如下：

36、3-1)在第t輪，接收到完整的圖像數(shù)據(jù)信息(xt,yt)；

37、3-2)對于p＝1,2,…,p，依次使用公式(1)計算得到w1,t+1,w2,t+1,…,wp,t+1，從而得到

38、3-3)對于p＝1,2,…,p，依次計算ft(wp,t)，使用公式(2)計算得到從而得到

39、3-4)執(zhí)行步驟3-2)、3-3)共l次，使樣本(xt,yt)被學習l次，得到改進的和

40、3-5)使用公式(3)計算得到μt+1，最終得到下一輪的多標簽核分類器

41、進一步的，在運行本方法前，需要提前確定好算法的超參數(shù)，包括正則化系數(shù)λ，學習步長η，學習步長β。

42、與現(xiàn)有技術相比，本發(fā)明的有益效果在于：

43、本發(fā)明方法與現(xiàn)有的基于核的在線多標簽分類方法相比，省去了麻煩的離線核選擇程序，能保證在在線學習的過程中從預定義的核函數(shù)集合中找到全局最優(yōu)的核函數(shù)，并學習到最優(yōu)的核分類器，極大提高核方法的在線多標簽預測性能。