一種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法
【專利摘要】本發(fā)明公開了一種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法，主要包含以下步驟：首先提出一種新的張量秩定義，張量不同模態(tài)下展開矩陣秩的最大值，采用核范數(shù)指數(shù)和的對數(shù)來逼近該張量秩定義，將其轉(zhuǎn)化為凸函數(shù)；其次為了消除張量不同模態(tài)下展開的矩陣的相關(guān)性，引入一系列輔助變量來代替展開矩陣，并將約束條件利用拉格朗日乘子法轉(zhuǎn)化為增廣拉格朗日函數(shù)；最后采用交替方向法對增廣拉格朗日函數(shù)中各類變量進(jìn)行迭代優(yōu)化，直到收斂。其中，對于核范數(shù)的指數(shù)和中的優(yōu)化變量，本發(fā)明是一種通用的方法，相對于其它的經(jīng)典張量恢復(fù)方法，該方法能夠更好的描述高維數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，從而獲得更好的恢復(fù)結(jié)。
【專利說明】-種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機(jī)模式識別【技術(shù)領(lǐng)域】，具體涉及一種基于指數(shù)化核范數(shù)與混合奇 異值截斷的張量恢復(fù)方法。

【背景技術(shù)】
[0002] 張量恢復(fù)（tensor completion)，即高維矩陣的恢復(fù)問題，對于一個部分元素缺失 的高維矩陣，通過觀察其已有位置的元素，從而恢復(fù)出缺失部分元素的一般性問題，是計算 機(jī)模式識別領(lǐng)域中的研究熱點之一，被廣泛應(yīng)用于圖像去噪、圖像恢復(fù)、信息推薦系統(tǒng)等眾 多領(lǐng)域。總的來說，大多數(shù)現(xiàn)有的張量恢復(fù)方法是基于低秩結(jié)構(gòu)假設(shè)，即要求恢復(fù)的缺失 元素使得整個張量的秩盡可能的小。目前有兩種傳統(tǒng)的定義張量秩的方法：基于張量的 CP(CANDECOMP/PARAFAC)分解方法（CP秩）和Tucker分解方法（Tucker秩）。具體來說， CP秩可以定義為：用秩一張量（rank-one tensor)之和來表不給定張量需要的秩一張量的 最小個數(shù)。Tucker秩可以定義為：不同模態(tài)下展開矩陣的秩的線性加權(quán)。無論是CP秩還 是Tucker秩，最小化該張量秩的優(yōu)化問題被證明是一個NP難問題。
[0003] 為了解決上述問題，Gandy等人采用不同模態(tài)下展開矩陣秩的和來表示張量的秩， 在計算過程中，將展開矩陣的秩用矩陣的核范數(shù)來近似代替。Signoretto等人提出一種 Shatten-p范數(shù)來代替展開矩陣的核范數(shù)，并由此定義了張量的秩，最后討論了該方法與核 范數(shù)之間的關(guān)系。隨后，Liu等人采用不同模態(tài)下展開矩陣核范數(shù)的線性加權(quán)來近似代替 Tucker秩，并將該方法應(yīng)用于圖像恢復(fù)和醫(yī)學(xué)圖像去噪。最后，Tomioka等人對張量恢復(fù)方 法進(jìn)行了總結(jié)，認(rèn)為有兩種方式可以實現(xiàn)張量恢復(fù)：（1)將張量按某一個模態(tài)展開成二階 矩陣，可以將張量恢復(fù)問題轉(zhuǎn)化為了二階矩陣的恢復(fù)問題；（2)采用不同模態(tài)下展開矩陣 核范數(shù)的線性加權(quán)來近似代替Tucker秩。
[0004] 可以看出，上述方法的目的都是尋找張量Tucker秩的近似。然而Tucker秩定義 的幾何意義不清晰，并且張量不同模態(tài)下的權(quán)重難以選擇，如果某個模態(tài)下展開矩陣的秩 很大，而其對應(yīng)的權(quán)重很小，那么上述定義將無法正確地描述張量的秩結(jié)構(gòu)，從而導(dǎo)致張量 低秩恢復(fù)效果不夠理想。張量的CP秩是對矩陣秩的一個推廣，它的幾何意義比Tucker秩 更為明確，然而直接優(yōu)化CP秩是一個非常困難的問題，甚至連局部最優(yōu)都難以獲得。


【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種基于指數(shù)化核范數(shù)與混合 奇異值截斷的張量恢復(fù)方法，基于CP秩的思想，提出一種新的張量秩定義方式，該張量秩 是CP秩的下界，并且能夠有效地逼近CP秩，使得張量恢復(fù)過程對噪聲更為魯棒。此外，該 定義沒有任何權(quán)重參數(shù)需要設(shè)置，可以有效的消除參數(shù)影響。為了優(yōu)化問題的可解性，我們 用張量不同模態(tài)下展開矩陣核范數(shù)的指數(shù)和的對數(shù)來近似張量秩，并提出了一種混合奇異 值截斷算法來獲得優(yōu)化問題的解析解，從而實現(xiàn)快速有效的張量恢復(fù)。
[0006] 為實現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：一種基于指數(shù)化核范數(shù)與混合奇 異值截斷的張量恢復(fù)方法，其特征在于：包括以下三個步驟：
[0007] (1)提出一種新的張量秩定義：張量不同模態(tài)下展開矩陣秩的最大值；該定義是 張量CP秩的下界，能夠有效的逼近CP秩，并消除了權(quán)重參數(shù)的影響，采用核范數(shù)指數(shù)和的 對數(shù)來逼近該張量秩定義，將其轉(zhuǎn)化為凸函數(shù)；
[0008] (2)為了消除張量不同模態(tài)下展開的矩陣的相關(guān)性，引入一系列輔助變量來代替 展開矩陣，并將約束條件利用拉格朗日乘子法轉(zhuǎn)化為增廣拉格朗日函數(shù)；
[0009] (3)采用交替方向法對增廣拉格朗日函數(shù)中各類變量進(jìn)行迭代優(yōu)化，直到收斂； 其中，對于核范數(shù)的指數(shù)和中的優(yōu)化變量，采用混合奇異值截斷算法來獲得解析解。
[0010] 本發(fā)明進(jìn)一步設(shè)置，所述的步驟（1)具體包括以下子步驟：
[0011] 首先，根據(jù)張量CP秩和Tucker秩的優(yōu)缺點，提出一種新的張量秩定義：張量展開 矩陣秩的最大值；
[0012] 其次，將展開矩陣的秩松弛為展開矩陣的核范數(shù)，并且利用核范數(shù)的指數(shù)和的對 數(shù)來逼近最大值函數(shù)，從而將上述張量的秩定義轉(zhuǎn)化為凸函數(shù)。
[0013] 本發(fā)明還進(jìn)一步設(shè)置，所述的步驟（2)具體包括以下子步驟：
[0014] 首先，由于張量在不同模態(tài)下的展開矩陣具有相關(guān)性，引入一系列輔助矩陣變量 來替換不同模態(tài)下的展開矩陣，并增加對應(yīng)的約束條件；
[0015] 其次，采用拉格朗日乘子法將所有約束條件加入到目標(biāo)函數(shù)中，獲得增廣拉格朗 日函數(shù)。
[0016] 本發(fā)明還進(jìn)一步設(shè)置，所述的步驟（3)具體包括以下子步驟：
[0017] 首先，為了對增廣拉格朗日函數(shù)中的不同變量進(jìn)行分別優(yōu)化，采用交替方向法對 增廣拉格朗日函數(shù)中的各類變量進(jìn)行迭代優(yōu)化；
[0018] 其次，對于核范數(shù)指數(shù)中的優(yōu)化變量，采用混合奇異值截斷算法來獲得解析解。
[0019] 本發(fā)明的優(yōu)點是：1、本發(fā)明所提出一種全新的并且通用的張量秩的定義方法，對 任意張量數(shù)據(jù)都適用。并且，該定義是張量CP秩的下界，能夠有效地逼近CP秩，并消除了 Tucker秩中權(quán)重參數(shù)的影響。
[0020] 2、本發(fā)明提出一種有效的方法對張量秩定義進(jìn)行松弛：將展開矩陣的秩松弛為展 開矩陣的核范數(shù)，并且利用展開矩陣核范數(shù)的指數(shù)和的對數(shù)來逼近最大值函數(shù)，從而將張 量恢復(fù)中的目標(biāo)函數(shù)轉(zhuǎn)化為凸函數(shù)。
[0021] 3、本發(fā)明采用輔助變量來消除張量不同模態(tài)下展開的矩陣的相關(guān)性，并采用拉格 朗日乘子法將所有的約束條件轉(zhuǎn)化為增廣拉格朗日函數(shù)，從而減小了優(yōu)化問題的復(fù)雜度。
[0022] 4、本發(fā)明采用了一種交替方向法來實現(xiàn)對增廣拉格朗日函數(shù)的分解迭代優(yōu)化。對 于核范數(shù)的指數(shù)和中的優(yōu)化變量，本發(fā)明提出了一種混合奇異值截斷算法來獲得解析解， 從而實現(xiàn)快速有效的張量恢復(fù)。
[0023] 下面結(jié)合說明書附圖和具體實施例對本發(fā)明作進(jìn)一步說明。

【專利附圖】

【附圖說明】
[0024] 圖1為本發(fā)明實施例的整體流程圖。

【具體實施方式】
[0025] 參見圖1，本發(fā)明提供一種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法， 包括以下三個步驟：
[0026] (1)提出一種新的張量秩定義：張量不同模態(tài)下展開矩陣秩的最大值；該定義是 張量CP秩的下界，能夠有效的逼近CP秩，并消除了權(quán)重參數(shù)的影響，采用核范數(shù)指數(shù)和的 對數(shù)來逼近該張量秩定義，將其轉(zhuǎn)化為凸函數(shù)；
[0027] (2)為了消除張量不同模態(tài)下展開的矩陣的相關(guān)性，引入一系列輔助變量來代替 展開矩陣，并將約束條件利用拉格朗日乘子法轉(zhuǎn)化為增廣拉格朗日函數(shù)；
[0028] (3)采用交替方向法對增廣拉格朗日函數(shù)中各類變量進(jìn)行迭代優(yōu)化，直到收斂； 其中，對于核范數(shù)的指數(shù)和中的優(yōu)化變量，采用混合奇異值截斷算法來獲得解析解。
[0029] 作為優(yōu)選的，本實施例所述的步驟（1)具體包括以下子步驟：
[0030] 首先，根據(jù)張量CP秩和Tucker秩的優(yōu)缺點，提出一種新的張量秩定義：張量展開 矩陣秩的最大值；
[0031] 其次，將展開矩陣的秩松弛為展開矩陣的核范數(shù)，并且利用核范數(shù)的指數(shù)和的對 數(shù)來逼近最大值函數(shù)，從而將上述張量的秩定義轉(zhuǎn)化為凸函數(shù)。
[0032] 作為優(yōu)選的，本實施例所述的步驟（2)具體包括以下子步驟：
[0033] 首先，由于張量在不同模態(tài)下的展開矩陣具有相關(guān)性，引入一系列輔助矩陣變量 來替換不同模態(tài)下的展開矩陣，并增加對應(yīng)的約束條件；
[0034] 其次，采用拉格朗日乘子法將所有約束條件加入到目標(biāo)函數(shù)中，獲得增廣拉格朗 日函數(shù)。
[0035] 作為優(yōu)選的，本實施例所述的步驟（3)具體包括以下子步驟：
[0036] 首先，為了對增廣拉格朗日函數(shù)中的不同變量進(jìn)行分別優(yōu)化，采用交替方向法對 增廣拉格朗日函數(shù)中的各類變量進(jìn)行迭代優(yōu)化；
[0037] 其次，對于核范數(shù)指數(shù)中的優(yōu)化變量，采用混合奇異值截斷算法來獲得解析解。
[0038] 本發(fā)明的方法具體運行的硬件和編程語言并不限制，用任何語言編寫都可以完 成，為此其它工作模式不再贅述。
[0039] 本發(fā)明的實施例采用一臺具有Intel Core_i3中央處理器和4G字節(jié)內(nèi)存的計算機(jī) 并用Matlab語言編制了基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)的工作程序，實 現(xiàn)了本發(fā)明的方法。
[0040] 本發(fā)明的基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法主要包括以下三 個步驟：張量秩的定義以及該定義的凸松弛設(shè)計、輔助變量的引入及轉(zhuǎn)化、交替方向優(yōu)化策 略等模塊，具體步驟如下所述：
[0041] (1)提出一種有效的張量秩定義，并通過多種松弛策略將其轉(zhuǎn)化為凸函數(shù)。其主要 包含：
[0042] a)對于給定的張量X，我們給出一種新的張量秩的定義，具體形式如下，
[0043]

【權(quán)利要求】
1. 一種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法，其特征在于：包括以下 三個步驟： (1) 提出一種新的張量秩定義：張量不同模態(tài)下展開矩陣秩的最大值；該定義是張量 CP秩的下界，能夠有效的逼近CP秩，并消除了權(quán)重參數(shù)的影響，采用核范數(shù)指數(shù)和的對數(shù) 來逼近該張量秩定義，將其轉(zhuǎn)化為凸函數(shù)； (2) 為了消除張量不同模態(tài)下展開的矩陣的相關(guān)性，引入一系列輔助變量來代替展開 矩陣，并將約束條件利用拉格朗日乘子法轉(zhuǎn)化為增廣拉格朗日函數(shù)； (3) 采用交替方向法對增廣拉格朗日函數(shù)中各類變量進(jìn)行迭代優(yōu)化，直到收斂；其中， 對于核范數(shù)的指數(shù)和中的優(yōu)化變量，采用混合奇異值截斷算法來獲得解析解。
2. 根據(jù)權(quán)利要求1所述的一種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法， 其特征在于：所述的步驟（1)具體包括以下子步驟： 首先，根據(jù)張量CP秩和Tucker秩的優(yōu)缺點，提出一種新的張量秩定義：張量展開矩陣 秩的最大值； 其次，將展開矩陣的秩松弛為展開矩陣的核范數(shù)，并且利用核范數(shù)的指數(shù)和的對數(shù)來 逼近最大值函數(shù)，從而將上述張量的秩定義轉(zhuǎn)化為凸函數(shù)。
3. 根據(jù)權(quán)利要求1所述的一種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法， 其特征在于：所述的步驟（2)具體包括以下子步驟： 首先，由于張量在不同模態(tài)下的展開矩陣具有相關(guān)性，引入一系列輔助矩陣變量來替 換不同模態(tài)下的展開矩陣，并增加對應(yīng)的約束條件； 其次，采用拉格朗日乘子法將所有約束條件加入到目標(biāo)函數(shù)中，獲得增廣拉格朗日函 數(shù)。
4. 根據(jù)權(quán)利要求1所述的一種基于指數(shù)化核范數(shù)與混合奇異值截斷的張量恢復(fù)方法， 其特征在于：所述的步驟（3)具體包括以下子步驟： 首先，為了對增廣拉格朗日函數(shù)中的不同變量進(jìn)行分別優(yōu)化，采用交替方向法對增廣 拉格朗日函數(shù)中的各類變量進(jìn)行迭代優(yōu)化； 其次，對于核范數(shù)指數(shù)中的優(yōu)化變量，采用混合奇異值截斷算法來獲得解析解。
【文檔編號】G06T5/00GK104063852SQ201410321348
【公開日】2014年9月24日 申請日期:2014年7月7日 優(yōu)先權(quán)日:2014年7月7日
【發(fā)明者】張笑欽, 王迪 申請人:溫州大學(xué)