專利名稱：一種協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)據(jù)挖掘和個(gè)性化推薦技術(shù)領(lǐng)域，特別是涉及一種協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法。
背景技術(shù)：
互聯(lián)網(wǎng)信息規(guī)模的爆炸性增長(zhǎng)，帶來(lái)信息超載的問(wèn)題，過(guò)量信息同時(shí)呈現(xiàn)，使得用戶很難從中篩選出對(duì)個(gè)人有效的部分，信息利用率反而降低。個(gè)性化推薦技術(shù)是數(shù)據(jù)挖掘研究領(lǐng)域的重要分支，目標(biāo)是通過(guò)建立個(gè)性化推薦系統(tǒng)來(lái)提供“信息找人”的智能服務(wù)，以從根本上解決信息超載。 作為推薦產(chǎn)生源，推薦模型是個(gè)性化推薦系統(tǒng)中的核心組件，而基于矩陣因式分解的推薦模型因其具備良好的推薦準(zhǔn)確率和可擴(kuò)展性，是一類應(yīng)用廣泛的推薦模型，目前，個(gè)性化推薦技術(shù)能夠根據(jù)用戶的歷史行為，對(duì)用戶和信息的內(nèi)在聯(lián)系進(jìn)行分析，從而將用戶與其可能會(huì)感興趣的信息聯(lián)系起來(lái)，提供信息找人的智能服務(wù)，從而解決信息超載的問(wèn)題，推薦模型作為推薦系統(tǒng)中的核心部件，是個(gè)性化推薦技術(shù)領(lǐng)域研究的重點(diǎn)，由于矩陣因式分解推薦模型具備很高的推薦準(zhǔn)確率和良好的可擴(kuò)展性，因而具備廣泛的應(yīng)用范圍，但是，由于矩陣因式分解推薦模型的訓(xùn)練過(guò)程中，其用戶隱特征和項(xiàng)目隱特征相互依賴，無(wú)法進(jìn)行并行化，從而限制了模型的進(jìn)一步推廣。因此在深入研究基于矩陣因式分解的推薦模型訓(xùn)練過(guò)程的基礎(chǔ)上，本領(lǐng)域技術(shù)人員致力于開(kāi)發(fā)一種協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法，能夠消除矩陣因式分解推薦模型中的用戶隱特征矩陣和項(xiàng)目隱特征矩陣在訓(xùn)練過(guò)程中的相互依賴關(guān)系。

發(fā)明內(nèi)容
有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能夠消除矩陣因式分解推薦模型中用戶隱特征矩陣和項(xiàng)目隱特征矩陣在訓(xùn)練過(guò)程中相互依賴的協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法。通過(guò)對(duì)矩陣因式分解推薦模型的訓(xùn)練過(guò)程進(jìn)行分析，確定用戶和項(xiàng)目隱特征在訓(xùn)練過(guò)程中的相互依賴性是由對(duì)相應(yīng)隱特征的狀態(tài)值的引用關(guān)系導(dǎo)致，因此，通過(guò)引入單列隨機(jī)梯度下降機(jī)制，消除了用戶和項(xiàng)目隱特征在訓(xùn)練過(guò)程中對(duì)相應(yīng)隱特征狀態(tài)值的引用，從而消除了用戶隱特征矩陣和項(xiàng)目隱特征矩陣在訓(xùn)練過(guò)程中的相互依賴性，再以此為基礎(chǔ)，對(duì)用戶隱特征和項(xiàng)目隱特征的訓(xùn)練過(guò)程進(jìn)行并行化，達(dá)到進(jìn)一步提升矩陣因式分解協(xié)同過(guò)濾推薦模型可擴(kuò)展性的目的，本發(fā)明按以下步驟進(jìn)行步驟一、單列用戶隱特征矩陣或/和項(xiàng)目隱特征矩陣；對(duì)于需要構(gòu)造的矩陣因式分解推薦模型，將其用戶隱特征矩陣P或/和項(xiàng)目隱特征矩陣Q單列；通過(guò)單列P和Q，使得P、Q在第t輪訓(xùn)練過(guò)程中僅依賴于自身的狀態(tài)值和對(duì)應(yīng)隱特征矩陣在第t輪訓(xùn)練開(kāi)始前的初始值，因此，對(duì)于第t輪訓(xùn)練過(guò)程，P、Q的每一行向量的訓(xùn)練結(jié)果僅依賴于自身的狀態(tài)值、對(duì)應(yīng)隱特征向量的初始值和相應(yīng)訓(xùn)練數(shù)據(jù)，P、Q間的相互依賴關(guān)系被消除。步驟二、判斷隱特征矩陣是否收斂；當(dāng)用戶隱特征矩陣和項(xiàng)目隱特征矩陣收斂時(shí)，輸出訓(xùn)練完成的用戶隱特征矩陣或/和項(xiàng)目隱特征矩陣；當(dāng)用戶隱特征矩陣或/和項(xiàng)目隱特征矩陣未收斂時(shí)，執(zhí)行步驟三。步驟三、構(gòu)造基于單列隨機(jī)梯度下降的用戶隱特征向量或/和項(xiàng)目隱特征向量訓(xùn)練過(guò)程；根據(jù)單列的用戶隱特征矩陣和項(xiàng)目隱特征矩陣，對(duì)矩陣因式分解推薦模型的隱特征矩陣訓(xùn)練過(guò)程進(jìn)行分解，得到用戶隱特征矩陣訓(xùn)練過(guò)程或/和項(xiàng)目隱特征矩陣訓(xùn)練過(guò)程的兩個(gè)訓(xùn)練子過(guò)程；在訓(xùn)練時(shí)刻t時(shí)，對(duì)于用戶隱特征矩陣P中第u行的向量Pu，其基于單列隨機(jī)梯度下降的訓(xùn)練過(guò)程為P=Ck · ρ ；1 + ”Σ cM_k I —〈pSqf〉. · qt1, M 為 Pu 對(duì)應(yīng)的訓(xùn)練樣本個(gè)數(shù)，M 為·k=l
正整數(shù)，k為用戶隱特征矩陣系統(tǒng)學(xué)習(xí)訓(xùn)練樣本的次序，KkS Μ，η為學(xué)習(xí)速率，C為學(xué)習(xí)過(guò)程規(guī)約系數(shù)，C = 1-η · λ, λ為學(xué)習(xí)過(guò)程規(guī)范化因子，ru，k為Pu對(duì)應(yīng)的第k個(gè)訓(xùn)練樣本；在訓(xùn)練時(shí)刻t時(shí)，對(duì)于項(xiàng)目隱特征矩陣Q中的第i行向量qi;其基于單列隨機(jī)梯度下降
的訓(xùn)練過(guò)程為=Ck ·# + ^嚴(yán)[% -〈qr1，#〉]·!)；1，H為屮對(duì)應(yīng)的訓(xùn)練樣本個(gè)數(shù)，H為
h=l
正整數(shù)，h為項(xiàng)目隱特征矩陣系統(tǒng)學(xué)習(xí)訓(xùn)練樣本的次序，I ^ h ^ H,rhji為qi對(duì)應(yīng)的第h個(gè)訓(xùn)練樣本。本發(fā)明避免了傳統(tǒng)的矩陣因式分解協(xié)同過(guò)濾推薦模型的訓(xùn)練過(guò)程中各用戶隱特征向量與項(xiàng)目隱特征向量相互依賴，無(wú)法進(jìn)行并行化的缺陷，能為個(gè)性化推薦研究提供模型支撐和分析手段。較佳的，在所述步驟三之后還包括并行訓(xùn)練用戶隱特征矩陣或/和項(xiàng)目隱特征矩陣的步驟，以達(dá)到進(jìn)一步提升矩陣因式分解推薦模型可擴(kuò)展性的目的；并行訓(xùn)練用戶隱特征矩陣按以下步驟進(jìn)行Al、根據(jù)派發(fā)空間Z和訓(xùn)練樣本集合R，依次將用戶隱特征矩陣P中的第m行向量
及其對(duì)應(yīng)的訓(xùn)練樣本派發(fā)至對(duì)應(yīng)的訓(xùn)練節(jié)點(diǎn)S1,直到ΣΝ —{|};PZ為派發(fā)到訓(xùn)練節(jié)點(diǎn)S1
pepz η I
的隱向量集合，Rp表示戶隱特征向量所對(duì)應(yīng)的訓(xùn)練樣本；Α2、派發(fā)過(guò)程完成后，對(duì)所有的用戶隱特征向量進(jìn)行并行訓(xùn)練；并行訓(xùn)練項(xiàng)目隱特征矩陣按以下步驟進(jìn)行BI、根據(jù)派發(fā)空間Z和訓(xùn)練樣本集合R，依次將項(xiàng)目隱特征矩陣Q中的第η行向量及其對(duì)應(yīng)的訓(xùn)練樣本派發(fā)至對(duì)應(yīng)的訓(xùn)練節(jié)點(diǎn)S2，直到;QZ為派發(fā)至節(jié)點(diǎn)S2的隱
qeQz|Z|
向量集合，Rq表示項(xiàng)目征矩陣向量所對(duì)應(yīng)的訓(xùn)練樣本；B2、派發(fā)過(guò)程完成后，對(duì)所有的項(xiàng)目隱特征向量進(jìn)行并行訓(xùn)練。本發(fā)明的有益效果是本發(fā)明通過(guò)對(duì)協(xié)同過(guò)濾推薦模型的訓(xùn)練進(jìn)行優(yōu)化，消除了用戶隱特征矩陣與項(xiàng)目隱特征矩陣的相互依賴關(guān)系，提高了可擴(kuò)展性，具備更快的收斂速度，達(dá)到收斂所需的訓(xùn)練輪數(shù)更少，提高了推薦模型的構(gòu)建速度。


圖I是本發(fā)明實(shí)施例一的流程示意圖。圖2是本發(fā)明實(shí)施例二的流程示意圖。圖3是本發(fā)明實(shí)施例二的流程不意圖。圖4是本發(fā)明與PRMF推薦法的準(zhǔn)確率對(duì)比圖。圖5是本發(fā)明與PRMF推薦法的加速比的對(duì)比圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明實(shí)施例一如圖I所示，一種協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法，其特征在于按以下步驟進(jìn)行步驟一、單列用戶隱特征矩陣；對(duì)于需要構(gòu)造的矩陣因式分解推薦模型，將其用戶隱特征矩陣P單列；步驟二、判斷隱特征矩陣是否收斂；當(dāng)用戶隱特征矩陣收斂時(shí)，輸出訓(xùn)練完成的用戶隱特征矩陣；當(dāng)用戶隱特征矩陣未收斂時(shí)，執(zhí)行步驟三。步驟三、構(gòu)造基于單列隨機(jī)梯度下降的用戶隱特征向量訓(xùn)練過(guò)程；根據(jù)單列的用戶隱特征矩陣，對(duì)矩陣因式分解推薦模型的隱特征矩陣訓(xùn)練過(guò)程進(jìn)行分解，得到用戶隱特征矩陣訓(xùn)練過(guò)程的訓(xùn)練子過(guò)程；在訓(xùn)練時(shí)刻t時(shí)，對(duì)于用戶隱特征矩陣P中第u行的向量Pu，其基于單列隨機(jī)梯度下降的訓(xùn)練過(guò)程為
P =Ck -Pl;1 +^ |；cM-k[ru.k -，M為Pu對(duì)應(yīng)的訓(xùn)練樣本個(gè)數(shù)，M為正整數(shù)，k為用
權(quán)利要求
1.一種協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法，其特征在于按以下步驟進(jìn)行 步驟一、單列用戶隱特征矩陣和項(xiàng)目隱特征矩陣； 對(duì)于需要構(gòu)造的矩陣因式分解推薦模型，將其用戶隱特征矩陣P或/和項(xiàng)目隱特征矩陣Q單列； 步驟二、判斷隱特征矩陣是否收斂；當(dāng)用戶隱特征矩陣或項(xiàng)目隱特征矩陣未收斂時(shí)，執(zhí)行步驟三。
步驟三、構(gòu)造基于單列隨機(jī)梯度下降的用戶隱特征向量或/和項(xiàng)目隱特征向量訓(xùn)練過(guò)程； 根據(jù)單列的用戶隱特征矩陣和項(xiàng)目隱特征矩陣，對(duì)矩陣因式分解推薦模型的隱特征矩陣訓(xùn)練過(guò)程進(jìn)行分解，得到用戶隱特征矩陣訓(xùn)練過(guò)程或/和項(xiàng)目隱特征矩陣訓(xùn)練過(guò)程的兩個(gè)訓(xùn)練子過(guò)程；在訓(xùn)練時(shí)刻t時(shí)，對(duì)于用戶隱特征矩陣P中第u行的向量Pu，其基于單列隨機(jī)梯度下降的訓(xùn)練過(guò)程為 數(shù)，k為用戶隱特征矩陣系統(tǒng)學(xué)習(xí)訓(xùn)練樣本的次序，I ^ k ^ μ, η為學(xué)習(xí)速率，c為學(xué)習(xí)過(guò)程規(guī)約系數(shù)，C = I-H · λ，λ為學(xué)習(xí)過(guò)程規(guī)范化因子，ru，k為Pu對(duì)應(yīng)的第k個(gè)訓(xùn)練樣本；在訓(xùn)練時(shí)刻t時(shí)，對(duì)于項(xiàng)目隱特征矩陣Q中的第i行向量qi;其基于單列隨機(jī)梯度下降的訓(xùn)練過(guò)程為為％對(duì)應(yīng)的訓(xùn)練樣本個(gè)數(shù)，H為正整 數(shù)，h為項(xiàng)目隱特征矩陣系統(tǒng)學(xué)習(xí)訓(xùn)練樣本的次序，I < h < H，riu為qi對(duì)應(yīng)的第h個(gè)訓(xùn)練樣本；
2.如權(quán)利要求I所述的一種協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法，其特征在于在所述步驟三之后還包括并行訓(xùn)練用戶隱特征矩陣或/和項(xiàng)目隱特征矩陣的步驟； 并行訓(xùn)練用戶隱特征矩陣按以下步驟進(jìn)行 Al、根據(jù)派發(fā)空間Z和訓(xùn)練樣本集合R，依次將用戶隱特征矩陣P中的第m行向量及其對(duì)應(yīng)的訓(xùn)練樣本派發(fā)至對(duì)應(yīng)的訓(xùn)練節(jié)點(diǎn)S1，直到Σ|ΚΡ| — 1} ;PZ為派發(fā)到訓(xùn)練節(jié)點(diǎn)S1的隱向量集合，Rp表示戶隱特征向量所對(duì)應(yīng)的訓(xùn)練樣本； A2、派發(fā)過(guò)程完成后，對(duì)所有的用戶隱特征向量進(jìn)行并行訓(xùn)練；并行訓(xùn)練項(xiàng)目隱特征矩陣按以下步驟進(jìn)行 BI、根據(jù)派發(fā)空間Z和訓(xùn)練樣本集合R，依次將項(xiàng)目隱特征矩陣Q中的第η行向量及其對(duì)應(yīng)的訓(xùn)練樣本派發(fā)至對(duì)應(yīng)的訓(xùn)練節(jié)點(diǎn)S2，直到為派發(fā)至節(jié)點(diǎn)S2的隱向量 集合，Rq表示項(xiàng)目征矩陣向量所對(duì)應(yīng)的訓(xùn)練樣本； B2、派發(fā)過(guò)程完成后，對(duì)所有的項(xiàng)目隱特征向量進(jìn)行并行訓(xùn)練。
全文摘要
本發(fā)明公開(kāi)了一種協(xié)同過(guò)濾推薦模型的優(yōu)化訓(xùn)練方法，屬于數(shù)據(jù)挖掘和個(gè)性化推薦技術(shù)領(lǐng)域，通過(guò)將隱特征矩陣單列，從而消除用戶隱特征和項(xiàng)目隱特征在訓(xùn)練過(guò)程中的相互依賴性，然后將其劃分為基于單列隨機(jī)梯度下降的用戶隱特征訓(xùn)練過(guò)程和項(xiàng)目隱特征訓(xùn)練過(guò)程，最后并行執(zhí)行用戶隱特征訓(xùn)練過(guò)程和項(xiàng)目隱特征訓(xùn)練過(guò)程，本發(fā)明通過(guò)對(duì)協(xié)同過(guò)濾推薦模型的訓(xùn)練進(jìn)行優(yōu)化，消除了用戶隱特征矩陣與項(xiàng)目隱特征矩陣的相互依賴關(guān)系，提高了可擴(kuò)展性，具備更快的收斂速度，達(dá)到收斂所需的訓(xùn)練輪數(shù)更少，提高了推薦模型的構(gòu)建速度。
文檔編號(hào)G06N5/00GK102930341SQ201210389800
公開(kāi)日2013年2月13日 申請(qǐng)日期2012年10月15日 優(yōu)先權(quán)日2012年10月15日
發(fā)明者羅辛, 夏云霓 申請(qǐng)人:羅辛, 夏云霓