專(zhuān)利名稱(chēng)：一種用于推薦系統(tǒng)的計(jì)算機(jī)數(shù)據(jù)挖掘方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于推薦系統(tǒng)的計(jì)算機(jī)數(shù)據(jù)挖掘方法，屬于計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的飛速發(fā)展，電子商務(wù)規(guī)模的不斷擴(kuò)大，商品個(gè)數(shù)和種類(lèi)快速增長(zhǎng)，顧客需要花費(fèi)越來(lái)越多的時(shí)間才能從大量的商品中找到自己想買(mǎi)的商品。這種瀏覽大量無(wú)關(guān)信息和商品的過(guò)程使得被信息過(guò)載問(wèn)題困擾的消費(fèi)者不斷流失。為了解決這些問(wèn)題，個(gè)性化推薦系統(tǒng)應(yīng)運(yùn)而生。個(gè)性化推薦系統(tǒng)建立在海量數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)之上，通過(guò)分析用戶(hù)的數(shù)據(jù)，如興趣和偏好等，提供完全個(gè)性化的決策支持和信息服務(wù)，提高了電子商務(wù)網(wǎng)站的流量轉(zhuǎn)換率。另外，隨著互聯(lián)網(wǎng)信息的爆炸式增長(zhǎng)，資訊類(lèi)網(wǎng)站用戶(hù)也面臨著被海量資訊淹沒(méi)的困擾。推薦系統(tǒng)在新聞推薦、影視作品推薦和圖書(shū)推薦等領(lǐng)域的使用提升了用戶(hù)體驗(yàn)，增加了網(wǎng)站粘性，因此也有較為廣泛的應(yīng)用。常見(jiàn)的推薦系統(tǒng)算法有基于關(guān)聯(lián)規(guī)則(Association Rules)的推薦、基于內(nèi)容的推薦和協(xié)同過(guò)濾(Collaborative Filtering, CF)三種。其中協(xié)同過(guò)濾技術(shù)在推薦系統(tǒng)中應(yīng)用最為廣泛。但仍然有許多問(wèn)題亟待解決。整體而言，數(shù)據(jù)稀疏性(Sparsity)問(wèn)題和系統(tǒng)延展性(Scalability)問(wèn)題是所有協(xié)同過(guò)濾算法所面臨的共同挑戰(zhàn)。已有技術(shù)中，“R. Salakhutdinov and A. Mnih, “Probabilistic MatrixFactorization，，，Advances in Neural Information Processing Systems20 (NIPS’ 07)，pp. 1257 - 1264，2008”，公開(kāi)了一種用于計(jì)算機(jī)數(shù)據(jù)挖掘的概率矩陣分解算法(以下簡(jiǎn)稱(chēng)PMF,Probabilistic Matrix Factorization,)這是近年來(lái)提出的基于貝葉斯理論的矩陣分解算法。PMF模型可用于基于評(píng)分(ratings)的協(xié)同過(guò)濾，不但具有良好的系統(tǒng)擴(kuò)展性(與用戶(hù)增長(zhǎng)成線性比關(guān)系)，而且在稀疏數(shù)據(jù)中表現(xiàn)優(yōu)秀。作為一種線性因子模型，PMF模型中用戶(hù)的偏好可以表示為由用戶(hù)對(duì)服務(wù)項(xiàng)目的偏好因子的線性組合形成的向量。用戶(hù)對(duì)NXM的偏好矩陣R可表示為一個(gè)NXD的用戶(hù)偏好矩陣Ut和一個(gè)DXM的商品因子矩陣V的乘積，即R=UtV。訓(xùn)練這樣一個(gè)模型等同于在給定損失函數(shù)的條件下尋找目標(biāo)矩陣R的最佳D維近似。其次，PMF是基于貝葉斯理論的矩陣分解算法。通過(guò)給U、V矩陣賦予合理的先驗(yàn)概率分布，以及根據(jù)R ^ UtV關(guān)系得到R矩陣的似然函數(shù)，可以計(jì)算參數(shù)矩陣U、V的后驗(yàn)概率分布，最后使用最大后驗(yàn)概率估計(jì)法求得U、V矩陣。舉例說(shuō)明假設(shè)有N個(gè)用戶(hù)和M個(gè)電影，用戶(hù)對(duì)電影的評(píng)分值為從I到K的整數(shù)。Rij表示用戶(hù)i對(duì)電影j的評(píng)分，u G礦⑶和V G Rdxm是用戶(hù)和電影的潛在特征矩陣。定義可觀察的所有評(píng)分?jǐn)?shù)據(jù)R相對(duì)于潛在特征U、V的似然函數(shù)為
權(quán)利要求
1. 一種用于推薦系統(tǒng)的計(jì)算機(jī)數(shù)據(jù)挖掘方法，其特征在于該方法包括以下步驟 (1)設(shè)定一個(gè)NXM的偏好矩陣R，其中N為偏好矩陣R的行數(shù)，N等于用戶(hù)個(gè)數(shù)，M為偏好矩陣R的列數(shù)，M等于為用戶(hù)服務(wù)的項(xiàng)目個(gè)數(shù)； (2)向計(jì)算機(jī)輸入文件，將輸入文件轉(zhuǎn)換成映射化簡(jiǎn)模型中的序列文件，使序列文件中的每一行為偏好矩陣R的一個(gè)行向量，偏好矩陣R的每一行的數(shù)據(jù)結(jié)構(gòu)為行向量下標(biāo)和鍵值對(duì)數(shù)組組成，其中鍵值對(duì)數(shù)組包括服務(wù)項(xiàng)目編號(hào)和用戶(hù)對(duì)該服務(wù)項(xiàng)目的偏好； (3)將偏好矩陣R表示為R=UtV,其中Ut為NXD的用戶(hù)偏好矩陣的轉(zhuǎn)置，N等于用戶(hù)個(gè)數(shù)，D為用戶(hù)服務(wù)項(xiàng)目偏好因子個(gè)數(shù)，V為DXM的服務(wù)項(xiàng)目偏好矩陣，M為服務(wù)項(xiàng)目個(gè)數(shù)； (4)在計(jì)算機(jī)的主服務(wù)器中生成用戶(hù)偏好矩陣U和服務(wù)項(xiàng)目偏好矩陣V，其中用戶(hù)偏好矩陣U的行為用戶(hù)編號(hào)，列為用戶(hù)偏好因子，初始化時(shí)用戶(hù)偏好因子為任意實(shí)數(shù)，服務(wù)項(xiàng)目偏好矩陣V的行為服務(wù)項(xiàng)目編號(hào)，列為服務(wù)項(xiàng)目偏好因子，并設(shè)初始化時(shí)服務(wù)項(xiàng)目偏好因子為任意實(shí)數(shù)； (5)將上述偏好矩陣R的行向量分發(fā)給計(jì)算機(jī)中的多個(gè)映射器，各映射器根據(jù)讀取的偏好矩陣R的行向量，分別根據(jù)公式
全文摘要
本發(fā)明涉及一種用于推薦系統(tǒng)的計(jì)算機(jī)數(shù)據(jù)挖掘方法，屬于計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域。首先在計(jì)算機(jī)的主服務(wù)器中初始化用戶(hù)偏好矩陣和服務(wù)項(xiàng)目偏好矩陣，將用戶(hù)輸入的偏好矩陣的行向量分發(fā)給計(jì)算機(jī)中的多個(gè)映射器，各映射器分別計(jì)算用戶(hù)偏好矩陣和服務(wù)項(xiàng)目偏好矩陣的梯度方向的子方向，并將計(jì)算結(jié)果發(fā)送給計(jì)算機(jī)中的化簡(jiǎn)器，化簡(jiǎn)器對(duì)接收的梯度方向的子方向進(jìn)行累加，并根據(jù)用戶(hù)偏好矩陣和服務(wù)項(xiàng)目偏好矩陣的梯度方向矩陣，對(duì)用戶(hù)偏好矩陣和服務(wù)項(xiàng)目偏好矩陣進(jìn)行更新。本發(fā)明方法對(duì)已有的PMF算法進(jìn)行了改進(jìn)，提高了大規(guī)模數(shù)據(jù)處理能力；采用鍵值對(duì)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)儲(chǔ)存偏好矩陣，使得占用的儲(chǔ)存空間更小，數(shù)據(jù)讀取速度更快。
文檔編號(hào)G06F17/16GK102750360SQ201210193229
公開(kāi)日2012年10月24日 申請(qǐng)日期2012年6月12日 優(yōu)先權(quán)日2012年6月12日
發(fā)明者丁貴廣, 姜曉偉, 王建民, 龍明盛 申請(qǐng)人:清華大學(xué)