本文中所公開的至少一些實(shí)施例大體上涉及存儲(chǔ)器裝置且更特定來說但不限于，在使用存儲(chǔ)器單元執(zhí)行乘法及其它運(yùn)算之前調(diào)整存儲(chǔ)器單元的編程的存儲(chǔ)器裝置。

背景技術(shù)：

1、有限的存儲(chǔ)器帶寬是機(jī)器學(xué)習(xí)系統(tǒng)中的一個(gè)重大問題。例如，當(dāng)前系統(tǒng)中使用的dram裝置存儲(chǔ)深度神經(jīng)網(wǎng)絡(luò)(dnn)中使用的大量權(quán)重及激活。

2、在一個(gè)實(shí)例中，深度學(xué)習(xí)機(jī)器(例如支持針對(duì)卷積神經(jīng)網(wǎng)絡(luò)(cnn)的處理的那些機(jī)器)執(zhí)行處理以確定每秒的大量計(jì)算。例如，輸入/輸出數(shù)據(jù)、深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練參數(shù)及中間結(jié)果不斷地從一或多個(gè)存儲(chǔ)器裝置(例如，dram)提取及存儲(chǔ)在所述一或多個(gè)存儲(chǔ)器裝置中。當(dāng)涉及大存儲(chǔ)密度(例如，大于100mb的存儲(chǔ)密度)時(shí)，通常歸因于其成本優(yōu)勢而使用dram類型的存儲(chǔ)器。在深度學(xué)習(xí)硬件系統(tǒng)的一個(gè)實(shí)例中，計(jì)算單元(例如，單片系統(tǒng)(soc)、fpga、cpu或gpu)附接到(若干)存儲(chǔ)器裝置(例如，dram裝置)。

3、現(xiàn)存計(jì)算機(jī)架構(gòu)使用專用于串行處理的處理器芯片及針對(duì)高密度存儲(chǔ)器優(yōu)化的dram。這兩個(gè)裝置之間的接口是一個(gè)主要瓶頸，其引入延時(shí)及帶寬限制且增加相當(dāng)大的功耗開銷。片上存儲(chǔ)器是面積昂貴的且不可能將大量存儲(chǔ)器添加到當(dāng)前用來訓(xùn)練及部署dnn的cpu及gpu處理器。

4、使用神經(jīng)網(wǎng)絡(luò)中的存儲(chǔ)器以隨著輸入傳播通過網(wǎng)絡(luò)而存儲(chǔ)輸入數(shù)據(jù)、權(quán)重參數(shù)及激活。在訓(xùn)練中，必須保留來自正向通路的激活，直到它們可被用來計(jì)算反向通路中的錯(cuò)誤梯度。作為實(shí)例，網(wǎng)絡(luò)可具有2600萬個(gè)權(quán)重參數(shù)且計(jì)算正向通路中的1600萬次激活。如果使用32位浮點(diǎn)值來存儲(chǔ)每一權(quán)重及激活，那么這對(duì)應(yīng)于168mb的總存儲(chǔ)要求。

5、gpu及其它機(jī)器需要顯著存儲(chǔ)器用于神經(jīng)網(wǎng)絡(luò)的權(quán)重及激活。gpu無法高效地直接執(zhí)行深度神經(jīng)網(wǎng)絡(luò)中使用的小卷積，因此它們需要顯著激活或權(quán)重存儲(chǔ)。最后，還需要存儲(chǔ)器來存儲(chǔ)輸入數(shù)據(jù)、臨時(shí)值及程序指令。例如，高性能gpu可能需要超過7gb的本地dram。

6、在gpu處理器上無法保持大量存儲(chǔ)數(shù)據(jù)。在許多情況下，高性能gpu處理器可能具有僅1kb的存儲(chǔ)器與可足夠快地讀取以使浮點(diǎn)數(shù)據(jù)路徑飽和的處理器核心中的每一者相關(guān)聯(lián)。因此，在dnn的每一層處，gpu需要將狀態(tài)保存到外部dram，加載網(wǎng)絡(luò)的下一層，且接著重載數(shù)據(jù)。因此，片外存儲(chǔ)器接口遭受不斷地重載權(quán)重以及保存及檢索激活的負(fù)擔(dān)。這顯著地縮減訓(xùn)練時(shí)間且增加功耗。

7、在一個(gè)實(shí)例中，使用圖像及其它傳感器且其產(chǎn)生大量數(shù)據(jù)。在一些應(yīng)用中，將某些類型的數(shù)據(jù)從所述傳感器傳輸?shù)酵ㄓ梦⑻幚砥?例如，中央處理單元(cpu))以供處理是低效的。例如，將圖像數(shù)據(jù)從圖像傳感器傳輸?shù)轿⑻幚砥饕怨﹫D像分段、對(duì)象辨識(shí)、特征提取等是低效的。

8、一些圖像處理可包含涉及用于累加的元素的列或矩陣的乘法的密集型計(jì)算。已開發(fā)出用于加速乘法及累加運(yùn)算的一些專用電路。例如，乘法器-累加器(mac單元)可使用一組并行計(jì)算邏輯電路來實(shí)施以實(shí)現(xiàn)比通用微處理器更高的計(jì)算性能。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的一方面涉及一種裝置，其包括：主機(jī)接口，其經(jīng)配置以與主機(jī)通信；及邏輯電路系統(tǒng)，其經(jīng)配置以：基于第一存儲(chǔ)器單元的上下文確定至少一個(gè)偏移電壓；及對(duì)所述第一存儲(chǔ)器單元進(jìn)行編程以存儲(chǔ)來自所述主機(jī)的第一權(quán)重，其中使用所述至少一個(gè)偏移電壓調(diào)整所述第一存儲(chǔ)器單元的閾值電壓。

2、本申請(qǐng)的另一方面涉及一種系統(tǒng)，其包括：至少一個(gè)傳感器；及至少一個(gè)控制器，其經(jīng)配置以：對(duì)第一存儲(chǔ)器單元進(jìn)行編程以存儲(chǔ)第一權(quán)重，其中使用經(jīng)調(diào)整目標(biāo)電流執(zhí)行所述編程；及基于累加來自所述第一存儲(chǔ)器單元的輸出電流而確定至少一個(gè)結(jié)果，其中所述第一權(quán)重乘以對(duì)應(yīng)于由所述傳感器收集的數(shù)據(jù)的輸入。

3、本申請(qǐng)的又一方面涉及一種方法，其包括：在第一集成電路裸片上的半導(dǎo)體襯底上方形成存儲(chǔ)器單元陣列；及在第二集成電路裸片上形成控制器，其中所述控制器經(jīng)配置以：確定預(yù)測在執(zhí)行至少一次乘法時(shí)存在的所述陣列中的第一存儲(chǔ)器單元的環(huán)境；及對(duì)所述第一存儲(chǔ)器單元進(jìn)行編程，其中基于所述經(jīng)預(yù)測環(huán)境調(diào)整所述編程。

技術(shù)特征：

1.一種裝置，其包括：

2.根據(jù)權(quán)利要求1所述的裝置，其中所述上下文包含與所述第一權(quán)重相關(guān)聯(lián)的特性、所述第一存儲(chǔ)器單元在存儲(chǔ)器單元陣列中的位置或在執(zhí)行乘法時(shí)與所述第一存儲(chǔ)器單元相關(guān)聯(lián)的至少一個(gè)電流的預(yù)測中的至少一者。

3.根據(jù)權(quán)利要求1所述的裝置，其中所述上下文包含關(guān)于對(duì)至少一個(gè)輸入的預(yù)測的統(tǒng)計(jì)數(shù)據(jù)或存儲(chǔ)器單元陣列中的權(quán)重模式中的至少一者。

4.根據(jù)權(quán)利要求1所述的裝置，其中所述上下文包含由處理引起的存儲(chǔ)器單元變動(dòng)或來自相鄰單元的干擾中的至少一者。

5.一種系統(tǒng)，其包括：

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中乘法運(yùn)算期間的所述輸出電流對(duì)應(yīng)于所述第一存儲(chǔ)器單元的相應(yīng)目標(biāo)電流。

7.根據(jù)權(quán)利要求5所述的系統(tǒng)，其進(jìn)一步包括經(jīng)配置以將至少一個(gè)電壓施加到字線以選擇所述第一存儲(chǔ)器單元用于將所述第一權(quán)重乘以所述輸入的電壓驅(qū)動(dòng)器。

8.一種方法，其包括：

9.根據(jù)權(quán)利要求8所述的方法，其中所述第一存儲(chǔ)器單元通過選擇晶體管耦合到至少一條位線，且執(zhí)行所述乘法包括將至少一個(gè)輸入模式施加到所述選擇晶體管的柵極。

10.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括：

技術(shù)總結(jié)
描述與針對(duì)矩陣向量乘法使用存儲(chǔ)器單元預(yù)補(bǔ)償?shù)拇鎯?chǔ)器裝置相關(guān)的系統(tǒng)、方法及設(shè)備。在一種方法中，存儲(chǔ)器單元陣列具有存儲(chǔ)器單元，所述存儲(chǔ)器單元用來基于對(duì)來自所述存儲(chǔ)器單元的輸出電流求和而執(zhí)行矩陣向量乘法。存儲(chǔ)器單元的上下文由控制器(例如，具有所述陣列的存儲(chǔ)器芯片內(nèi)部或外部的存儲(chǔ)器控制器)來確定。所述上下文可包含例如存儲(chǔ)器單元的物理位置、被編程的權(quán)重模式及/或相鄰單元干擾等?；谒鼋?jīng)確定上下文，所述控制器動(dòng)態(tài)地確定用于在執(zhí)行所述矩陣向量乘法之前對(duì)所述存儲(chǔ)器單元進(jìn)行編程以存儲(chǔ)權(quán)重的調(diào)整(例如，經(jīng)調(diào)整目標(biāo)閾值電壓或電流)。

技術(shù)研發(fā)人員：W·C·菲利皮亞克,J·M·赫斯特
受保護(hù)的技術(shù)使用者：美光科技公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6