两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

自動硬件恢復方法及自動硬件恢復系統(tǒng)與流程

文檔序號:11829620閱讀:277來源:國知局
自動硬件恢復方法及自動硬件恢復系統(tǒng)與流程

本發(fā)明涉及硬件恢復,具體而言,涉及自動硬件恢復系統(tǒng)。



背景技術(shù):

計算機的效能及處理能力于近數(shù)十年來有巨大且穩(wěn)定的成長。不足為奇地,計算系統(tǒng),譬如服務器,已越來越復雜,其通常配備越來越多的數(shù)量及類型的組件,譬如處理器、存儲器和附加卡。大部分專家同意此趨勢將持續(xù)至未來。

然而,隨著硬件組件的數(shù)量及復雜度成長,計算系統(tǒng)越來越易于遭受裝置失效。確實,裝置失效是系統(tǒng)管理員所面對的普遍常見的問題,尤其是在較大、較復雜的環(huán)境及架構(gòu)中,譬如數(shù)據(jù)中心及解集架構(gòu)(例如Rack Scale Architecture等)。不幸的是,裝置失效可以是非常具有破壞性的。例如,長時間的裝置失效可破壞計算或網(wǎng)絡服務,且有時候甚至會導致數(shù)據(jù)遺失。

為了改正裝置的失效,系統(tǒng)管理員通常必須執(zhí)行手動的硬件恢復過程。此硬件恢復過程可包括關(guān)閉系統(tǒng)或服務的電源以替換失效的系統(tǒng)組件。整體恢復過程可以是無效率的,且可能導致對使用者意義重大的服務上的破壞。此外,仰賴于使用者輸入來完成恢復過程上的某些步驟會進一步延遲系統(tǒng)的恢復并致使對使用者來說更大的破壞。



技術(shù)實現(xiàn)要素:

本揭示文件的附加特征及優(yōu)點將闡述于隨后的說明內(nèi)容中,且部分于說明內(nèi)容將是明顯的、或可藉由在此公開的原理的實行所習得。本揭示文件的附加特征及優(yōu)點可藉由附加的權(quán)利要求中特別指出的手段或組合來理解和取得。本揭示文件的附加特征及其他特征將自隨后的說明內(nèi)容及附加的權(quán)利要求中更加完全顯現(xiàn)、或可由此處闡述的原理的實行所習得。

此處闡述的方法可以用以執(zhí)行自動系統(tǒng)恢復。例如,此處闡述的方法可以在多種環(huán)境及架構(gòu)中執(zhí)行自動系統(tǒng)硬件恢復,包括解集的架構(gòu)。自動系統(tǒng) 恢復可限制或除去使用者手動輸入的需求且可大大減少使用者所經(jīng)歷的例如硬件失效造成的任何破壞。此外,自動系統(tǒng)恢復可實施于支持快速外圍組件互連(PCIe)熱插拔、通用串行總線(USB)熱插拔的架構(gòu)、以及不支持熱插拔程序的架構(gòu)。

本揭示文件公開用于自動硬件恢復的系統(tǒng)、方法、及非暫時性計算機可讀存儲介質(zhì)。在一些配置中,系統(tǒng)可接收關(guān)聯(lián)一節(jié)點的裝置的裝置失效的通知,此裝置譬如為快速外圍組件互連或任何類型的具有熱插拔能力的裝置。裝置失效可以是裝置的硬件和/或軟件失效。此外,此裝置包括任何組件或擴展卡,譬如網(wǎng)絡接口卡(NIC)、存儲裝置(例如固態(tài)硬盤)、圖形處理單元(GPU)等。

接著,系統(tǒng)可接收用以斷開裝置(例如PCIe裝置)與節(jié)點之間的鏈接的第一請求、及用以將替換裝置(例如PCIe替換裝置)于斷開鏈接后與此節(jié)點連接的第二請求。基于第一及第二請求,系統(tǒng)可接著重配置裝置切換結(jié)構(gòu)(例如PCIe switch fabric)以斷開此裝置與此節(jié)點之間的鏈接,并將替換裝置與此節(jié)點連接。

附圖說明

為了描述使上文記述和本揭示文件的其他優(yōu)點及特征能被了解的方式,在上文簡短描述的原理的更詳細描述將藉由此處繪示于附加圖示的具體實施例的參考來提供。應理解圖式僅描繪本發(fā)明的示范實施例,并不用以限制發(fā)明范圍,本文原理通過隨附的圖式的使用,以附加特性及細節(jié)來描述及解釋:

圖1A~圖1B繪示示例系統(tǒng)實施例;

圖2A繪示示例快速外圍組件互連系統(tǒng)支持熱插拔操作的方塊圖;

圖2B繪示在快速外圍組件互連系統(tǒng)中不藉由使用者輸入的熱插拔操作的示例過程的方塊圖;

圖2C繪示在快速外圍組件互連系統(tǒng)中不藉由使用者輸入或控制器的熱插拔操作的示例過程的方塊圖;

圖3A繪示自動硬件恢復的示例架構(gòu)的示意圖;

圖3B繪示在示例架構(gòu)中用于自動恢復的熱插拔機制的示意方塊圖;

圖3C繪示在示例架構(gòu)中用于自動恢復的熱調(diào)換機制的示意方塊圖;

圖4繪示用以執(zhí)行自動恢復程序的示例方法;

圖5繪示用以執(zhí)行熱新增程序的示例方法;以及

圖6繪示用以執(zhí)行熱移除程序的示例方法。

【符號說明】

100、150、200、312、314、316、318:系統(tǒng)

102:總線

104:存儲器

106:只讀存儲器

108:隨機存取存儲器

110、138:控制器

112:存儲裝置

114~118:模塊

120:輸入裝置

122:輸出裝置

124:通信接口

126:傳感器

128:快取

130:處理器

132:快閃存儲器

134、162:固件

136:顯示器

152:芯片組、硬件組件

154:橋接器

156:接口組件

158:通信接口

160:處理器、硬件組件

164:輸出裝置、硬件組件

166:存儲裝置

168:存儲器、存儲裝置、硬件組件

202:控制器

204:根端口

206:電源控制模塊

208:金屬氧化物半導體場效晶體管

210:擴展槽

212:按鈕

214:保留閂

216、218:指示燈

220、222、226、230、232、234、254、

256、266:信號

224、258:電源故障狀況

228:輸入

250、270:過程

252:硬件組成管理器

260:注意按壓按鈕輸入(說明書無)

262:手動操作保留閂(說明書無)

264:保留指示燈(說明書無)

300:架構(gòu)

302:切換結(jié)構(gòu)

304:結(jié)構(gòu)控制器

306:硬件監(jiān)控系統(tǒng)

310:網(wǎng)絡裝置

322:基本輸入/輸出系統(tǒng)、BIOS

324:操作系統(tǒng)、OS

326:裝置集區(qū)

328:裝置

330:鏈接

400、500、600:方法

402、404、406、502、504、506、508、510、512、602、604、606、608、610、612:步驟

具體實施方式

本揭示文件的各種實施例于下文作詳細地討論。當討論特定的實施方式時,應理解其僅用于說明的目的。本領域技術(shù)人員將了解到其他組件及配置 可在不背離本發(fā)明的精神及范圍的情況下被使用。

本揭示文件公開用于自動硬件恢復的系統(tǒng)、方法、及非暫時性計算機可讀存儲介質(zhì)。用于自動硬件恢復的示例系統(tǒng)及配置的簡短介紹描述首先于此公開。包括例子及變化例的自動硬件恢復的詳細描述將隨后提出。應作為不同實施例來描述的此等變化例被闡述。請參閱圖1A和圖1B。

圖1A和圖1B繪示示例系統(tǒng)實施例。當實行本發(fā)明技術(shù)時,更多適當?shù)膶嵤├龑τ诒绢I域技術(shù)人員是易見的。本領域技術(shù)人員將易于理解到其他系統(tǒng)實施例是可行的。

圖1A繪示系統(tǒng)總線計算系統(tǒng)架構(gòu)(系統(tǒng)100),其中系統(tǒng)的組件使用總線102與彼此電性通信。示例系統(tǒng)100包括處理器130(CPU或處理器)及將各個系統(tǒng)組件耦接至處理器130的系統(tǒng)總線102,此等系統(tǒng)組件包括系統(tǒng)存儲器104,譬如只讀存儲器106(ROM)及隨機存取存儲器108(RAM)。系統(tǒng)100可包括高速存儲器的快取,此高速存儲器直接與處理器130連接、或位于處理器130的近處、或整合作為處理器130的部分。系統(tǒng)100可自存儲器104和/或存儲裝置112復制數(shù)據(jù)至快取128以供處理器130來快速存取。在此方式中,快取可提供性能提升以避免處理器130在等待數(shù)據(jù)時延遲。此些或其他模塊可控制或被配置來控制處理器130來執(zhí)行不同操作。其他系統(tǒng)存儲器104同樣可供使用。存儲器104可包括多個不同類型的具有不同性能特性的存儲器。處理器130可包括任何一般目的處理器及配置以控制處理器130和特殊目的處理器的硬件模塊或軟件模塊,譬如存儲裝置112中的模塊一114、模塊二116、和模塊三118,其中軟件指令整合至實際處理器設計中。處理器130實質(zhì)上可為完全自足式計算系統(tǒng),包含多個內(nèi)核或處理器、總線、存儲器控制器、快取等。多內(nèi)核處理器可為對稱或非對稱。

為了致使與系統(tǒng)100的使用者互動,輸入裝置120可代表任何數(shù)量的輸入機制,譬如用于發(fā)言之麥克風、用于手勢或圖形輸入的觸摸感應屏幕、鍵盤、鼠標、動作輸入、發(fā)言等。輸出裝置122也可為本領域技術(shù)人員所知悉的一數(shù)量的輸出機制的一或多個。在一些例子中,多模系統(tǒng)可使一使用者提供多個類型的輸入來與系統(tǒng)100通信。通信接口124一般可支配及管理使用者輸入和系統(tǒng)輸出。本文公開技術(shù)在操作于任何特定硬件配置上是沒有限制的,因此基本特征可被容易地置換以供開發(fā)出的改良式硬件或固件配置。

存儲裝置112是非依電性存儲器且可為硬盤或其他類型的可存儲可被計 算機存取的數(shù)據(jù)的計算機可讀介質(zhì),譬如磁性卡帶、快閃存儲卡、固態(tài)存儲器裝置、數(shù)字通用磁碟、卡匣、隨機存取存儲器108(RAM)、只讀存儲器106(ROM)、及其等的混合。

存儲裝置112可包括軟件模塊114、116、118以控制處理器130。其他硬件或軟件模塊是可考慮的。存儲裝置112可被連接至系統(tǒng)總線102。在一方面,執(zhí)行特定功能的硬件模塊可包括存儲于計算機可讀介質(zhì)的軟件組件以實現(xiàn)功能,此計算機可讀介質(zhì)與必要硬件組件連接,譬如處理器130、總線102、顯示器136等。

控制器110可為系統(tǒng)100上的特定微控制器或處理器,譬如BMC(基板管理控制器)。在一些情況中,控制器110可為智慧平臺管理接口(IPMI)的部分。此外,在一些情況中,控制器110可內(nèi)嵌在主機板或系統(tǒng)100的主要電路板上??刂破?10可管理系統(tǒng)管理軟件及平臺硬件之間的接口??刂破?10也可與各種系統(tǒng)裝置及組件(內(nèi)部和/或外部)進行通信,譬如控制器或外圍組件,此將在下文作進一步描述。

控制器110可對于通知、警示、和/或事件產(chǎn)生特定回應并與遠程裝置或組件(例如電子郵件訊息、網(wǎng)絡訊息等)進行通信、及產(chǎn)生用于自動硬件恢復程序的指令或命令等。管理者也可與控制器110進行遠程通信以初始或進行特定硬件恢復程序或操作,此將在下文作進一步描述。

在系統(tǒng)100上的不同類型的傳感器(例如傳感器126)可向控制器110報告譬如冷卻風扇轉(zhuǎn)速、電力狀態(tài)、操作系統(tǒng)(OS)狀態(tài)、硬件狀態(tài)等參數(shù)??刂破?10也可包括系統(tǒng)事件日志控制器和/或存儲器以管理和維護控制器110接收的事件、警示、及通知。例如,控制器110或系統(tǒng)事件日志控制器可接收來自一或多個裝置及組件的警示或通知,并維護此等警示或通知于系統(tǒng)事件日志存儲組件中。

快閃存儲器132可以是可被系統(tǒng)100使用來存儲和/或數(shù)據(jù)傳輸?shù)碾娮臃且离娦杂嬎銠C存儲介質(zhì)或芯片??扉W存儲器132可被電氣抹除和/或重新編程??扉W存儲器132可包括例如抹除式可編程只讀存儲器(EPROM)、電可抹除可編程只讀存儲器(EEPROM)、ROM、NVRAM或互補式金屬氧化物半導體(CMOS)。快閃存儲器132可存儲當系統(tǒng)100第一次通電時由系統(tǒng)100執(zhí)行的固件134、及一組指定用于固件134的配置??扉W存儲器132也可存儲由固件134使用的配置。

固件134可包括基本輸入/輸出系統(tǒng)或其取代物或等效物,譬如可延伸固件接口(EFI)或統(tǒng)一可延伸固件接口(UEFI)。固件134可在系統(tǒng)100每次被啟動時被載入及執(zhí)行作為次序程序。固件134可基于此配置置來識別、啟始及檢測存在于系統(tǒng)100中的硬件。固件134可在系統(tǒng)100上執(zhí)行自我檢測,譬如開機自我檢測(POST)。此自我檢測可檢測譬如硬件驅(qū)動器、光學讀取裝置、冷卻裝置、存儲器模塊、擴展卡等各種硬件組件的功能。固件134可定址及分配存儲器104、只讀存儲器106、隨機存取存儲器108和/或存儲裝置112中的區(qū)域以存儲操作系統(tǒng)(OS)。固件134可載入啟動載入器和/或OS,并將系統(tǒng)100的控制提供給OS。

系統(tǒng)100的固件134可包括定義固件134如何控制系統(tǒng)100中各種硬件組件的固件配置。固件配置可決定系統(tǒng)100中各種硬件組件的啟動順序。固件134可提供譬如UEFI的可允許不同于固件預設配置中參數(shù)的多種不同參數(shù)設定的接口。舉例來說,一使用者(例如管理者)可使用固件134來指定周期及總線速率、定義何種外圍設備附接于系統(tǒng)100、設定狀態(tài)監(jiān)測(例如風扇速率及CPU溫度限制)、和/或提供影響系統(tǒng)100的整體效能及電力使用的多種其他參數(shù)。

當固件134以存儲于快閃存儲器132中來說明時,本領域技術(shù)人員將容易了解到固件134可存儲于其他存儲器組件中,譬若諸如存儲器104或只讀存儲器106。然而,用于解釋的目的,固件134以存儲于快閃存儲器132中作為一非限制例子來說明。

系統(tǒng)100可包括一或多個傳感器126。此一或多個傳感器126可包括例如一或多個溫度傳感器、熱感測器(thermal sensor)、氧氣傳感器、化學傳感器、噪聲傳感器、熱傳感器(heat sensor)、電流傳感器、電壓傳感器、氣流傳感器、流動傳感器、紅外線傳感器、熱流傳感器、溫度計、高溫計等。此一或多個傳感器126可例如與處理器、快取128、快閃存儲器132、通信接口124、存儲器104、只讀存儲器106、隨機存取存儲器108、控制器110及存儲裝置112通過總線102來通信。此一或多個傳感器126也可與系統(tǒng)中譬如內(nèi)部整合電路(I2C)、通用型輸出(GPO)等其他組件通過一或多個不同裝置來通信。

圖1B繪示具有芯片組架構(gòu)的計算機系統(tǒng)150的例子,此芯片組架構(gòu)可用以執(zhí)行所描述的方法或操作、及產(chǎn)生和顯示圖形使用者接口(GUI)。計算機系統(tǒng)150可包括可用來實行公開技術(shù)的計算機硬件、軟件及固件。計算機系統(tǒng) 150可包括處理器160、任何數(shù)量的能夠執(zhí)行軟件和固件的物理上和/或邏輯上不同的資源的表示體、以及配置來執(zhí)行識別的計算的硬件。處理器160可與能控制至處理器160的輸入和自處理器160的輸出的芯片組152通信。在此例中,芯片組152輸出信息至譬如顯示器的輸出裝置164,并可讀取及寫入信息至例如可包括磁性介質(zhì)的存儲裝置166、及固態(tài)介質(zhì)。芯片組152也可讀取來自隨機存取存儲器168的數(shù)據(jù)及寫入數(shù)據(jù)至隨機存取存儲器168。用以與多種使用者接口組件156介接的橋接器154可被提供來介接芯片組152。此種使用者接口組件156可包括鍵盤、麥克風、觸摸檢測及處理電路、譬如鼠標的指向裝置等。一般而言,至計算機系統(tǒng)150的輸入可來自多種資源、機器生成和/或人為生成的任何一個。

芯片組152也可與一或多個可具有不同物理接口的通信接口158介接。此種通信接口可包括用于有線及無線局域網(wǎng)絡、寬帶無線網(wǎng)絡、以及個人局域網(wǎng)絡的接口。在此公開之用以產(chǎn)生、顯示及使用GUI的方法的一些應用可包括藉由處理器160分析存儲于存儲裝置166或168的數(shù)據(jù)來通過物理接口接收有序數(shù)據(jù)組或接收由機器本身產(chǎn)生的有序數(shù)據(jù)組。更進一步地,此機器可接收來自一使用者通過使用者接口組件156的輸入并執(zhí)行適當?shù)墓δ?,譬如藉由使用處理?60解釋此等輸入來瀏覽功能。

此外,芯片組152也可與固件162通信,固件162可在電源開啟時被計算機系統(tǒng)150執(zhí)行。固件162可基于一組固件配置來識別、啟始及檢測存在于計算機系統(tǒng)150中的硬件。固件162可在計算機系統(tǒng)150上執(zhí)行自我檢測,譬如POST。此自我檢測可檢測各種硬件組件152~168的功能。固件162可定址及分配存儲器168中的區(qū)域以存儲OS。固件162可載入啟動載入器和/或OS,并將計算機系統(tǒng)150的控制提供給OS。在一些情況中,固件162可與硬件組件152~160及164~168進行通信。于此,固件162可通過芯片組152和/或一或多個組件來與硬件組件152~160及164~168進行通信。在一些情況中,固件162可直接與硬件組件152~160及164~168進行通信。

可理解的是示例系統(tǒng)100和150可具有多于一個處理器(例如130、160)或為一群組的部分或計算裝置的叢集互聯(lián)在一起以提供更大的處理能力。

為使解釋更清晰。在一些例子中本揭示技術(shù)可呈現(xiàn)為包括含有功能區(qū)塊的獨立功能區(qū)塊,功能區(qū)塊包括在軟件或是硬件和軟件組合中實施的方法的裝置、裝置組件、步驟或常規(guī)。

在一些實施例中,計算機可讀存儲裝置、介質(zhì)、及存儲器可包括含有一位串流的有線或無線信號等。然而,當提及時,非依電性計算機可讀存儲介質(zhì)明確地排除譬如能量、載波信號、電磁波及信號本身的介質(zhì)。

根據(jù)上述例子的方法可實施為使用存儲于計算機可讀介質(zhì)或可自計算機可讀介質(zhì)取得的計算機可執(zhí)行指令。此等指令可包括例如致使或配置通用目的計算機、特殊目的計算機或特殊目的處理裝置執(zhí)行特定的一功能或一組功能的指令或數(shù)據(jù)。使用的計算機資源的部分可通過網(wǎng)絡存取。計算機可執(zhí)行指令可例如為二進位、譬如組合語言之中間格式指令、固件或資源代碼??墒褂脕泶鎯χ噶?、使用的信息、和/或在根據(jù)所描述例子的方法期間產(chǎn)生的信息的計算機可讀介質(zhì)的例子包括磁性或光學硬盤、快閃存儲器、具有非依電性存儲器的USB裝置、連網(wǎng)存儲裝置等。

根據(jù)此等揭示內(nèi)容以實施方法的裝置可包含硬件、固件和/或軟件,且可采取任何不同的形式因子。此等形式因子的典型例子包括膝上型計算機、智能手機、小尺寸個人計算機、個人數(shù)字助理、機架式裝置、獨立式裝置等。在此描述的功能也可體現(xiàn)于外圍或外接卡。此種功能也可藉由下文進一步的例子來實施在不同芯片或執(zhí)行于單一裝置的不同過程之中的電路板上。

此等指令、用以傳送此等指令的介質(zhì)、用以執(zhí)行前述的計算資源、及其他用以支持此等計算資源的結(jié)構(gòu)皆用以提供于此描述的功能的手段。

圖2A繪示支持熱插拔操作的一示例快速外圍組件互連(PCIe)系統(tǒng)200的方塊圖。系統(tǒng)200可支持熱增加及熱移除操作。系統(tǒng)200可包括對于系統(tǒng)200的用以增加及移除PCIe裝置的擴展槽210。系統(tǒng)200可于擴展槽210上的裝置被安裝或移除時觸發(fā)熱新增或熱移除操作,此將在下文描述。

熱新增操作

系統(tǒng)200可支持熱新增操作,如下文所示。當PCIe裝置被插入擴展槽210時,一存在檢測信號226可被擴展槽210發(fā)送至控制器202來指示此PCIe裝置已被插入至擴展槽210??刂破?02可例如為PCIe熱插拔控制器或輸入/輸出擴展器(例如I2C切換器或擴展器)??刂破?02可例如通過一總線或譬如SMBus(系統(tǒng)管理總線)或I2C總線的通信通道來介接一或多個處理器、芯片組、外圍設備及組件。在一些配置中,控制器202可為一復雜可編程邏輯裝置(CPLD)、現(xiàn)場可編程門陣列(FPGA)、電可抹除可編程只讀存儲器(EEPROM)切換器、或任何I/O切換器或擴展器??刂破?02可傳送控制信號 220至PCIe切換器或根端口204以管理熱新增及熱移除操作。PCIe切換器或根端口204可包括一或多個熱插拔暫存器、邏輯、和/或組件以控制、管理、和/或處理熱插拔信號(例如PCIe熱插拔信號)。

在安裝PCIe裝置時的手動操作的保留閂214的關(guān)閉可觸發(fā)手動操作保留閂信號230被傳送至控制器202。

此外,系統(tǒng)200可包括可被用來觸發(fā)熱新增操作的注意按鈕212。當注意按鈕212被啟動,注意按鈕按壓輸入228可被傳送至控制器202。

控制器202可傳送電源指示信號234以啟動電源指示燈218(例如電源LED)。電源指示燈218在被啟動時可指示系統(tǒng)200處于過渡狀態(tài)。舉例來說,電源指示燈218在啟動時可閃爍以指示過渡狀態(tài)。

控制器202可接著傳送電源信號222至電源控制模塊206以供電給擴展槽210。金屬氧化物半導體場效晶體管208可被使用來切換或放大電源信號222。

熱插拔驅(qū)動可致使關(guān)聯(lián)于擴展槽210的總線的重新記數(shù)。系統(tǒng)200可檢測插入至擴展槽210的PCIe裝置、配置此裝置、及載入任何關(guān)聯(lián)于此裝置的驅(qū)動。

電源故障狀況224或手動操作保留閂214的開啟可轉(zhuǎn)換擴展槽210上的PCIe裝置至失能狀態(tài)??刂破?02可發(fā)送注意指示信號232以啟動注意指示燈216(指示LED)來指出操作上的問題。

熱移除操作

當操作上的問題發(fā)生時,系統(tǒng)200可執(zhí)行如下文描述的熱移除。熱移除操作可藉由啟動注意按壓按鈕212而被請求或觸發(fā)??刂破?02可接著傳遞此請求至熱插拔驅(qū)動。電源指示燈218可啟動來指示過渡狀態(tài)。擴展槽210中的PCIe裝置可被離線或斷連。舉例來說,系統(tǒng)200的操作系統(tǒng)(OS)可斷連PCIe裝置。

擴展槽210可接著被斷電。電源指示燈218也可被斷電以指示物理上移除PCIe裝置是安全的。

使用者可開啟手動操作保留閂214來移除PCIe裝置。至擴展槽210的切換信號可被斷電。使用者可接著移除PCIe裝置,而存在檢測信號226可被傳送至控制器202以指示擴展槽210目前是無載的。

圖2B繪示快速外圍組件互連(PCIe)系統(tǒng)200中無使用者輸入的熱插拔操 作的示例過程250的方塊圖。在過程250中,控制器138可接收來自硬件組成管理器252的指示PCIe裝置已被插入擴展槽210的請求??刂破?38可為微控制器或處理器,譬若諸如BMC。硬件組成管理器252可為網(wǎng)絡和/或數(shù)據(jù)中心之中的模塊或裝置,此數(shù)據(jù)中心維護網(wǎng)絡和/或數(shù)據(jù)中心之中各種組成物理機器的信息。

當控制器138接收來自硬件組成管理器252的請求時,其可接著模擬指示擴展槽中PCIe裝置存在的存在檢測信號254??刂破?38也可模擬手動操作保留閂214的關(guān)閉。此外,控制器138可接收來自控制器202的電源信號256以供電擴展槽210。

控制器138可接著藉由發(fā)送注意按壓按鈕輸入228至控制器202以啟始熱新增操作??刂破?38也可檢測指示OS載入用于PCIe裝置的驅(qū)動的過渡狀態(tài)的電源指示信號266。熱插拔驅(qū)動可致使擴展槽210的總線的重新記數(shù)。系統(tǒng)200可接著檢測及發(fā)現(xiàn)增加的PCIe裝置、配置此PCIe裝置、及載入其的驅(qū)動。

電源故障狀況258或手動操作保留閂214的開啟可轉(zhuǎn)換擴展槽210上的PCIe裝置至失能狀態(tài)??刂破?02可發(fā)送保留指示信號264來指示操作上的問題給控制器138??刂破?38可檢測操作上的問題及啟始熱移除操作。

對于熱移除操作,控制器138可接收來自硬件組成管理者252的對于PCIe裝置的熱移除的請求??刂破?38可模擬注意按壓按鈕輸入228及傳遞此輸入228至控制器202??刂破?02可傳遞此請求至熱插拔驅(qū)動。控制器138可檢測指示過渡狀態(tài)的電源指示信號266。

OS可將PCIe裝置從系統(tǒng)200移除或斷連??刂破?02也可斷電該擴展槽210??刂破?38可通知硬件組成管理器252熱移除過程已成功完成。

圖2C繪示快速外圍組件互連(PCIe)系統(tǒng)200中無使用者輸入或控制器的熱插拔操作的示例過程270的方塊圖??刂破?38可接收來自硬件組成管理器252的請求以執(zhí)行熱新增或熱移除??刂破?38可接著處理來自硬件組成管理器252的請求、如上述圖2B所描述的模擬控制器202的行為、以及置換使用者輸入來執(zhí)行熱插拔程序。

圖3A繪示自動硬件恢復的示例架構(gòu)300的示意圖。架構(gòu)300可包括系統(tǒng)312~318。系統(tǒng)312~318可為服務器、主機、或任何計算裝置,譬如繪示于圖1A的系統(tǒng)100。此外,系統(tǒng)312~318可存在于網(wǎng)絡中的數(shù)據(jù)中心里。此 網(wǎng)絡可為譬如局域網(wǎng)絡(LAN)的私人網(wǎng)絡、譬如互聯(lián)網(wǎng)的公用網(wǎng)絡、分散式網(wǎng)絡、譬如包括私人網(wǎng)絡和公用網(wǎng)絡的網(wǎng)絡的并合網(wǎng)絡等。

系統(tǒng)312~318可包括個別操作系統(tǒng)(OS)324、譬如基本輸入/輸出系統(tǒng)(BIOS)322的個別固件、及個別控制器138。操作系統(tǒng)324、基本輸入/輸出系統(tǒng)322、及控制器138可提供系統(tǒng)312~318的硬件及軟件計算環(huán)境,且可管理及整合硬件組件與在個別系統(tǒng)312~318上運行的軟件。此外,操作系統(tǒng)324、基本輸入/輸出系統(tǒng)322及控制器138可執(zhí)行各種功能、操作、和/或自動硬件恢復的任務。

舉例來說,基本輸入/輸出系統(tǒng)322可檢測硬件錯誤及通知控制器138,控制器138可接著轉(zhuǎn)送此等錯誤至硬件監(jiān)控系統(tǒng)306。同樣地,控制器138可檢測系統(tǒng)312~318上的硬件錯誤并發(fā)送此等所檢測的錯誤的指示或日志至硬件監(jiān)控系統(tǒng)306,硬件監(jiān)控系統(tǒng)306將在下文進一步描述??刂破?38也可作為代理來自基本輸入/輸出系統(tǒng)322和/或操作系統(tǒng)324發(fā)送錯誤至硬件監(jiān)控系統(tǒng)306。此外,控制器138可提供硬件控制機制來置換人為輸入以進行熱插拔程序。

操作系統(tǒng)324也可檢測硬件錯誤及通知控制器138,控制器138可接著轉(zhuǎn)送此等錯誤至硬件監(jiān)控系統(tǒng)306。舉例來說,若操作系統(tǒng)324具有可用的對于硬件監(jiān)控系統(tǒng)306的通信路徑以遞送錯誤通知訊息至硬件監(jiān)控系統(tǒng)306,操作系統(tǒng)324也可檢測硬件錯誤及發(fā)送此等硬件錯誤至硬件監(jiān)控系統(tǒng)306而不必要使用控制器138作為代理來轉(zhuǎn)送至硬件監(jiān)控系統(tǒng)306。

架構(gòu)300可包括解集架構(gòu)。為此,架構(gòu)300可包括裝置集區(qū)326,其可包括各種用以與系統(tǒng)312~318通信地耦合的裝置328。裝置集區(qū)326中的裝置328可包括任何外圍設備、輸入/輸出、和/或擴展裝置或組件,譬如PCIe裝置。舉例來說,裝置328可包括網(wǎng)絡接口組件、固態(tài)硬盤(SSD)、圖形處理單元、擴展卡等。

裝置集區(qū)326中的裝置328的一或多個可與系統(tǒng)312~318通信地耦合。舉例來說,系統(tǒng)312可與裝置1通信地耦合、系統(tǒng)314可與裝置2通信地耦合、系統(tǒng)316可與裝置3通信地耦合、系統(tǒng)318可與裝置4通信地耦合。此外,裝置集區(qū)326可包括一或多個額外設備,其等可能不與系統(tǒng)312~318的任何一個通信地耦合。舉例來說,裝置集區(qū)326可包括裝置5~8,裝置5~8不與系統(tǒng)312~318的任何一個通信地耦合。

若有必要的話,裝置328中不與系統(tǒng)312~318的任何一個通信地耦合的裝置(例如裝置5~8)于裝置集區(qū)326中是可用于與任何系統(tǒng)312~318通信地耦合的。舉例來說,裝置5~8于裝置集區(qū)326中可用于通過自動恢復和/或自動增加操作來與系統(tǒng)312~318耦接,此將在下文進一步描述。額外裝置(例如裝置5~8)可因此提供冗余、故障安全、可擴展性、發(fā)展、升級等選項,此將在下文進一步解釋。

裝置328可與系統(tǒng)312~318通過切換結(jié)構(gòu)302通信地耦接。切換結(jié)構(gòu)302可為總線結(jié)構(gòu),譬如PCIe結(jié)構(gòu)。此外,切換結(jié)構(gòu)302可提供系統(tǒng)312~318與裝置集區(qū)326中裝置328之間總線通信的路由和/或切換。因此,切換結(jié)構(gòu)302可提供多主機通信及I/O分享能力。

系統(tǒng)312~318與裝置集區(qū)326中裝置328之間的通信可通過切換結(jié)構(gòu)302藉由總線鏈接330來進行路由。更進一步地,切換結(jié)構(gòu)302中的路由可由結(jié)構(gòu)控制器304來配置。結(jié)構(gòu)控制器304可提供邏輯、指令、和/或配置以供通過切換結(jié)構(gòu)302來連接裝置328至系統(tǒng)312~318的路由通信。

系統(tǒng)312~318與結(jié)構(gòu)控制器304可與硬件組成管理器252及硬件監(jiān)控系統(tǒng)306通過網(wǎng)絡裝置310(例如切換器或路由器)來通信。硬件組成管理器252可為系統(tǒng)312~318以及一或多個特定數(shù)據(jù)中心和/或網(wǎng)絡中的任何其他裝置或系統(tǒng)來維護信息及數(shù)據(jù),譬如硬件及配置細節(jié)。舉例來說,硬件組成管理器252可維護指示出裝置328中哪個與系統(tǒng)312~318中哪個通信耦接的數(shù)據(jù)。硬件組成管理器252也可維護指示出裝置集區(qū)326中裝置328的哪個是可與系統(tǒng)312~318通信耦接的數(shù)據(jù)。

此外,硬件組成管理器252可存儲安裝、移除和/或恢復事件及程序。舉例來說,硬件組成管理器252可維護關(guān)于任何裝置被增加或自系統(tǒng)312~318移除、系統(tǒng)312~318經(jīng)歷的任何硬件錯誤、由系統(tǒng)312~318執(zhí)行的任何恢復程序、系統(tǒng)312~318和/或裝置328經(jīng)歷的任何硬件狀況、關(guān)聯(lián)系統(tǒng)312~318及裝置328的硬件狀態(tài)信息、執(zhí)行統(tǒng)計、配置數(shù)據(jù)、鏈接或路由信息等信息及統(tǒng)計。

硬件監(jiān)控系統(tǒng)306可在搜集架構(gòu)300中硬件錯誤事件。舉例來說,硬件監(jiān)控系統(tǒng)306可搜集數(shù)據(jù)中心中的硬件錯誤或故障事件。硬件監(jiān)控系統(tǒng)306也可存儲和/或?qū)嵤┮换蚨鄠€預定策略以供執(zhí)行錯誤恢復。舉例來說,硬件監(jiān)控系統(tǒng)306可實施預定策略以在系統(tǒng)中心或網(wǎng)絡中當系統(tǒng)上(例如系統(tǒng)312、 系統(tǒng)314等)有錯誤或故障被檢測到時執(zhí)行自動錯誤恢復。錯誤恢復策略可以是基于關(guān)聯(lián)錯誤或故障的系統(tǒng)和/或裝置的狀態(tài)、架構(gòu)和/或配置;切換結(jié)構(gòu)302的拓樸和/或狀態(tài);關(guān)聯(lián)網(wǎng)絡或數(shù)據(jù)中心的配置、狀態(tài)和/或拓樸;架構(gòu)300的配置或狀態(tài);軟件環(huán)境或設定(例如OS、BIOS、BMC等);錯誤或故障的類型;總線或I/O標準(例如PCIe);任何錯誤恢復偏好或要求等。其他錯誤恢復策略的非限制例子將在下文作進一步描述。

圖3A中裝置集區(qū)326僅顯示八個裝置,然而更多或較少的裝置及裝置類型仍在本文被考慮。確實,在本領域技術(shù)人員將容易察覺到在各種實施例或?qū)嵤┓绞街?,裝置集區(qū)326中裝置328可包括不同數(shù)量及類型的裝置。而圖3A中的八個裝置為提供來作為清楚解釋用途的非限制例子。

此外,顯示在圖3A中的架構(gòu)300中元件的數(shù)量及類型為提供來作為清楚解釋用途的非限制例子。確實,在本領域技術(shù)人員將容易察覺到,架構(gòu)300可包括更多或較少系統(tǒng)、切換器、硬件組成管理器、硬件監(jiān)控系統(tǒng)、切換結(jié)構(gòu)、結(jié)構(gòu)控制器、數(shù)據(jù)中心、裝置集區(qū)、及其他元件。此外,架構(gòu)300可包括不同于圖3A所示的元件,譬如不同切換器、管理系統(tǒng)、切換結(jié)構(gòu)、結(jié)構(gòu)控制器、數(shù)據(jù)中心、裝置集區(qū)、拓樸、配置、通信鏈接、通信及裝置類型或標準等。

圖3B繪示在示例架構(gòu)300中用于自動恢復的熱插拔機制的示意方塊圖。在此例中,恢復可于裝置1的故障(1)之后被執(zhí)行,裝置1與系統(tǒng)312通信耦接。系統(tǒng)312可經(jīng)由控制器138、BIOS 322或OS 324來檢測(2)裝置1的故障??刂破?38或OS 324可接著發(fā)送錯誤日志(3)至硬件監(jiān)控系統(tǒng)306。

硬件監(jiān)控系統(tǒng)306可接著發(fā)送恢復請求(4)至硬件組成管理器252?;謴驼埱罂梢笥布M成管理器252執(zhí)行硬件恢復程序以解決裝置1的故障。

硬件組成管理器252可接著發(fā)送一請求至控制器138以執(zhí)行熱插拔移除程序(5)??刂破?38可接著發(fā)送指示裝置1將被移除的一通知(6)至OS 324。此通知可通過控制熱插拔信號而被傳送,譬如控制標準PCIe熱插拔信號。OS 324可接著發(fā)送裝置移除成功信號至控制器138。裝置移除成功信號可經(jīng)由熱插拔信號(例如PCIe熱插拔信號)而被傳送。在接收到裝置移除成功信號后,控制器138可發(fā)送通知給硬件組成管理器252。

硬件組成管理器252可接著發(fā)送斷接/連接請求(8)至結(jié)構(gòu)控制器304。此斷接/連接請求可包括第一請求以斷開系統(tǒng)312與裝置1間的鏈接330、及第 二請求以將裝置5連接至系統(tǒng)312。

結(jié)構(gòu)控制器304可重組(9)切換結(jié)構(gòu)302以斷開裝置1與系統(tǒng)312間的鏈接330,并通過鏈接330將裝置5連接至系統(tǒng)312。

切換結(jié)構(gòu)302可通知硬件組成管理器252,裝置5已被分配給系統(tǒng)312。硬件組成管理器252可發(fā)送插入請求(11)給控制器138。此插入請求可為執(zhí)行譬如PCIe熱插拔插入程序的熱插拔裝置插入程序的請求。

控制器138可接著發(fā)送插入通知(12)給OS 324,指出裝置5已被插入或加入??刂破?38可例如經(jīng)由控制PCIe熱插拔信號來發(fā)送插入通知給OS 324。

裝置5可接著連接(13)至系統(tǒng)312。裝置5可經(jīng)由鏈接330來連接至系統(tǒng)312。鏈接330可為總線通信鏈接,譬如PCIe總線鏈接。

控制器138可發(fā)送通知(14)給硬件組成管理器252,指示裝置插入成功??刂破?38可通過例如PCIe熱插拔信號在自OS 324接收裝置成功插入信號后發(fā)送此通知。

硬件組成管理器252可接著發(fā)送成功通知(15)給硬件監(jiān)控系統(tǒng)306。此成功通知可指出自動硬件恢復是成功的。

圖3C繪示在示例架構(gòu)300中用于自動恢復的熱調(diào)換機制的示意方塊圖。自動恢復可在裝置1的故障(1)之后被執(zhí)行,裝置1與系統(tǒng)312通信耦接。系統(tǒng)312可經(jīng)由控制器138、BIOS 322或OS 324來檢測(2)裝置1的故障??刂破?38或OS 324可接著發(fā)送錯誤日志(3)至硬件監(jiān)控系統(tǒng)306。

硬件監(jiān)控系統(tǒng)306可接著發(fā)送恢復請求(4)至硬件組成管理器252?;謴驼埱罂梢笥布M成管理器252執(zhí)行硬件恢復程序以解決裝置1的故障。

硬件組成管理器252可接著發(fā)送斷接/連接請求(5)至結(jié)構(gòu)控制器304。此斷接/連接請求可包括第一請求以斷開系統(tǒng)312與裝置1間的鏈接330、及第二請求以將裝置5連接至系統(tǒng)312。

結(jié)構(gòu)控制器304可重組(6)切換結(jié)構(gòu)302以斷開裝置1與系統(tǒng)312間的鏈接330,并通過鏈接330將裝置5連接至系統(tǒng)312。

裝置5可接著連接(7)至系統(tǒng)312。裝置5可經(jīng)由鏈接330來連接至系統(tǒng)312。鏈接330可為總線通信鏈接,譬如PCIe總線鏈接。結(jié)構(gòu)控制器304可發(fā)送通知(8)至硬件處組成管理器252,指示裝置5已被分配給系統(tǒng)312。

硬件處組成管理器252可接著發(fā)送成功通知(9)給硬件監(jiān)控系統(tǒng)306。成功通知可指示自動硬件恢復是成功的。

上文已公開一些基本系統(tǒng)組件及概念,本揭示文件將轉(zhuǎn)向第4~6圖所示的示例方法實施例。為了清楚起見,方法將以第3A~3C圖所示的配置來實現(xiàn)各種步驟的結(jié)構(gòu)控制器304、系統(tǒng)312、控制器138、OS 324、硬件組成管理器252、及硬件監(jiān)控系統(tǒng)306來描述。在本文概述的步驟為示例性的且可實施于任何步驟組合,包括排除、增加或調(diào)整某些步驟的組合。

圖4繪示用以執(zhí)行自動恢復程序的示例方法400。在步驟402,結(jié)構(gòu)控制器304可響應關(guān)聯(lián)于一節(jié)點(例如系統(tǒng)312)的快速外圍組件互連(PCIe)裝置的故障被檢測,接收第一請求以斷開快速外圍組件互連裝置與節(jié)點間的鏈接。此請求可要求熱插拔移除或恢復程序,如前文所述。

結(jié)構(gòu)控制器304可自硬件組成管理器252接收此第一請求。硬件組成管理器252可基于一指令來產(chǎn)生此第一請求來執(zhí)行熱插拔裝置移除程序,此指令可由硬件組成管理器252自控制器138接收。

此外,快速外圍組件互連裝置的故障可由系統(tǒng)312經(jīng)由控制器138、BIOS 322或OS 324來檢測。裝置故障的檢測可觸發(fā)移除程序。舉例來說,裝置故障可觸發(fā)控制器138來發(fā)送錯誤日志給硬件監(jiān)控系統(tǒng)306,響應此錯誤日志的發(fā)送,硬件監(jiān)控系統(tǒng)306可觸發(fā)一請求至硬件組成管理器252來執(zhí)行自動恢復程序。

在步驟404,結(jié)構(gòu)控制器可接收第二請求以將替換快速外圍組件互連裝置(例如繪示于圖3A的裝置5~8的任何一個)與節(jié)點(例如系統(tǒng)312)連接。此第二請求可為針對熱插拔裝置插入或恢復程序,如前文所述。

在步驟406,結(jié)構(gòu)控制器可重組快速外圍組件互連切換結(jié)構(gòu)(例如切換結(jié)構(gòu)302)以:斷開快速外圍組件互連裝置(例如裝置1)與節(jié)點(例如系統(tǒng)312)間的鏈接,并將替換快速外圍組件互連裝置(例如繪示于圖3A的裝置5~8的任何一個)與此節(jié)點連接。

替換快速外圍組件互連裝置可接著連接至此節(jié)點。此節(jié)點可接著如預期地使用該替換快速外圍組件互連裝置。若替換快速外圍組件互連裝置的故障被檢測,另一自動恢復程序可被實行以再次替換此替換快速外圍組件互連裝置。

圖5繪示用以執(zhí)行熱新增程序的示例方法500。在步驟502,控制器138可接收裝置已被增加至擴展槽的通知??刂破?38可例如自硬件組成管理器252接收此通知。

在步驟504,控制器138可模擬指示擴展槽中裝置存在的存在檢測事件。

在步驟506,控制器138可模擬手動操作保留閂(例如MRL 214)的關(guān)閉。

在步驟508,控制器138可基于注意按鈕信號(例如注意按壓按鈕輸入228)來啟動熱新增??刂破?38也可檢測指示OS驅(qū)動載入的過渡態(tài)的電力鏈路轉(zhuǎn)換。

在步驟510,熱插拔驅(qū)動可致使關(guān)聯(lián)于擴展槽(例如插槽總線)的總線的重新列舉。在步驟512,裝置被重組且關(guān)聯(lián)的驅(qū)動被載入。舉例來說,系統(tǒng)312可檢測或找出被熱新增的裝置,并配置此裝置及載入關(guān)聯(lián)的驅(qū)動。

后續(xù)電力故障狀況或手動操作的保留閂的開啟可轉(zhuǎn)換裝置至失能狀態(tài)。熱插拔軟件可致動注意LED(發(fā)光二極管)信號(例如使LED信號閃爍或發(fā)光)以指示控制器138可檢測的操作問題。

裝置的失能狀態(tài)可觸發(fā)熱移除程序。圖6繪示用以執(zhí)行熱移除程序的示例方法600。

在步驟602,控制器138可接收針對一裝置的熱移除的請求。使請求可例如由控制器138自硬件組成管理器252接收。在步驟604,控制器138可模擬注意按鈕輸入(例如繪示于圖2A中的228)。注意按鈕輸入可觸發(fā)熱移除。此外,注意按鈕輸入可與欲被移除的特定裝置和/或?qū)臄U展槽相關(guān)聯(lián)。

在步驟606,熱插拔控制器(例如控制器302)可遞送請求至熱插拔驅(qū)動。在步驟608,控制器138可檢測指示過渡態(tài)的電力鏈路轉(zhuǎn)換。OS 324可接著藉由例如移除或斷開裝置來使欲被移除的裝置斷線。

在步驟610,關(guān)聯(lián)于此裝置的擴展槽可被斷電。在擴展槽被斷電后,控制器138也可關(guān)閉電力鏈路信號來指示自擴展槽移除此裝置是安全的。此時,裝置可以自擴展槽被移除。

在步驟612,控制器138可通知硬件組成管理器252,熱移除程序已完成??刂破?38也可解除判定存在檢測信號以指示擴展槽是空的。

為使解釋清晰,本揭示技術(shù)以關(guān)于快速外圍組件互連裝置來描述。然而,關(guān)于上文描述例子的方法及概念可被實施于其他類型裝置的硬件恢復。確實,本文描述的概念可被實施于任何支持熱插拔或熱交換的裝置的包括熱新增及熱移除的硬件恢復,支持熱插拔或熱交換的裝置例如為通用串行總線(USB)裝置。再次地,快速外圍組件互連裝置在本文作為非限制例子使用以供清楚解釋用途。

為使解釋清晰,在某些情況下,本揭示技術(shù)可呈現(xiàn)為以實施于軟件、或硬件與軟件的組合的方法來包括含有裝置、裝置組件、步驟或常規(guī)的功能區(qū)塊的獨立功能區(qū)塊。

在一些實施例中,計算機可讀存儲裝置、介質(zhì)及存儲器可包括含有一位流等的有線或無線信號。然而,當提及時,非依電性計算機可讀存儲介質(zhì)明確地排除譬如能源、載波信號、電磁波及信號本身的介質(zhì)。

根據(jù)上文描述例子的方法可實施以使用存儲于計算機可讀介質(zhì)或可自計算機可讀介質(zhì)取得的計算機可執(zhí)行指令。此等指令可包含例如可致使或配置通用目的計算機的指令及數(shù)據(jù)、特殊用途計算機、或特殊用途執(zhí)行裝置以執(zhí)行某一功能或某組功能。使用的計算機資源的部分可通過網(wǎng)絡存取。此等計算機可執(zhí)行指令可例如為二進制、譬如組合語言之中間格式指令、固件、或資源代碼。可使用來存儲指令、使用的信息、和/或在根據(jù)所描述例子的方法期間產(chǎn)生的信息的計算機可讀介質(zhì)的例子包括磁性或光學盤碟、快閃存儲器、具有非依電性存儲器的USB裝置、連網(wǎng)的存儲裝置等。

實施根據(jù)本揭示內(nèi)容的方法的裝置可包含硬件、固件和/或軟件,且可采取各種形式因子的任何一個。此等形式因子的典型例子包括膝上型計算機、智能手機、小型個人計算機、個人數(shù)字助理等。此處描述的功能也可實施于外圍設備或外接卡。此等功能也可藉由進一步的例子來實施在不同芯片或執(zhí)行于單一裝置的不同進程的電路板上。

此等指令、用以轉(zhuǎn)送此等指令的介質(zhì)、用以執(zhí)行此等指令的計算資源、及其他用以支持此等計算資源的結(jié)構(gòu)為用以提供于本文公開內(nèi)容所描述的功能的手段。

盡管各種例子及其他信息使用來解釋權(quán)利要求范圍內(nèi)的方面,權(quán)利要求不應基于例子中的特定特征或配置而受限,因為本領域技術(shù)人員將能夠使用這些例子來推導出各式各樣的實施方式。更進一步來說,盡管標的內(nèi)容可能以特定結(jié)構(gòu)特征和/或方法步驟的例子的文字描述,應理解附加權(quán)利要求中定義的標的內(nèi)容并不必要受限于此等描述的特征或行為。舉例來說,此種功能可以以不同方式分配或執(zhí)行于本文提出的組件以外的組件。更確切地說,所描述特征及步驟描述作為附加權(quán)利要求范圍中系統(tǒng)及方法的組件的例子。

權(quán)利要求用語界定一組中“至少一個”是指示此組或此組中多個部件的一個滿足此權(quán)利要求。有形的計算機可讀存儲介質(zhì)、計算機可讀存儲裝置或計 算機可讀存儲器裝置明確地排除譬如暫態(tài)波、能源、載波信號、電磁波及信號本身。

當前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
高尔夫| 集安市| 凤城市| 依安县| 甘谷县| 磐安县| 象州县| 阿拉善右旗| 清涧县| 兴城市| 洛川县| 顺义区| 新邵县| 石林| 西丰县| 绍兴市| 沅陵县| 佛山市| 百色市| 金沙县| 留坝县| 湘西| 嘉义县| 吉木萨尔县| 尚义县| 策勒县| 屯昌县| 武夷山市| 明星| 嵊州市| 沙田区| 福海县| 泸水县| 德格县| 乐平市| 富宁县| 武汉市| 兴隆县| 大名县| 金川县| 延吉市|