两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

高速網(wǎng)絡(luò)分流設(shè)備用線路接口卡中的包預(yù)處理電路組件的制作方法

文檔序號(hào):7612254閱讀:238來(lái)源:國(guó)知局
專(zhuān)利名稱(chēng):高速網(wǎng)絡(luò)分流設(shè)備用線路接口卡中的包預(yù)處理電路組件的制作方法
技術(shù)領(lǐng)域
本發(fā)明屬于因特網(wǎng)主干網(wǎng)分流用的高速網(wǎng)絡(luò)分流設(shè)備技術(shù)領(lǐng)域。
背景技術(shù)
FPGA(Field Programmable Gate Array)是上世紀(jì)80年代末開(kāi)始使用的大規(guī)??删幊虜?shù)字集成電路器件。它充分利用計(jì)算機(jī)輔助設(shè)計(jì)技術(shù)進(jìn)行器件的開(kāi)發(fā)與應(yīng)用。用戶(hù)借助于計(jì)算機(jī)不僅能自行設(shè)計(jì)專(zhuān)用集成電路芯片,還可在計(jì)算機(jī)上進(jìn)行功能仿真和實(shí)時(shí)仿真,及時(shí)發(fā)現(xiàn)問(wèn)題,調(diào)整電路,改進(jìn)設(shè)計(jì)方案。這樣,設(shè)計(jì)者不必動(dòng)手搭接電路、調(diào)試驗(yàn)證,只須在計(jì)算機(jī)上操作很短的時(shí)間,即可設(shè)計(jì)出與實(shí)際系統(tǒng)相差無(wú)幾的理想電路。而且,F(xiàn)PGA器件采用標(biāo)準(zhǔn)化結(jié)構(gòu),體積小、集成度高、功耗低、速度快,可無(wú)限次反復(fù)編程,因此,成為科研產(chǎn)品開(kāi)發(fā)及其小型化的首選器件,其應(yīng)用極為廣泛。
把FPGA用在高速網(wǎng)絡(luò)設(shè)備中作為線路接口卡的包預(yù)處理電路組件并在因特網(wǎng)主干網(wǎng)實(shí)現(xiàn)高速分流,從而構(gòu)成一個(gè)高速網(wǎng)絡(luò)分流設(shè)備。目前在國(guó)內(nèi)外各類(lèi)文獻(xiàn)中未見(jiàn)有任何報(bào)導(dǎo)。

發(fā)明內(nèi)容
本分流設(shè)備能夠?qū)崿F(xiàn)屬于網(wǎng)絡(luò)上的某一條流的數(shù)據(jù)包全部通過(guò)一個(gè)端口發(fā)送,并在此基礎(chǔ)上盡量保證負(fù)載均衡。對(duì)于數(shù)據(jù)包屬于哪一條流的判別,設(shè)備處理方式如下對(duì)于IPv4數(shù)據(jù)包,將根據(jù)五元組(源地址、目的地址、協(xié)議域、源端口號(hào)、目的端口號(hào))生成一個(gè)確定的16bit的信息,以此作為流標(biāo)識(shí)。對(duì)于IPv6數(shù)據(jù)包將根據(jù)二元組(源地址和流標(biāo)號(hào))生成一個(gè)確定的16bit的信息,以此作為流標(biāo)識(shí)。16bit的流標(biāo)識(shí)可以表示65536條流,這樣雖然會(huì)造成不同數(shù)據(jù)流具有相同的流標(biāo)識(shí)信息,但不會(huì)造成同一條流的數(shù)據(jù)包具有不同的流標(biāo)識(shí),所以不會(huì)影響分流的正確性。流標(biāo)識(shí)使用16bit是基于當(dāng)前主流芯片處理能力考慮的。
在分流設(shè)備中,設(shè)備為每一條流的數(shù)據(jù)包分配發(fā)送端口的工作是這樣進(jìn)行的當(dāng)具有同一流標(biāo)識(shí)的第一個(gè)數(shù)據(jù)包進(jìn)入設(shè)備時(shí),設(shè)備會(huì)選取近一段時(shí)間負(fù)載最輕的端口分配給具有這一流標(biāo)識(shí)的數(shù)據(jù)包。并更新設(shè)備中這一流標(biāo)識(shí)對(duì)應(yīng)的記錄信息。這樣隨后進(jìn)入的具有這一流標(biāo)識(shí)的數(shù)據(jù)包會(huì)根據(jù)記錄信息中記錄的端口發(fā)送。
對(duì)于記錄信息的維護(hù),設(shè)備是這樣進(jìn)行的每一條紀(jì)錄信息,包含兩部分內(nèi)容,一個(gè)是4bit的端口號(hào),一個(gè)是4bit的生命值。前者表示了具有這一流標(biāo)識(shí)的數(shù)據(jù)包將從哪個(gè)端口發(fā)送。后者則表示這一紀(jì)錄信息是否有效,生命值為0表示這條紀(jì)錄信息無(wú)效。設(shè)備每收到一個(gè)數(shù)據(jù)包,該數(shù)據(jù)包的流標(biāo)識(shí)對(duì)應(yīng)的紀(jì)錄信息生命值將被加1(生命值加到15后不再增加)。此外設(shè)備會(huì)定期將每條紀(jì)錄信息的生命值減半,半衰期是可以在運(yùn)行過(guò)程中隨時(shí)更改的,從0.02s到無(wú)限長(zhǎng)。記錄信息的生命值是為了更真實(shí)的反映數(shù)據(jù)流的生存及老化狀態(tài)。
分流設(shè)備體系結(jié)構(gòu)的設(shè)計(jì)思路,主要包括以下三個(gè)方面 用硬件實(shí)現(xiàn)IPv4/v6分組的分組頭部分析和分組轉(zhuǎn)發(fā); 用硬件快速存儲(chǔ)器模擬真實(shí)的流存在狀態(tài),以此作為分組轉(zhuǎn)發(fā)的根據(jù); 用交換機(jī)構(gòu)(Switching Fabric)提高各接口單元之間的數(shù)據(jù)通信速度。
用監(jiān)控系統(tǒng)對(duì)分流設(shè)備進(jìn)行上電配置和狀態(tài)監(jiān)控。
分流設(shè)備體系結(jié)構(gòu)主要由以下三部分組成,線路接口卡(Line Card),交換機(jī)構(gòu)(SwitchingFabric)和用于配置和操作的監(jiān)控系統(tǒng)。其中交換機(jī)構(gòu)包括高速串行背板和交換控制卡兩部分。
分流設(shè)備中高速串行背板與線路接口卡、交換控制卡之間的連接情況如圖1所示。
圖中具體包括下述幾部分硬件設(shè)備 OC-48c POS接口卡,每塊1個(gè)口; OC-3 POS接口卡,每塊4個(gè)口; 1000Base-Tx接口卡,每塊2個(gè)口; 100Base-Tx接口卡,每塊8個(gè)口; 交換控制卡,兩塊; 高速串行背板,一塊。
線路接口卡是分流設(shè)備體系結(jié)構(gòu)中最重要的部分,具有一個(gè)或者多個(gè)高速網(wǎng)絡(luò)接口,與一般的網(wǎng)絡(luò)接口卡不同的是,線路接口卡本身還有通用CPU和本地存儲(chǔ)器。線路接口卡的地位主要是在包的處理上,在輸入方向(也叫接收方向,是從線路接口到交換機(jī)構(gòu)的方向)上,其主要功能有實(shí)現(xiàn)高速硬件IPv4/IPv6雙棧兼容分流引擎,它根據(jù)分組頭部查找目標(biāo)端口號(hào),之后將數(shù)據(jù)包發(fā)送給交換機(jī)構(gòu)接口芯片,在輸出方向(也叫發(fā)送方向,是從交換機(jī)構(gòu)到線卡的方向)上,交換機(jī)構(gòu)送出來(lái)的數(shù)據(jù)包首先到達(dá)交換機(jī)構(gòu)接口芯片,由交換機(jī)構(gòu)接口芯片完成數(shù)據(jù)格式轉(zhuǎn)換并進(jìn)行一定的處理后將其緩存于輸出方向的緩存中,之后從線路接口上發(fā)送出去。
交換機(jī)構(gòu)用于連接線路接口卡,為它們之間的數(shù)據(jù)傳送提供高速的數(shù)據(jù)通路。分流設(shè)備交換機(jī)構(gòu)的實(shí)現(xiàn)方式采用Crossbar交換結(jié)構(gòu),具體實(shí)現(xiàn)方式采用交叉開(kāi)關(guān)。交叉開(kāi)關(guān)可以達(dá)到比較高的交換速率,而且隨著技術(shù)的發(fā)展,速率還可以進(jìn)一步提高。采用一個(gè)全集成16輸入、16輸出端口的單級(jí)交換芯片VSC882。用VSC882組成的交換機(jī)構(gòu)無(wú)論從端口速度還是交換容量方面都可充分?jǐn)U展,端口速度達(dá)3.125Gb/s,交換容量可擴(kuò)到64Gb/s以上。此外,為了使設(shè)備達(dá)到電信級(jí)使用要求,在設(shè)計(jì)交換結(jié)構(gòu)時(shí),還充分考慮了主/備用切換的冗余設(shè)計(jì)功能。
監(jiān)控系統(tǒng)用于對(duì)線路接口卡和交換機(jī)構(gòu)進(jìn)行初始化及參數(shù)配置,同時(shí)可以通過(guò)讀取硬件寄存器來(lái)觀察設(shè)備內(nèi)部的運(yùn)行狀態(tài)。
由于線路接口卡在設(shè)備中的重要作用,這里對(duì)線路接口卡的結(jié)構(gòu)和功能進(jìn)行詳細(xì)介紹。圖2為線路接口卡的整體結(jié)構(gòu)框圖。從圖中可以看出,線路接口卡可以從結(jié)構(gòu)上劃分為線路接口部分,包處理部分,交換部分和CPU部分。其中針對(duì)不同的接口卡類(lèi)型線路接口卡只在線路接口部分發(fā)生變化,包預(yù)處理和包發(fā)送兩片F(xiàn)PGA分別完成接收方向和發(fā)送方向關(guān)于包處理的功能,它們通過(guò)兩個(gè)先進(jìn)先出隊(duì)列存儲(chǔ)器芯片(FIFO)與交換協(xié)處理FPGA相連接。交換協(xié)處理FPGA配合交換芯片完成線路接口卡和交換機(jī)構(gòu)的數(shù)據(jù)交換。線路接口卡的本地CPU實(shí)現(xiàn)對(duì)各片F(xiàn)PGA的配置及監(jiān)控工作。
本發(fā)明的特征在于它是一個(gè)大規(guī)??删幊虜?shù)字集成電路器件,它含有■包輸入電路,包括◆輸入IP包數(shù)據(jù)寄存器,它接收來(lái)自接口的數(shù)據(jù)包;◆生成IPv4數(shù)據(jù)包16位流標(biāo)識(shí)用的寄存器組,包括●源IP地址寄存器,32位;●目的IP地址寄存器,32位;●源協(xié)議端口寄存器,16位;●目的協(xié)議端口寄存器,16位;●協(xié)議域寄存器,8位;●上述各寄存器的數(shù)據(jù)輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連;◆生成IPv6數(shù)據(jù)包16位流標(biāo)識(shí)的寄存器組,包括●源IP地址寄存器,128位;●流標(biāo)號(hào)寄存器,20位;●上述兩個(gè)寄存器的數(shù)據(jù)輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連;◆第一內(nèi)部控制狀態(tài)機(jī),它的輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連,它的狀態(tài)控制信號(hào)輸出端與上述分別生成IPv4數(shù)據(jù)包16位流標(biāo)識(shí)、IPv6數(shù)據(jù)包16位流標(biāo)識(shí)和各寄存器的相應(yīng)輸入端相連;◆第一邏輯運(yùn)算器,它的各輸入端分別與上述生成IPv4數(shù)據(jù)包16位流標(biāo)識(shí)用的寄存器組中各寄存器的下述各輸出端相連源地址高16位輸出端、源地址低16位輸出端、目的地址高16位輸出端、目的地址低16位輸出端、協(xié)議域8位輸出端、源協(xié)議端口16位輸出端以及目的協(xié)議端口16位輸出端;■上述第一邏輯運(yùn)算器是一個(gè)16位寄存器,它的輸出信號(hào)是把上述7個(gè)輸入數(shù)據(jù)相累加后形成的16位流標(biāo)識(shí);◆第二邏輯運(yùn)算器,它的各輸入端分別與上述生成IPv6數(shù)據(jù)包16位流標(biāo)識(shí)用的寄存器組中各寄存器的下述各輸出端相連16位源IP地址輸出端,共有8個(gè);高4位、低16位的流標(biāo)號(hào)輸出端;■上述第二邏輯運(yùn)算器是一個(gè)16位寄存器,它的輸出信號(hào)是把上述10個(gè)輸入數(shù)據(jù)累加后形成的另一種16位流標(biāo)識(shí);◆第一流標(biāo)識(shí)寄存器,它的輸入端與上述第一邏輯運(yùn)算器的輸出端相連;◆第二流標(biāo)識(shí)寄存器,它的輸入端與上述第二邏輯運(yùn)算器的輸出端相連;◆第一多路數(shù)據(jù)選擇器,它的兩個(gè)輸入端分別與上述第一、第二流標(biāo)識(shí)寄存器的輸出端相連;◆流標(biāo)識(shí)寄存器,它的輸入端與上述多路數(shù)據(jù)選擇器的輸出端相連;◆包緩存存儲(chǔ)器寫(xiě)數(shù)據(jù)寄存器,它的輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連;◆包緩存存儲(chǔ)器寫(xiě)地址寄存器,它的輸入端與上述包緩存存儲(chǔ)器寫(xiě)數(shù)據(jù)寄存器的數(shù)據(jù)有效信號(hào)輸出端相連;◆包存儲(chǔ)起始、終止地址寄存器,它的地址信號(hào)輸入端與上述包緩存存儲(chǔ)器寫(xiě)地址寄存器的輸出端相連,它的控制信號(hào)輸入端與上述內(nèi)部控制狀態(tài)機(jī)的狀態(tài)控制信號(hào)輸出端相連;◆發(fā)送信息寄存器,它的一組輸入端與上述包存儲(chǔ)起始、終止地址寄存器輸出端相連,另一組輸入端與下述發(fā)送端口號(hào)寄存器的輸出端相連;◆發(fā)送端口號(hào)寄存器,它的發(fā)送信息輸出端與上述發(fā)送信息寄存器輸入端相連,它的新端口號(hào)輸出端與下述新端口號(hào)寄存器的輸入端相連;◆新端口號(hào)寄存器,它的輸入端與上述發(fā)送端口號(hào)寄存器的新端口號(hào)輸出端相連;◆第二多路數(shù)據(jù)選擇器,它的輸出端與上述發(fā)送端口號(hào)寄存器輸入端相連;◆流端口號(hào)寄存器,它的輸入端與下述流對(duì)應(yīng)端口存儲(chǔ)器的數(shù)據(jù)輸出端相連接;它的輸出端與上述多路數(shù)據(jù)選擇器的輸入端相連;◆當(dāng)前負(fù)載最輕端口寄存器它的輸出端與上述多路數(shù)據(jù)選擇器的輸入端相連;◆生命值是否為0判斷電路,它的非零信號(hào)輸出端與上述第二多路數(shù)據(jù)選擇器的控制信號(hào)輸入端相連;◆流生命值寄存器,它的輸入端與下述流生命值存儲(chǔ)器的數(shù)據(jù)輸出端相連;◆第三邏輯運(yùn)算器,它的輸入端與上述流生命值寄存器的輸出端相連,它的輸出是流生命值寄存器內(nèi)容加1的結(jié)果;◆新生命值寄存器,它的輸入端與上述第三邏輯運(yùn)算器的輸出端相連;
■流對(duì)應(yīng)端口存儲(chǔ)器,它的數(shù)據(jù)輸入端與上述新端口號(hào)寄存器的輸出端相連;它的地址輸入端與上述流標(biāo)識(shí)寄存器的輸出端相連;■流生命值存儲(chǔ)器,它具有兩組數(shù)據(jù)和地址總線。它的第一組地址輸入端與包輸入電路中的流標(biāo)識(shí)寄存器的輸出端相連,所述的每一條流標(biāo)識(shí)信號(hào)對(duì)應(yīng)著前述流標(biāo)識(shí)信號(hào)在流生命值存儲(chǔ)器中的地址,它的這一組數(shù)據(jù)輸出總線與包輸入電路中的流生命值寄存器的輸入端相連,它的這一組數(shù)據(jù)輸入總線與包輸入電路中的新生命值寄存器的輸出端相連,它的第二組地址輸入端與下述生命值自動(dòng)老化處理電路中的生命值存儲(chǔ)器地址寄存器輸出端相連,它的這一組數(shù)據(jù)輸出總線與生命值自動(dòng)老化處理電路中的原始生命值寄存器的輸入端相連,它的這一組數(shù)據(jù)輸入總線與生命值自動(dòng)老化處理電路中的老化生命值寄存器的輸出端相連;■生命值自動(dòng)老化處理電路,包括◆內(nèi)部時(shí)鐘計(jì)數(shù)器,它是一個(gè)內(nèi)部的時(shí)鐘計(jì)數(shù)器,每個(gè)時(shí)鐘周期計(jì)數(shù)器加一,它具有一個(gè)同步清零輸入端與第一比較器的相等輸出端相連;◆時(shí)鐘周期寄存器,它的輸入端來(lái)自CPU接口電路;◆第一比較器,它的一個(gè)輸入端與內(nèi)部時(shí)鐘計(jì)數(shù)器的一個(gè)輸出端相連,另一個(gè)輸入端與時(shí)鐘周期寄存器的輸出端相連;◆生命值存儲(chǔ)器地址寄存器,它的輸入端與內(nèi)部時(shí)鐘計(jì)數(shù)器的一個(gè)輸出端相連,它的輸出端與流生命值存儲(chǔ)器的第二組地址輸入端相連;◆原始生命值寄存器,它的輸入端與流生命值存儲(chǔ)器的第二組數(shù)據(jù)輸出總線相連,它的輸出端經(jīng)過(guò)一個(gè)右移的移位寄存器與老化生命值寄存器的輸入端相連;◆老化生命值寄存器,它的輸出端與流生命值存儲(chǔ)器的第二組數(shù)據(jù)輸入總線相連;■包發(fā)送信息隊(duì)列存儲(chǔ)器,它的輸入端與包輸入電路中的發(fā)送信息寄存器的輸出端相連;■包緩存存儲(chǔ)器,它具有兩組數(shù)據(jù)和地址總線,它的第一組地址總線與包輸入電路的包緩存存儲(chǔ)器寫(xiě)地址寄存器的輸出端相連,它的第一組數(shù)據(jù)總線與包輸入電路的包緩存存儲(chǔ)器寫(xiě)數(shù)據(jù)寄存器的輸出端相連,它的第二組地址總線與包輸出電路的包緩存存儲(chǔ)器讀地址寄存器的輸出端相連,它的第二組數(shù)據(jù)總線與包輸出電路的包緩存存儲(chǔ)器讀數(shù)據(jù)寄存器的輸入端相連;■包輸出電路,包括◆包發(fā)送信息寄存器,它的輸入端與上述發(fā)送信息隊(duì)列存儲(chǔ)器的輸出端相連;◆包存儲(chǔ)器起始地址寄存器,它的輸入端與上述包發(fā)送信息寄存器的相應(yīng)輸出端相連;◆包存儲(chǔ)器終止地址寄存器,它的輸入端與上述包發(fā)送信息寄存器的另一個(gè)輸出端相連;◆包存儲(chǔ)器下一地址寄存器,它的輸入端與下述包緩存存儲(chǔ)器讀地址寄存器的輸出端經(jīng)過(guò)加1邏輯的輸出相連;◆第三多路數(shù)據(jù)選擇器,它的兩個(gè)輸入端分別與上述包存儲(chǔ)器起始地址寄存器、包存儲(chǔ)器下一地址寄存器的輸出端相連;◆包緩存存儲(chǔ)器讀地址寄存器,它的輸入端與上述第三多路數(shù)據(jù)選擇器的輸出端相連;它的輸出地址信號(hào)加“1”后送往上述包存儲(chǔ)器下一地址寄存器,它的另一個(gè)輸出端與包緩存存儲(chǔ)器的第二組地址輸入端相連;◆第二比較器,它的兩個(gè)輸入端分別與上述包存儲(chǔ)器下一地址寄存器、包存儲(chǔ)器終止地址寄存器的輸出端相連,它的比較信號(hào)輸出端與上述第三多路數(shù)據(jù)選擇器的控制信號(hào)輸入端相連;◆包發(fā)送端口寄存器,它的輸入端與上述包發(fā)送信息寄存器的輸出端相連;◆附加數(shù)據(jù)寄存器,它的一組輸入端與上述包發(fā)送端口寄存器的輸出端相連,它的另一組輸入端與CPU接口電路相連,它的輸出端與上述第3多路數(shù)據(jù)選擇器的相應(yīng)輸入端相連;◆包緩存存儲(chǔ)器讀數(shù)據(jù)寄存器,它的輸入端與包緩存存儲(chǔ)器的第二組數(shù)據(jù)總線相連;◆第四多路數(shù)據(jù)選擇器,它的兩個(gè)輸入端分別與上述包緩存存儲(chǔ)器讀數(shù)據(jù)寄存器及附加數(shù)據(jù)寄存器的輸出端相連;◆第二內(nèi)部控制狀態(tài)機(jī),它的輸入端與上述第二比較器的輸出端相連;它的三個(gè)輸出端分別與上述包發(fā)送信息寄存器、第四多路數(shù)據(jù)選擇器和第三多路數(shù)據(jù)選擇器的控制信號(hào)輸入端相連;◆寫(xiě)入上行數(shù)據(jù)隊(duì)列存儲(chǔ)器的數(shù)據(jù)寄存器,它的輸入端與上述第四多路數(shù)據(jù)選擇器的輸出端相連,它的輸出是上行數(shù)據(jù)隊(duì)列存儲(chǔ)器;■CPU接口電路,包括◆CPU地址寄存器,它的輸入端來(lái)自線路接口卡上的CPU的地址信號(hào)總線;◆CPU控制信號(hào)寄存器,它的輸入端來(lái)自線路接口卡上的CPU輸出的控制信號(hào);◆第三內(nèi)部控制狀態(tài)機(jī),它的輸入端與上述CPU地址寄存器和CPU控制信號(hào)寄存器的輸出端相連,它的輸出控制信號(hào)分別與生命值老化周期寄存器,發(fā)送板卡號(hào)寄存器和CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯的控制輸入信號(hào)相連;◆生命值老化周期寄存器,它的數(shù)據(jù)輸入端與CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯的輸出端相連,它的輸出端與生命值自動(dòng)老化電路的時(shí)鐘周期寄存器的輸入端相連;◆發(fā)送板卡號(hào)寄存器,它的數(shù)據(jù)輸入端與CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯的輸出端相連,
它的輸出端與包輸出電路的附加數(shù)據(jù)寄存器的輸入端相連;◆CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯,它的一組端口與線路接口卡上的CPU數(shù)據(jù)總線相連,由第三內(nèi)部控制狀態(tài)機(jī)的輸出控制信號(hào)控制該端口的方向,完成三態(tài)調(diào)度,它的另外兩組輸出端分別與上述生命值老化周期寄存器和發(fā)送板卡號(hào)寄存器的輸入端相連。
實(shí)驗(yàn)效果高速網(wǎng)絡(luò)分流設(shè)備實(shí)現(xiàn)了從一個(gè)OC48接口接收數(shù)據(jù)包,通過(guò)兩個(gè)1000Base-Tx端口發(fā)送的功能,設(shè)備保證屬于同一數(shù)據(jù)流的數(shù)據(jù)包全部通過(guò)相同的端口發(fā)送,并在此基礎(chǔ)上最大限度保證兩個(gè)端口的負(fù)載均衡。該設(shè)備支持IPv4/v6雙IP協(xié)議,能夠?qū)崿F(xiàn)40字節(jié)到1500字節(jié)數(shù)據(jù)包的線速度處理(由于輸入速率大于最大輸出速率而造成的數(shù)據(jù)包丟失不計(jì))。該設(shè)備可以通過(guò)增加一塊具有更多輸出端口的接口卡而簡(jiǎn)單實(shí)現(xiàn)最多16個(gè)輸出端口的分流。
為了能夠盡最大能力保證系統(tǒng)的靈活性,設(shè)備支持最多16個(gè)發(fā)送端口,可以通過(guò)軟件設(shè)置一個(gè)16bit的寄存器來(lái)設(shè)置每一個(gè)端口是否有效。


圖1 分流設(shè)備高速串行背板與線路接口卡、交換控制卡的連接情況圖2 線路接口卡的結(jié)構(gòu)框3 PPM外部接口及內(nèi)部電路結(jié)構(gòu)4 包輸入電路內(nèi)部結(jié)構(gòu)及與相關(guān)電路連接關(guān)系5 生命值自動(dòng)老化電路內(nèi)部結(jié)構(gòu)及與相關(guān)電路連接關(guān)系6 包輸出電路內(nèi)部結(jié)構(gòu)及與相關(guān)電路連接關(guān)系7 CPU接口電路內(nèi)部結(jié)構(gòu)及與相關(guān)電路連接關(guān)系8 分流設(shè)備初始化過(guò)程具體實(shí)施方式
在線路接口卡上,實(shí)現(xiàn)高速分流算法的是包預(yù)處理FPGA芯片(PPM)。PPM是PacketPreprocessing Module的簡(jiǎn)寫(xiě)。該電路組件主要功能是提取IP包頭并進(jìn)行分析和處理,由此判斷該數(shù)據(jù)包是否IP包。對(duì)于非IP包,PPM將其丟棄;對(duì)于IP包,PPM應(yīng)該根據(jù)其所屬的流產(chǎn)生相應(yīng)的目標(biāo)端口號(hào)。并將目標(biāo)板號(hào)、目標(biāo)端口號(hào)信息填入相應(yīng)的附加數(shù)據(jù)結(jié)構(gòu)中。在分流設(shè)備中,PPM肩負(fù)著分流引擎的功能,它是整個(gè)分流算法實(shí)現(xiàn)的核心。圖3表示的是PPM外部接口及內(nèi)部的電路結(jié)構(gòu)圖。
從圖3中可以看出,PPM的接口信號(hào)主要包括與線路接口部分連接的信號(hào)、與交換機(jī)構(gòu)部分連接的信號(hào)和與CPU相連接的信號(hào)。PPM內(nèi)部除了三個(gè)由工具生成的存儲(chǔ)器和一個(gè)隊(duì)列存儲(chǔ)器外還有包輸入電路、包輸出電路、CPU接口電路和生命值自動(dòng)老化電路。下面具體描述各電路的功能。
包輸入電路接收來(lái)自接口的數(shù)據(jù)包,對(duì)包的類(lèi)型進(jìn)行判斷,對(duì)于非IP包,包輸入電路會(huì)將其丟棄;對(duì)于IPv4數(shù)據(jù)包將根據(jù)五元組(源地址32bit、目的地址32bit、協(xié)議域8bit、源端口號(hào)16bit、目的端口號(hào)16bit)生成一個(gè)確定的16bit的信息,以此作為流標(biāo)識(shí);對(duì)于IPv6數(shù)據(jù)包將根據(jù)二元組(源地址128bit和流標(biāo)號(hào)20bit)生成一個(gè)確定的16bit的信息,以此作為流標(biāo)識(shí)。16bit流標(biāo)識(shí)信息的生成方法是這樣的對(duì)于IPv4包,將源地址高16bit,源地址低16bit,目的地址高16bit,目的地址低16bit,協(xié)議域8bit,源端口號(hào)16bit,目的端口號(hào)16bit,這7個(gè)數(shù)用一個(gè)16bit寄存器進(jìn)行累加,結(jié)果就作為流標(biāo)識(shí)。對(duì)于IPv6包,將源地址分成8個(gè)16bit段,將流標(biāo)號(hào)分成高4bit和低16bit,將這10個(gè)數(shù)用一個(gè)16bit寄存器進(jìn)行累加,結(jié)果就作為流標(biāo)識(shí)。
包輸入電路生成了一個(gè)包的16bit流標(biāo)識(shí)信息后會(huì)以此作為“流生命值存儲(chǔ)器”和“流對(duì)應(yīng)端口存儲(chǔ)器”的地址,這樣就可以得到這一流標(biāo)識(shí)所對(duì)應(yīng)的端口和這一信息的生命值。當(dāng)生命值不為0時(shí)表示這時(shí)查到的端口號(hào)是有效的,當(dāng)生命值為0時(shí)表示這時(shí)查到的端口號(hào)是無(wú)效的。針對(duì)這兩種情況包輸入電路會(huì)進(jìn)行不同的處理。前者包輸入電路會(huì)將查到的端口號(hào)作為該包發(fā)送的端口號(hào),后者包輸入電路將為這個(gè)包分配一個(gè)端口,并將這一端口作為該流標(biāo)識(shí)所對(duì)應(yīng)端口寫(xiě)入“流對(duì)應(yīng)端口存儲(chǔ)器”,同時(shí)將“流生命值存儲(chǔ)器”中相應(yīng)的表項(xiàng)的生命值加一。
前面提到要為查到端口對(duì)應(yīng)生命值為0的包分配一個(gè)端口的處理。這一過(guò)程在分流設(shè)備的設(shè)計(jì)中至關(guān)重要。因?yàn)樗苯雨P(guān)系著負(fù)載平衡的實(shí)現(xiàn)。在包輸入電路內(nèi)部,16個(gè)32位的計(jì)數(shù)器保存著前一段時(shí)間各個(gè)端口發(fā)送的字節(jié)計(jì)數(shù)。為了能夠保證32位計(jì)數(shù)器不會(huì)發(fā)生溢出,這一計(jì)數(shù)器本身是會(huì)在一定的周期下自動(dòng)減半的。這樣做的好處是更加真實(shí)的表示了流量隨時(shí)間的加權(quán)關(guān)系。在包輸入電路內(nèi)部,通過(guò)二叉樹(shù)結(jié)構(gòu)選擇當(dāng)前可用的端口中前一階段流量最少的端口分配給新進(jìn)入的數(shù)據(jù)包。
為了能夠更好的實(shí)現(xiàn)線速度處理并保證系統(tǒng)的魯棒性,PPM內(nèi)部采用了整包緩存的處理方式。包輸入電路將接收到的數(shù)據(jù)寫(xiě)入包緩存存儲(chǔ)器。當(dāng)一個(gè)正確的包已經(jīng)被完整的寫(xiě)入包緩存存儲(chǔ)器后,包輸入電路會(huì)將這一數(shù)據(jù)包所對(duì)應(yīng)的包緩存存儲(chǔ)器的起始地址和終止地址以及發(fā)送端口號(hào)寫(xiě)入發(fā)送信息存儲(chǔ)隊(duì)列中。
發(fā)送信息存儲(chǔ)隊(duì)列是一個(gè)128×38bit的FIFO。38bit分別為4bit的發(fā)送端口信息可以表示16個(gè)端口,17bit的外部DPRAM開(kāi)始地址和17bit的外部DPRAM的終止地址。之所以采用128深度,是考慮了最大包1500與最小包長(zhǎng)度的比值確定的,在滿(mǎn)足了需求的情況下還留有一定余量。
流對(duì)應(yīng)端口存儲(chǔ)器是一個(gè)64k×4bit的DPRAM。4bit可以表示16個(gè)端口,支持最多64k條記錄信息。
流生命值存儲(chǔ)器是一個(gè)64k×4bit的DPRAM。4bit可以表示生命值0-15共16種狀態(tài),支持最多64k條記錄信息。
生命值自動(dòng)老化處理電路負(fù)責(zé)對(duì)記錄信息表項(xiàng)進(jìn)行自動(dòng)老化。為了能夠真實(shí)的模擬流的存在狀態(tài),代碼中實(shí)現(xiàn)了記錄信息表項(xiàng)的自動(dòng)老化機(jī)制,由于每一表項(xiàng)的生命值可以為0-15,所以老化方式采取生命值減半的方式,減半的方法為將4bit寄存器右移一位,具體的半衰期可以通過(guò)上層軟件進(jìn)行設(shè)置。具體的半衰期可以從0.02s到無(wú)限長(zhǎng)。
包輸出電路通過(guò)讀取發(fā)送信息隊(duì)列存儲(chǔ)器中的數(shù)據(jù)來(lái)得到將要發(fā)送的包所存儲(chǔ)的位置信息以及將發(fā)往的端口信息,包輸出電路內(nèi)部狀態(tài)機(jī)實(shí)現(xiàn)了讀取發(fā)送信息,發(fā)送包附加信息,發(fā)送數(shù)據(jù)包這樣一個(gè)過(guò)程的循環(huán)。發(fā)送信息中包含了IP包在包緩存存儲(chǔ)器中存儲(chǔ)的起始地址和終止地址以及該包發(fā)送的端口。包輸出電路應(yīng)該從包緩存存儲(chǔ)器中的相應(yīng)位置讀出該包。此外為了方便交換機(jī)構(gòu)完成轉(zhuǎn)發(fā),包輸出電路發(fā)送出去的數(shù)據(jù)應(yīng)該包含該包的發(fā)送板號(hào)和發(fā)送端口號(hào),這些附加數(shù)據(jù)與包的內(nèi)容一起構(gòu)成了寫(xiě)入上行隊(duì)列存儲(chǔ)器的數(shù)據(jù)。包輸出電路內(nèi)部的狀態(tài)機(jī)控制兩部分?jǐn)?shù)據(jù)的調(diào)度完成數(shù)據(jù)結(jié)構(gòu)的合成。
CPU接口電路負(fù)責(zé)同接口卡上的MPC8240(CPU)及PPM內(nèi)部的其它電路進(jìn)行通訊。它要完成對(duì)生命值老化周期的設(shè)置和發(fā)送板卡號(hào)的設(shè)置。
權(quán)利要求
1.高速網(wǎng)絡(luò)分流設(shè)備用線路接口卡中的包預(yù)處理電路組件,其特征在于它是一個(gè)大規(guī)模可編程數(shù)字集成電路器件,它含有■包輸入電路,包括◆輸入IP包數(shù)據(jù)寄存器,它接收來(lái)自接口的數(shù)據(jù)包;◆生成IPv4數(shù)據(jù)包16位流標(biāo)識(shí)用的寄存器組,包括●源IP地址寄存器,32位;●目的IP地址寄存器,32位;●源協(xié)議端口寄存器,16位;●目的協(xié)議端口寄存器,16位;●協(xié)議域寄存器,8位;●上述各寄存器的數(shù)據(jù)輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連;◆生成IPv6數(shù)據(jù)包16位流標(biāo)識(shí)的寄存器組,包括●源IP地址寄存器,128位;●流標(biāo)號(hào)寄存器,20位;●上述兩個(gè)寄存器的數(shù)據(jù)輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連;◆第一內(nèi)部控制狀態(tài)機(jī),它的輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連,它的狀態(tài)控制信號(hào)輸出端與上述分別生成IPv4數(shù)據(jù)包16位流標(biāo)識(shí)、IPv6數(shù)據(jù)包16位流標(biāo)識(shí)和各寄存器的相應(yīng)輸入端相連;◆第一邏輯運(yùn)算器,它的各輸入端分別與上述生成IPv4數(shù)據(jù)包16位流標(biāo)識(shí)用的寄存器組中各寄存器的下述各輸出端相連源地址高16位輸出端、源地址低16位輸出端、目的地址高16位輸出端、目的地址低16位輸出端、協(xié)議域8位輸出端、源協(xié)議端口16位輸出端以及目的協(xié)議端口16位輸出端;■上述第一邏輯運(yùn)算器是一個(gè)16位寄存器,它的輸出信號(hào)是把上述7個(gè)輸入數(shù)據(jù)相累加后形成的16位流標(biāo)識(shí);◆第二邏輯運(yùn)算器,它的各輸入端分別與上述生成IPv6數(shù)據(jù)包16位流標(biāo)識(shí)用的寄存器組中各寄存器的下述各輸出端相連16位源IP地址輸出端,共有8個(gè);高4位、低16位的流標(biāo)號(hào)輸出端;■上述第二邏輯運(yùn)算器是一個(gè)16位寄存器,它的輸出信號(hào)是把上述10個(gè)輸入數(shù)據(jù)累加后形成的另一種16位流標(biāo)識(shí);◆第一流標(biāo)識(shí)寄存器,它的輸入端與上述第一邏輯運(yùn)算器的輸出端相連;◆第二流標(biāo)識(shí)寄存器,它的輸入端與上述第二邏輯運(yùn)算器的輸出端相連;◆第一多路數(shù)據(jù)選擇器,它的兩個(gè)輸入端分別與上述第一、第二流標(biāo)識(shí)寄存器的輸出端相連;◆流標(biāo)識(shí)寄存器,它的輸入端與上述多路數(shù)據(jù)選擇器的輸出端相連;◆包緩存存儲(chǔ)器寫(xiě)數(shù)據(jù)寄存器,它的輸入端與上述輸入IP包數(shù)據(jù)寄存器的輸出端相連;◆包緩存存儲(chǔ)器寫(xiě)地址寄存器,它的輸入端與上述包緩存存儲(chǔ)器寫(xiě)數(shù)據(jù)寄存器的數(shù)據(jù)有效信號(hào)輸出端相連;◆包存儲(chǔ)起始、終止地址寄存器,它的地址信號(hào)輸入端與上述包緩存存儲(chǔ)器寫(xiě)地址寄存器的輸出端相連,它的控制信號(hào)輸入端與上述內(nèi)部控制狀態(tài)機(jī)的狀態(tài)控制信號(hào)輸出端相連;◆發(fā)送信息寄存器,它的一組輸入端與上述包存儲(chǔ)起始、終止地址寄存器輸出端相連,另一組輸入端與下述發(fā)送端口號(hào)寄存器的輸出端相連;◆發(fā)送端口號(hào)寄存器,它的發(fā)送信息輸出端與上述發(fā)送信息寄存器輸入端相連,它的新端口號(hào)輸出端與下述新端口號(hào)寄存器的輸入端相連;◆新端口號(hào)寄存器,它的輸入端與上述發(fā)送端口號(hào)寄存器的新端口號(hào)輸出端相連;◆第二多路數(shù)據(jù)選擇器,它的輸出端與上述發(fā)送端口號(hào)寄存器輸入端相連;◆流端口號(hào)寄存器,它的輸入端與下述流對(duì)應(yīng)端口存儲(chǔ)器的數(shù)據(jù)輸出端相連接;它的輸出端與上述多路數(shù)據(jù)選擇器的輸入端相連;◆當(dāng)前負(fù)載最輕端口寄存器它的輸出端與上述多路數(shù)據(jù)選擇器的輸入端相連;◆生命值是否為0判斷電路,它的非零信號(hào)輸出端與上述第二多路數(shù)據(jù)選擇器的控制信號(hào)輸入端相連;◆流生命值寄存器,它的輸入端與下述流生命值存儲(chǔ)器的數(shù)據(jù)輸出端相連;◆第三邏輯運(yùn)算器,它的輸入端與上述流生命值寄存器的輸出端相連,它的輸出是流生命值寄存器內(nèi)容加1的結(jié)果;◆新生命值寄存器,它的輸入端與上述第三邏輯運(yùn)算器的輸出端相連;■流對(duì)應(yīng)端口存儲(chǔ)器,它的數(shù)據(jù)輸入端與上述新端口號(hào)寄存器的輸出端相連;它的地址輸入端與上述流標(biāo)識(shí)寄存器的輸出端相連;■流生命值存儲(chǔ)器,它具有兩組數(shù)據(jù)和地址總線。它的第一組地址輸入端與包輸入電路中的流標(biāo)識(shí)寄存器的輸出端相連,所述的每一條流標(biāo)識(shí)信號(hào)對(duì)應(yīng)著前述流標(biāo)識(shí)信號(hào)在流生命值存儲(chǔ)器中的地址,它的這一組數(shù)據(jù)輸出總線與包輸入電路中的流生命值寄存器的輸入端相連,它的這一組數(shù)據(jù)輸入總線與包輸入電路中的新生命值寄存器的輸出端相連,它的第二組地址輸入端與下述生命值自動(dòng)老化處理電路中的生命值存儲(chǔ)器地址寄存器輸出端相連,它的這一組數(shù)據(jù)輸出總線與生命值自動(dòng)老化處理電路中的原始生命值寄存器的輸入端相連,它的這一組數(shù)據(jù)輸入總線與生命值自動(dòng)老化處理電路中的老化生命值寄存器的輸出端相連;■生命值自動(dòng)老化處理電路,包括◆內(nèi)部時(shí)鐘計(jì)數(shù)器,它是一個(gè)內(nèi)部的時(shí)鐘計(jì)數(shù)器,每個(gè)時(shí)鐘周期計(jì)數(shù)器加一,它具有一個(gè)同步清零輸入端與第一比較器的相等輸出端相連;◆時(shí)鐘周期寄存器,它的輸入端來(lái)自CPU接口電路;◆第一比較器,它的一個(gè)輸入端與內(nèi)部時(shí)鐘計(jì)數(shù)器的一個(gè)輸出端相連,另一個(gè)輸入端與時(shí)鐘周期寄存器的輸出端相連;◆生命值存儲(chǔ)器地址寄存器,它的輸入端與內(nèi)部時(shí)鐘計(jì)數(shù)器的一個(gè)輸出端相連,它的輸出端與流生命值存儲(chǔ)器的第二組地址輸入端相連;◆原始生命值寄存器,它的輸入端與流生命值存儲(chǔ)器的第二組數(shù)據(jù)輸出總線相連,它的輸出端經(jīng)過(guò)一個(gè)右移的移位寄存器與老化生命值寄存器的輸入端相連;◆老化生命值寄存器,它的輸出端與流生命值存儲(chǔ)器的第二組數(shù)據(jù)輸入總線相連;■包發(fā)送信息隊(duì)列存儲(chǔ)器,它的輸入端與包輸入電路中的發(fā)送信息寄存器的輸出端相連;■包緩存存儲(chǔ)器,它具有兩組數(shù)據(jù)和地址總線,它的第一組地址總線與包輸入電路的包緩存存儲(chǔ)器寫(xiě)地址寄存器的輸出端相連,它的第一組數(shù)據(jù)總線與包輸入電路的包緩存存儲(chǔ)器寫(xiě)數(shù)據(jù)寄存器的輸出端相連,它的第二組地址總線與包輸出電路的包緩存存儲(chǔ)器讀地址寄存器的輸出端相連,它的第二組數(shù)據(jù)總線與包輸出電路的包緩存存儲(chǔ)器讀數(shù)據(jù)寄存器的輸入端相連;■包輸出電路,包括◆包發(fā)送信息寄存器,它的輸入端與上述發(fā)送信息隊(duì)列存儲(chǔ)器的輸出端相連;◆包存儲(chǔ)器起始地址寄存器,它的輸入端與上述包發(fā)送信息寄存器的相應(yīng)輸出端相連;◆包存儲(chǔ)器終止地址寄存器,它的輸入端與上述包發(fā)送信息寄存器的另一個(gè)輸出端相連;◆包存儲(chǔ)器下一地址寄存器,它的輸入端與下述包緩存存儲(chǔ)器讀地址寄存器的輸出端經(jīng)過(guò)加1邏輯的輸出相連;◆第三多路數(shù)據(jù)選擇器,它的兩個(gè)輸入端分別與上述包存儲(chǔ)器起始地址寄存器、包存儲(chǔ)器下一地址寄存器的輸出端相連;◆包緩存存儲(chǔ)器讀地址寄存器,它的輸入端與上述第三多路數(shù)據(jù)選擇器的輸出端相連;它的輸出地址信號(hào)加“1”后送往上述包存儲(chǔ)器下一地址寄存器,它的另一個(gè)輸出端與包緩存存儲(chǔ)器的第二組地址輸入端相連;◆第二比較器,它的兩個(gè)輸入端分別與上述包存儲(chǔ)器下一地址寄存器、包存儲(chǔ)器終止地址寄存器的輸出端相連,它的比較信號(hào)輸出端與上述第三多路數(shù)據(jù)選擇器的控制信號(hào)輸入端相連;◆包發(fā)送端口寄存器,它的輸入端與上述包發(fā)送信息寄存器的輸出端相連;◆附加數(shù)據(jù)寄存器,它的一組輸入端與上述包發(fā)送端口寄存器的輸出端相連,它的另一組輸入端與CPU接口電路相連,它的輸出端與上述第3多路數(shù)據(jù)選擇器的相應(yīng)輸入端相連;◆包緩存存儲(chǔ)器讀數(shù)據(jù)寄存器,它的輸入端與包緩存存儲(chǔ)器的第二組數(shù)據(jù)總線相連;◆第四多路數(shù)據(jù)選擇器,它的兩個(gè)輸入端分別與上述包緩存存儲(chǔ)器讀數(shù)據(jù)寄存器及附加數(shù)據(jù)寄存器的輸出端相連;◆第二內(nèi)部控制狀態(tài)機(jī),它的輸入端與上述第二比較器的輸出端相連;它的三個(gè)輸出端分別與上述包發(fā)送信息寄存器、第四多路數(shù)據(jù)選擇器和第三多路數(shù)據(jù)選擇器的控制信號(hào)輸入端相連;◆寫(xiě)入上行數(shù)據(jù)隊(duì)列存儲(chǔ)器的數(shù)據(jù)寄存器,它的輸入端與上述第四多路數(shù)據(jù)選擇器的輸出端相連,它的輸出是上行數(shù)據(jù)隊(duì)列存儲(chǔ)器;■CPU接口電路,包括◆CPU地址寄存器,它的輸入端來(lái)自線路接口卡上的CPU的地址信號(hào)總線;◆CPU控制信號(hào)寄存器,它的輸入端來(lái)自線路接口卡上的CPU輸出的控制信號(hào);◆第三內(nèi)部控制狀態(tài)機(jī),它的輸入端與上述CPU地址寄存器和CPU控制信號(hào)寄存器的輸出端相連,它的輸出控制信號(hào)分別與生命值老化周期寄存器,發(fā)送板卡號(hào)寄存器和CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯的控制輸入信號(hào)相連;◆生命值老化周期寄存器,它的數(shù)據(jù)輸入端與CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯的輸出端相連,它的輸出端與生命值自動(dòng)老化電路的時(shí)鐘周期寄存器的輸入端相連;◆發(fā)送板卡號(hào)寄存器,它的數(shù)據(jù)輸入端與CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯的輸出端相連,它的輸出端與包輸出電路的附加數(shù)據(jù)寄存器的輸入端相連;◆CPU數(shù)據(jù)總線三態(tài)調(diào)度邏輯,它的一組端口與線路接口卡上的CPU數(shù)據(jù)總線相連,由第三內(nèi)部控制狀態(tài)機(jī)的輸出控制信號(hào)控制該端口的方向,完成三態(tài)調(diào)度,它的另外兩組輸出端分別與上述生命值老化周期寄存器和發(fā)送板卡號(hào)寄存器的輸入端相連。
全文摘要
高速網(wǎng)絡(luò)分流設(shè)備用線路接口卡中的包預(yù)處理電路組件屬于因特網(wǎng)主干網(wǎng)分流用的高速網(wǎng)絡(luò)分流設(shè)備技術(shù)領(lǐng)域,其特征在于它含有包輸入電路、經(jīng)發(fā)送信息隊(duì)列存儲(chǔ)器及包緩存存儲(chǔ)器與包輸入電路相連的包輸出電路,與包輸入電路互連的流對(duì)應(yīng)端口存儲(chǔ)器、流生命值存儲(chǔ)器,與流生命值存儲(chǔ)器相連的生命值自動(dòng)老化處理電路,與生命值自動(dòng)老化處理電路和包輸出電路互連的CPU接口電路。它對(duì)應(yīng)于IPv4、IPv6包,能保證屬于同一數(shù)據(jù)流的數(shù)據(jù)包全部通過(guò)相同的端口發(fā)送,并盡可能達(dá)到兩個(gè)端口的負(fù)載平衡;它能實(shí)現(xiàn)40字節(jié)到1500字節(jié)數(shù)據(jù)包的線速度處理。
文檔編號(hào)H04L12/56GK1642146SQ20051001111
公開(kāi)日2005年7月20日 申請(qǐng)日期2005年1月7日 優(yōu)先權(quán)日2005年1月7日
發(fā)明者趙有健, 關(guān)洪濤, 吳建平, 張小平, 樂(lè)祖暉 申請(qǐng)人:清華大學(xué)
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
阿克苏市| 信丰县| 黄陵县| 湘潭市| 沧州市| 米易县| 永年县| 平阳县| 天祝| 通化市| 张家界市| 宁远县| 南平市| 环江| 武邑县| 斗六市| 盐亭县| 忻城县| 海淀区| 金阳县| 邳州市| 拉萨市| 广河县| 偃师市| 桂林市| 金秀| 麻栗坡县| 牙克石市| 富蕴县| 乌拉特后旗| 石棉县| 东乌| 庆城县| 休宁县| 瓦房店市| 曲沃县| 卓尼县| 大厂| 稷山县| 新巴尔虎右旗| 开鲁县|