并行計算機、通信控制裝置以及通信控制方法
【專利摘要】在具有進行運算處理的多個節(jié)點且將節(jié)點間連接成能夠相互通信的并行計算機的節(jié)點中，具備：計測單元，其基于節(jié)點間的通信方式來計測到各目的地節(jié)點為止的通信帶寬；以及控制單元，其按照計測單元計測出的通信帶寬來控制向目的地節(jié)點發(fā)送的包大小。
【專利說明】并行計算機、通信控制裝置以及通信控制方法
【技術領域】
[0001]本發(fā)明涉及并行計算機、通信控制裝置以及通信控制方法。
【背景技術】
[0002]以往，已知有一種具備進行運算處理的多個節(jié)點的并行計算機。并行計算機所具備的各節(jié)點經由包含多個通信設備、例如交換機(switch)等的網(wǎng)絡而連接，相互進行數(shù)據(jù)通信。
[0003]圖1是表示并行計算機100的構成例的圖。
[0004]圖1所示的并行計算機100具備進行計算的節(jié)點NO?N7、和將接收到的數(shù)據(jù)轉送至特定的發(fā)送目的地的節(jié)點的交換機110?117。交換機110?117構成將交換機配置于直線上的I維網(wǎng)格型網(wǎng)絡。
[0005]交換機若從與節(jié)點或其他交換機連接的輸入端口接收到包，則根據(jù)接收到的包的目的地來決定輸出包的輸出端口。而且，交換機向所決定的輸出端口輸出包。
[0006]在接收到多個向相同輸出端口輸出的包的情況下，交換機進行協(xié)調，以使從各輸入端口向輸出端口輸出的包的個數(shù)均等。而且，交換機根據(jù)協(xié)調結果從輸出端口發(fā)送包。
[0007]與上述技術相關聯(lián)，已知有一種下述的無線多跳網(wǎng)絡，其包含:發(fā)送節(jié)點，決定與到目的地為止的轉送次數(shù)即跳數(shù)對應的包大小并進行將發(fā)送數(shù)據(jù)斷片化為大小更小的包的碎片化；和中繼節(jié)點，根據(jù)與跳數(shù)對應的優(yōu)先控制來發(fā)送包。
[0008]另外，已知有一種通過基于完成了通信的包的長度來決定下一包的長度，從而總是進行效率良好的通信的無線數(shù)據(jù)通信方法。
[0009]專利文獻1:日本特開2003 - 273788號公報
[0010]專利文獻2:日本特開2001 - 326648號公報
[0011]在上述的并行計算機100中，若進行組群通信而使通信集中于一部分交換機，則到集中了通信的交換機為止的跳數(shù)越大的節(jié)點，通信帶寬越大幅下降。該情況下，與來自跳數(shù)小的節(jié)點的數(shù)據(jù)相比，從跳數(shù)大的節(jié)點向目的地節(jié)點發(fā)送的數(shù)據(jù)延遲到達。
[0012]圖2表示了節(jié)點NO?N6對節(jié)點N7發(fā)送數(shù)據(jù)的組群通信的例子。
[0013]交換機進行要輸入的包的協(xié)調，以使向各輸入端口輸入的包向輸出端口的輸出數(shù)均等、即各為I / 2。因此，從節(jié)點N6向交換機116發(fā)送且從交換機116向交換機117發(fā)送的包數(shù)成為從交換機116向交換機117發(fā)送的全部包數(shù)的I / 2。
[0014]在圖2中，將任意節(jié)點發(fā)送的包數(shù)相對于向節(jié)點N7發(fā)送的包數(shù)、即向交換機117發(fā)送的包數(shù)的比率稱為“包數(shù)比”。該情況下，節(jié)點N6處的包數(shù)比為I / 2。
[0015]另外，從交換機115向交換機116發(fā)送且從交換機116向交換機117發(fā)送的包數(shù)成為從交換機116向交換機117發(fā)送的全部包數(shù)的I / 2。而且，從節(jié)點N5向交換機115發(fā)送且從交換機115向交換機116發(fā)送的包數(shù)成為從交換機115向交換機116發(fā)送的全部包數(shù)的I / 2。因此，節(jié)點N5處的包數(shù)比為I / 4。
[0016]同樣，節(jié)點N4、N3、N2以及NI的包數(shù)比分別是I / 8、I / 16、I / 32以及I / 64。另外，由于交換機110僅將從節(jié)點NO發(fā)送來的包向交換機111發(fā)送，因此節(jié)點NO的包數(shù)比與節(jié)點NI相同，為I / 64。
[0017]在此，將作為組群通信的發(fā)送源的各節(jié)點發(fā)送的包的大小的比率稱為“包大小比”。在圖2所示的組群通信中，由于所有的節(jié)點輸出大小相同的包，因此節(jié)點N6、N5、N4、N3、N2、N1以及NO處的包大小比為I:1:1:1:1:1:1。
[0018]另外，將發(fā)送源的節(jié)點發(fā)送包時使用的通信帶寬相對于通信帶寬整體的比率稱為“通信帶寬比”。在所有的節(jié)點輸出大小相同的包的情況下，由于各節(jié)點處的包數(shù)比直接成為通信帶寬比，所以若將整體設為1，則節(jié)點N6、N5、N4、N3、N2、N1以及NO處的通信帶寬比分別為 I / 2、1 / 4、1 / 8、1 / 16、1 / 32、1 / 64 以及 I / 64。
[0019]在圖2所示的組群通信的例子中，導致距離目的地節(jié)點N7遠的節(jié)點N0、N1的通信帶寬大幅下降。如果沒有完成所有節(jié)點的通信，則組群通信不結束。因此，與從接近于目的地節(jié)點N7的節(jié)點N6向目的地節(jié)點N7發(fā)送的數(shù)據(jù)相比，從節(jié)點NO、NI向目的地節(jié)點N7發(fā)送的數(shù)據(jù)延遲到達。該情況下，距離目的地節(jié)點N7較遠的節(jié)點NO、NI的通信帶寬成為瓶頸。從跳數(shù)大的節(jié)點向目的地節(jié)點發(fā)送的數(shù)據(jù)延遲到達。
[0020]另外，即便是組群通信以外的通信，如果將通信集中于一部分的交換機，則到集中了通信的交換機為止的轉送次數(shù)即跳數(shù)較大的節(jié)點的通信帶寬也大幅下降。
[0021]圖3是表示在并行計算機100中因組群通信以外的通信導致一部分節(jié)點的通信帶寬大幅下降的情況的例子的圖。圖3表示了節(jié)點N0、N1、N2以及N3分別與相距4跳的節(jié)點同時進行通信的情況。其中，為了使通信路徑容易理解，在圖3中將各節(jié)點間的通信路徑分別用包含箭頭的實線來記述，但并行計算機100的構成與圖1相同。
[0022]從節(jié)點N3向交換機113發(fā)送且從交換機113向交換機114發(fā)送的包數(shù)成為從交換機113向交換機114輸出的全部包數(shù)的I / 2。
[0023]在圖3中，將任意的節(jié)點發(fā)送的包數(shù)相對于向交換機113發(fā)送的包數(shù)的比率稱為“包數(shù)比”。此時，節(jié)點N3處的包數(shù)比為I / 2。
[0024]另外，從交換機112向交換機113發(fā)送且從交換機113向交換機114發(fā)送的包數(shù)成為從交換機113向交換機114發(fā)送的包數(shù)的I / 2。而且，從節(jié)點N2向交換機112發(fā)送且從交換機112向交換機113發(fā)送的包數(shù)成為從交換機112向交換機113發(fā)送的包數(shù)的I /
2。因此，節(jié)點N2處的包數(shù)比為I / 4。
[0025]同樣，節(jié)點NI的包數(shù)比為I / 8。另外，由于交換機110僅將從節(jié)點NO發(fā)送來的包向交換機111發(fā)送，因此節(jié)點NO的包數(shù)比與節(jié)點NI相同，為I / 8。
[0026]在節(jié)點NO?N3輸出大小相同的包的情況下，節(jié)點N0、N1、N2以及N3各自的包大小比為1:1:1:1。此時，由于包數(shù)比直接成為通信帶寬比，因此若將整體設為1，則節(jié)點NO、N1、N2以及N3處的通信帶寬比分別為I / 2、1 / 4、1 / 8以及I / 8。
[0027]在圖3所示的通信的例子中，與其他節(jié)點的通信帶寬相比，節(jié)點N0、N1的通信帶寬大幅下降。此時，如果到通信集中的交換機114為止的跳數(shù)較大的節(jié)點即節(jié)點NO、NI的通信沒有完成，則例如對于進行依賴于節(jié)點NO、NI的通信完成的處理的其他節(jié)點而言，通信不會結束。因此，節(jié)點NO、NI的通信帶寬成為瓶頸。
[0028]此外，在圖1?圖3中，對將交換機配置于直線上的I維網(wǎng)格型網(wǎng)絡情況進行了說明，但在多維網(wǎng)格型網(wǎng)絡的情況下也會產生同樣的問題。另外，上述的問題在并行計算機100具有網(wǎng)格型網(wǎng)絡以外的網(wǎng)絡方式的情況下也會發(fā)生。
[0029]圖4是表示具有環(huán)(torus)型網(wǎng)絡的網(wǎng)絡方式的并行計算機400的構成例的圖。
[0030]圖4所示的并行計算機400具備進行計算的節(jié)點NO?N7、和將接收到的數(shù)據(jù)向特定的發(fā)送目的地轉送的交換機410?417。交換機410?417構成環(huán)狀的環(huán)型網(wǎng)絡。
[0031 ] 在圖4中，節(jié)點N4經由包含交換機414、415、416以及417的路徑與節(jié)點N7進行通信。節(jié)點N5經由包含交換機415、416以及417的路徑與節(jié)點N7進行通信。節(jié)點N6經由包含交換機416以及417的路徑與節(jié)點N7進行通信。另外，節(jié)點NO經由包含交換機413、412、411、410以及417的路徑與節(jié)點N7進行通信。節(jié)點NO經由包含交換機413、412、411、410以及417的路徑與節(jié)點N7進行通信。節(jié)點NI經由包含交換機412、411、410以及417的路徑與節(jié)點N7進行通信。節(jié)點N3經由包含交換機411、410以及417的路徑與節(jié)點N7進行通信。節(jié)點N4經由包含交換機410以及417的路徑與節(jié)點N7進行通信。
[0032]從交換機416向交換機417發(fā)送且從交換機417向節(jié)點N7發(fā)送的包數(shù)成為從交換機417向節(jié)點N7發(fā)送的包數(shù)的1/2。另外，從節(jié)點N6向交換機416發(fā)送且從交換機416向交換機417發(fā)送的包數(shù)成為從交換機416向交換機417發(fā)送的包數(shù)的I / 2。
[0033]在圖4中，將任意的節(jié)點發(fā)送的包數(shù)相對于向節(jié)點N7發(fā)送的包數(shù)的比率稱為“包數(shù)比”。此時，節(jié)點N6處的包數(shù)比為I / 4。
[0034]另外，從交換機415向交換機416發(fā)送且從交換機416向交換機117發(fā)送的包數(shù)成為從交換機416向交換機417發(fā)送的包數(shù)的I / 2。而且，從節(jié)點N5向交換機415發(fā)送且從交換機415向交換機416發(fā)送的包數(shù)成為從交換機415向交換機416發(fā)送的包數(shù)的I /
2。此時，節(jié)點N5處的包數(shù)比為I / 8。
[0035]由于交換機414僅將從節(jié)點N4輸入的包向交換機415輸出，因此節(jié)點N4處的包數(shù)比與節(jié)點N5相同，為I / 8。
[0036]同樣，節(jié)點N0、N1、N2以及N3的包數(shù)比分別為I / 4、I / 8、I / 16以及I / 16。
[0037]在節(jié)點NO?N6輸出大小相同的包的情況下，節(jié)點NO?N6處的包大小比為1:1:1:1:1:1:1。此時，由于包數(shù)比直接成為通信帶寬比，因此節(jié)點N0、N1、N2、N3、N4、N5以及N6處的通信帶寬比分別為I / 4、1 / 8、1 / 16、1 / 16、1 / 8、1 / 8以及I / 4。
[0038]在圖4所示的組群通信的例子中，與其他節(jié)點的通信帶寬相比，到節(jié)點N7為止的跳數(shù)較大的節(jié)點即節(jié)點N2、N3的通信帶寬大幅下降。由于如果沒有完成所有節(jié)點的通信，則組群通信不會結束，因此節(jié)點N2、N3的通信帶寬成為瓶頸。從跳數(shù)較大的節(jié)點向目的地節(jié)點發(fā)送的數(shù)據(jù)延遲到達。
[0039]此外，在圖4中，對將節(jié)點間連接成環(huán)狀的環(huán)型網(wǎng)絡的情況進行了說明，但在多維環(huán)型網(wǎng)絡的情況下也會產生同樣的問題。
[0040]圖5是表示網(wǎng)絡方式為胖樹(fat tree)型的情況下的并行計算機500的構成例的圖。
[0041]圖5所示的并行計算機500具備進行計算的節(jié)點NO?N7、和將接收到的數(shù)據(jù)向特定的發(fā)送目的地轉送的交換機510?514。交換機510?514被連接成胖樹型。在此，胖樹型是指將上位層的交換機到連接各節(jié)點的下位層的交換機連接成交換機間的連接對稱分支的樹型的連接方式。
[0042]在圖5中示出了節(jié)點NO?N6向節(jié)點N7發(fā)送數(shù)據(jù)的組群通信的例子。[0043]從節(jié)點N6向交換機514發(fā)送且從交換機514向節(jié)點N7發(fā)送的包數(shù)為從交換機514向節(jié)點N7發(fā)送的包數(shù)的I / 2。
[0044]在圖5中，將任意節(jié)點發(fā)送的包數(shù)相對于向節(jié)點N7發(fā)送的包數(shù)的比率稱為“包數(shù)比”。此時，節(jié)點N6處的包數(shù)比為I / 2。
[0045]交換機510將由交換機511、512以及513發(fā)送的包向交換機514發(fā)送。因此，例如，從交換機513向交換機510發(fā)送且從交換機510向交換機514發(fā)送的包數(shù)為從交換機510向交換機514發(fā)送的全部包數(shù)的I / 3。
[0046]另外，交換機513將由節(jié)點N4以及節(jié)點N5發(fā)送的包向交換機510發(fā)送。因此，從節(jié)點N4向交換機513發(fā)送且從交換機513向交換機510發(fā)送的包數(shù)為從交換機513向交換機510發(fā)送的全部包數(shù)的I / 2。同樣，從節(jié)點N5向交換機513發(fā)送且從交換機513向交換機510發(fā)送的包數(shù)為從交換機513向交換機510發(fā)送的全部包數(shù)的I / 2。因此，節(jié)點N4以及N5處的包數(shù)比分別為I / 12。
[0047]在節(jié)點NO?N6輸出大小相同的包的情況下，節(jié)點NO?N6處的包大小比分別為I。此時，包數(shù)比直接成為通信帶寬比，因此節(jié)點NO、N1、N2、N3、N4、N5以及N6處的通信帶寬比分別為 I / 12,1 / 12、1 / 12、1 / 12、1 / 12、1 / 12 以及 I / 2。
[0048]在圖5所示的組群通信的例子中，與節(jié)點N6的通信帶寬相比，節(jié)點NO?N5的通信帶寬大幅下降。因此，節(jié)點NO?N5的通信帶寬成為瓶頸。從跳數(shù)較大的節(jié)點向目的地節(jié)點發(fā)送的數(shù)據(jù)延遲到達。
[0049]如以上說明那樣，若組群通信等通信集中于一部分交換機，則由于向集中了通信的交換機的跳數(shù)較大的節(jié)點的通信帶寬大幅下降，所以從跳數(shù)較大的節(jié)點向目的地節(jié)點發(fā)送的數(shù)據(jù)延遲到達。因此，向目的地節(jié)點發(fā)送的數(shù)據(jù)的到達時間根據(jù)跳數(shù)的大小而產生偏差。

【發(fā)明內容】

[0050]在I個方式中，本發(fā)明的并行計算機進行使數(shù)據(jù)向目的地節(jié)點的到達時間平均化的節(jié)點間通信。
[0051]根據(jù)該并行計算機的I個觀點，該并行計算機具備以下的構成要素。
[0052]該并行計算機是具有進行運算處理的多個節(jié)點，并將該節(jié)點間連接成能夠相互通
信的信息處理裝置。
[0053]而且，所述節(jié)點具備計測單元和控制單元。所述計測單元基于所述節(jié)點間的通信方式來計測到各目的地節(jié)點為止的通信帶寬。另外，所述控制單元按照所述計測單元計測出的通信帶寬來控制向目的地節(jié)點發(fā)送的包大小。
[0054]根據(jù)該并行計算機的I個方式，能夠進行使數(shù)據(jù)向目的地節(jié)點的到達時間平均化的節(jié)點間通信。
【專利附圖】

【附圖說明】
[0055]圖1是表示并行計算機的構成例的圖。
[0056]圖2是表示在圖1所示的并行計算機中，節(jié)點NO?N6向節(jié)點N7發(fā)送數(shù)據(jù)的組群通信的例子的圖。[0057]圖3是表示在圖1所示的并行計算機中，因組群通信以外的通信導致一部分節(jié)點的通信帶寬大幅下降時的例子的圖。
圖4是表示具有環(huán)型網(wǎng)絡的網(wǎng)絡方式的并行計算機的構成例的圖。
圖5是表示網(wǎng)絡方式為胖樹型時的并行計算機的構成例的圖。
圖6是說明并行計算機600的圖。
圖7是表不并行計算機700的構成例的圖。
圖8是說明并行計算機700所含的節(jié)點的概要的圖。
圖9是表示圖8所示的節(jié)點的具體的構成例的圖。
圖10是表示并行計算機700的包發(fā)送處理的流程圖。
圖11是表示圖10所示的步驟S1003的具體處理的流程圖。
圖12是表示圖9所示的節(jié)點的變形例的圖。
圖13是表示使用了圖12中說明的節(jié)點的并行計算機700的包發(fā)送處理的流程
圖14是表示圖13所示的步驟S1303的具體處理的流程圖。
圖15是表示圖9所示的節(jié)點的其他變形例的圖。
圖16是表示使用了圖15中說明的節(jié)點的并行計算機700的包發(fā)送處理的流程圖17是表示圖9所示的節(jié)點的其他.變形例的圖。
圖18是表示使用了圖17中說明的節(jié)點的并行計算機700所使用的交換機的構成圖19是表示使用了圖17中說明的節(jié)點以及圖18中說明的交換機的并行計算機
[0058]
[0059]
[0060]
[0061]
[0062]
[0063]
[0064]
[0065]
[0066]
[0067]圖。
[0068]
[0069]
[0070]圖。
[0071]
[0072]
例的圖。
[0073]
700的包發(fā)送處理的流程圖。
[0074]
[0075]
[0076]圖。
[0077]
[0078]的圖。
[0079]
[0080]圖。
[0081]
[0082]
[0083]
[0084]
[0085]
[0086]程圖。
圖20是說明其他實施例涉及的并行計算機2000所包含的節(jié)點的概要的圖。
圖21是表示圖20所示的節(jié)點的具體的構成例的圖。
圖22是表示使用了圖21中說明的節(jié)點的并行計算機2000的包發(fā)送處理的流程
圖23是表示圖22所示的步驟S2206的具體處理的流程圖。
圖24是說明其他實施例涉及的并行計算機2400所包含的節(jié)點以及交換機的概要
圖25是表示圖24所示的交換機的具體的構成例的圖。
圖26是表圖25所的交換機所具備的存儲部中存儲的等待時間表的例子的
圖27是表不圖25所不的交換機的處理的流程圖。
圖28是表示圖24所示的處理器進行的包大小的決定處理的流程圖。
圖29是表示圖24所示的節(jié)點的變形例的圖。
圖30是表示圖29所示的節(jié)點的具體的構成例的圖。
圖31是表不圖30所不的交換機的存儲部中存儲的等待時間表的例子的圖。
圖32是表示使用了圖30中說明的節(jié)點的并行計算機2400中的包發(fā)送處理的流[0087]圖33是表示圖32所示的步驟S3203的具體處理的流程圖。
[0088]圖34是表示并行計算機600、700、2000、2400中的節(jié)點間通信所使用的包的例子的圖。
[0089]圖35是表示與并行計算機700進行對比而使用的并行計算機3500的圖。
[0090]圖36是表示在圖35所示的并行計算機3500的各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0091 ] 圖37是表示在并行計算機700中，節(jié)點710?713對節(jié)點715或者716進行Gather通信時的例子的圖。
[0092]圖38是表示在圖37所示的并行計算機700的各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0093]圖39是表示當圖35所示的并行計算機3500的各節(jié)點不將消息進行分割地向目的地節(jié)點發(fā)送時，在各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0094]圖40是表示圖35所示的并行計算機3500的節(jié)點3510?3512分別與相隔4跳的目的地節(jié)點進行通信時的例子的圖。
[0095]圖41是表示在圖40所示的并行計算機3500的各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0096]圖42是表示在并行計算機700中，節(jié)點710?712分別與相隔4跳的目的地節(jié)點進行通信時的例子的圖。
[0097]圖43是表示在圖42所示的并行計算機700的各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0098]圖44是表示圖40所示的并行計算機3500的各節(jié)點以存儲轉發(fā)方式進行動作時，在各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0099]圖45是表示圖42所示的并行計算機700的各節(jié)點以存儲轉發(fā)方式進行動作時，在各交換機間向目的地節(jié)點的方向流動的包的時序圖。
【具體實施方式】
[0100]以下，基于圖6?圖45對本實施方式的一例進行說明。其中，以下說明的實施方式只是例示，并不意圖排除在以下沒有明示的各種變形和技術的應用。即，本實施方式在不脫離其主旨的范圍內能夠將各實施例組合等進行各種變形來實施。
[0101]實施例
[0102]圖6是說明本實施例涉及的并行計算機600的圖。
[0103]并行計算機600具備節(jié)點610、620、...。各節(jié)點以能夠相互通信的方式連接。節(jié)點610、620、..?具有同樣的構成，因此以下以節(jié)點610作為代表來進行說明。
[0104]節(jié)點610是進行任意的運算處理的運算裝置等信息處理裝置。節(jié)點610具備一般的信息處理裝置所具有的構成要素，例如處理器和主存儲裝置等。
[0105]而且，節(jié)點610具備計測單元611和控制單元612。
[0106]計測單元611基于與本節(jié)點進行通信的目的地節(jié)點間的通信方式來計測本節(jié)點與該目的地節(jié)點間的發(fā)送包的轉送次數(shù)即跳數(shù)。通信方式可包含節(jié)點610、620、..?通過連接成能夠相互通信而實現(xiàn)的網(wǎng)絡的方式、與本節(jié)點進行通信的目的地節(jié)點間的通信距離或者表示通信距離的信息，例如從發(fā)送源節(jié)點到目的地節(jié)點為止發(fā)送包經由的轉送單元的個數(shù)即跳數(shù)等。轉送單元是為了將節(jié)點610、620、..?連接成能夠相互通信來實現(xiàn)網(wǎng)絡而夾設于節(jié)點間并轉送數(shù)據(jù)或包的通信設備，例如是交換機或路由器等。轉送單元例如具備被輸入包的多個輸入端口和輸出被輸入的包的輸出包。而且，轉送單元在接收到多個向相同輸出端口輸出的包的情況下，能夠進行協(xié)調以使從各輸入端口向輸出端口輸出的包的數(shù)量均等。轉送單元按照協(xié)調結果從輸出端口發(fā)送包。
[0107]控制單元612按照計測單元611的計測結果，以使從本節(jié)點向目的地節(jié)點的包到達時間與從其他節(jié)點向目的地節(jié)點的包到達時間均等化的方式，對與該目的地節(jié)點的通信所使用的包大小進行控制。例如，在計測單元611計測到的本節(jié)點610和目的地節(jié)點620間的發(fā)送包的跳數(shù)較大時，控制單元612增大向該目的地節(jié)點620發(fā)送的包的大小。
[0108]例如，在轉送單元中，協(xié)調成從各輸入端口向輸出端口輸出的包的數(shù)量變得均等，來向目的地節(jié)點轉送包。此時，與從跳數(shù)較小的節(jié)點向目的地節(jié)點轉送的包數(shù)相比，從跳數(shù)較大的節(jié)點向目的地節(jié)點轉送的包數(shù)的比率下降。而且，與到目的地節(jié)點為止的跳數(shù)較小的節(jié)點能夠使用的通信帶寬相比，到目的地節(jié)點為止的跳數(shù)較大的節(jié)點能夠使用的通信帶寬的比率降低。
[0109]但是，如上所述，節(jié)點610、620、..?基于與目的地節(jié)點的通信距離即跳數(shù)，按每個目的地節(jié)點控制在通信中使用的包大小。例如，節(jié)點610、 620、..?在到目的地節(jié)點為止的跳數(shù)較大的情況下，使向目的地節(jié)點發(fā)送的包的大小變大。由此，可使跳數(shù)較小的節(jié)點能夠使用的通信帶寬和跳數(shù)較大的節(jié)點能夠使用的通信帶寬的比率均等。結果，節(jié)點610、620、...能夠進行使從本節(jié)點向目的地節(jié)點的包到達時間和從其他節(jié)點向目的地節(jié)點的包到達時間均等化的節(jié)點間通信。
[0110](其他的實施例)
[0111]圖7是表示本實施例涉及的并行計算機700的構成例的圖。
[0112]并行計算機700具備節(jié)點710?716和交換機720?726。各節(jié)點710?716經由交換機720?726連接成能夠相互通信。以下將包含節(jié)點710?716和交換機720?726的網(wǎng)絡的一部分或全部簡稱為“網(wǎng)絡”。
[0113]各節(jié)點710?716例如是包含根據(jù)規(guī)定的程序來進行運算處理的處理器、存儲規(guī)定程序的主存儲裝置等的運算裝置。另外，各節(jié)點710?716包含經由其他節(jié)點與網(wǎng)絡進行通信的網(wǎng)絡接口裝置。
[0114]交換機720?726是將接收到的數(shù)據(jù)向規(guī)定的目的地轉送的通信裝置。
[0115]其中，在圖7中示出了具備7個節(jié)點710?716的并行計算機700的構成例，但并不意圖限定節(jié)點的數(shù)量。
[0116]另外，在圖7中示出了網(wǎng)絡構成為網(wǎng)格型時的并行計算機700，但本實施例涉及的節(jié)點以及交換機也能夠應用于網(wǎng)絡構成為環(huán)型或胖樹型的情況。
[0117]圖8是說明本實施例涉及的并行計算機700所包含的節(jié)點的概要的圖。由于節(jié)點710?716全部是同樣的構成，因此在圖8中，將并行計算機700所包含的節(jié)點中的節(jié)點710作為代表記載。
[0118]節(jié)點710具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置830。
[0119]處理器810是根據(jù)規(guī)定的程序來進行運算處理的運算處理裝置。主存儲裝置820存儲程序等。主存儲裝置820中可包括DMA電路，該DMA電路不理解處理器810地實現(xiàn)將主存儲裝置820保持的數(shù)據(jù)向接口控制部832轉送的DMA (Direct Memory Access)轉送。網(wǎng)絡接口裝置830是節(jié)點經由網(wǎng)絡與其他的節(jié)點進行通信用的接口。
[0120]網(wǎng)絡接口裝置830具備跳數(shù)表存儲部331和接口控制部832。
[0121]跳數(shù)表存儲部831包含按每個發(fā)送包的目的地即目的地節(jié)點來存儲包含對目的地節(jié)點進行識別的目的地節(jié)點地址和到目的地節(jié)點為止經由的交換機的數(shù)量的跳數(shù)表840的存儲裝置。以下，將從發(fā)送源的節(jié)點發(fā)送出的包到目的地節(jié)點為止經由的交換機的數(shù)量稱為“跳數(shù)”。
[0122]接口控制部832根據(jù)網(wǎng)絡中使用的協(xié)議，將包含處理器810所指定的數(shù)據(jù)的一部分或全部的包向規(guī)定的目的地節(jié)點發(fā)送。在進行該發(fā)送時，接口控制部832參照跳數(shù)表存儲部831中存儲的跳數(shù)表840，取得到包的目的地節(jié)點為止的跳數(shù)。而且，在判斷為到目的地節(jié)點為止的跳數(shù)較多時，接口控制部832增大向該目的地節(jié)點發(fā)送的包大小。另外，在判斷為到目的地節(jié)點為止的跳數(shù)較少的情況下，接口控制部832減小向該目的地節(jié)點發(fā)送的包大小。
[0123]另外，接口控制部832將從網(wǎng)絡接收到的數(shù)據(jù)向處理器810發(fā)送。
[0124]圖9是表示圖8所示的節(jié)點710的具體的構成例的圖。
[0125]節(jié)點710如圖8所示，具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置830。
[0126]網(wǎng)絡接口裝置830具備跳數(shù)表存儲部831、控制部901、DMA控制器902和包發(fā)送部903。但是，圖9并不意味網(wǎng)絡接口裝置830僅具備圖9所示的構成要素。網(wǎng)絡接口裝置830例如還可包括包的接收功能等功能。
[0127]控制部901在從處理器810接收到包發(fā)送指示后，控制DMA控制器902、包發(fā)送部903來進行包的發(fā)送處理。此時，控制部901對DMA控制器902和包發(fā)送部903指定I個包中包含的數(shù)據(jù)的數(shù)據(jù)長度。另外，控制部901根據(jù)從本節(jié)點到包的目的地為止的跳數(shù)來計測本節(jié)點的通信帶寬。對應于該計測，控制部901改變向對DMA控制器902和包發(fā)送部903指定的該目的地節(jié)點發(fā)送的包的數(shù)據(jù)長度。
[0128]控制部901根據(jù)表示基于到包的目的地為止的跳數(shù)的本節(jié)點的通信帶寬的計測、和對應于該計測而改變的數(shù)據(jù)長度之間的關系的數(shù)式，能夠定量地求出向目的地節(jié)點發(fā)送的包的數(shù)據(jù)長度。
[0129]DMA控制器902在被控制部901通知了進行DMA的數(shù)據(jù)的地址和數(shù)據(jù)長度后，對主存儲裝置820指定控制部901通知的地址和數(shù)據(jù)長度來進行DMA請求。于是，主存儲裝置820將被指定的地址中保存的數(shù)據(jù)以被指定的數(shù)據(jù)長度向DMA控制器902進行DMA轉送。DMA控制器902將由主存儲裝置820進行DMA轉送的數(shù)據(jù)向包發(fā)送部903發(fā)送。
[0130]包發(fā)送部903根據(jù)由DMA控制器902轉送的數(shù)據(jù)來創(chuàng)建包含控制部901指定的數(shù)據(jù)長度的數(shù)據(jù)的包并向目的地節(jié)點發(fā)送。
[0131]圖10是表示本實施例涉及的并行計算機700的包發(fā)送處理的流程圖。
[0132]從步驟S1000開始進行處理，在步驟S1001中，控制部901在從處理器810接受了包發(fā)送指示后，取得包發(fā)送指示中包含的目的地節(jié)點地址、網(wǎng)絡構成以及通信模式信息。
[0133]網(wǎng)絡構成是指包含并行計算機700所具備的節(jié)點710?716以及交換機720?726的網(wǎng)絡的構成。在包發(fā)送指示所包含的網(wǎng)絡構成中，例如可包括將各節(jié)點連接成網(wǎng)格狀的網(wǎng)格型、將各節(jié)點連接成環(huán)狀的環(huán)型、將上位層的交換機到連接各節(jié)點的下位層的交換機連接成交換機間的連接對稱分岐的胖樹型等。另外，通信模式信息中可以包括利用圖26后述的通信模式。
[0134]在步驟S1002中，控制部901參照跳數(shù)表存儲部831中存儲的跳數(shù)表840。而且，控制部901從跳數(shù)表840取得從在步驟S1001中取得的本節(jié)點到目的地節(jié)點的跳數(shù)和并行計算機700整體中的最大跳數(shù)。
[0135]在步驟S1003中，基于在步驟S1001中取得的網(wǎng)絡構成以及通信模式信息、和在步驟S1002中取得的從本節(jié)點到目的地節(jié)點的跳數(shù)以及并行計算機700整體中的最大跳數(shù)，來決定向該目的地節(jié)點發(fā)送的包的包大小。
[0136]在來自處理器810的包發(fā)送指示是基于Put請求的指示的情況下(步驟S1004:是)，控制部901將處理轉移至步驟S1005。該情況下，控制部901從主存儲裝置820讀出處理器810所指定的數(shù)據(jù)(步驟S1005)。在此，Put請求是指進行通信的節(jié)點指定本節(jié)點的主存儲裝置的區(qū)域和目的地節(jié)點的主存儲裝置的區(qū)域，并將本節(jié)點的主存儲裝置的區(qū)域中存儲的數(shù)據(jù)向目的地節(jié)點的主存儲裝置的區(qū)域寫入的請求。作為Put請求的具體處理，例如進行以下那樣的處理。
[0137]DMA控制器902對主存儲裝置820指定由控制部901根據(jù)包發(fā)送指示指定的、發(fā)送對象的數(shù)據(jù)被儲存的地址和使包所含的數(shù)據(jù)的數(shù)據(jù)長度來進行DMA請求。于是，主存儲裝置820將被指定的地址中儲存的數(shù)據(jù)以所指定的數(shù)據(jù)長度向DMA控制器902進行DMA轉送。DMA控制器902將轉送來的數(shù)據(jù)向包發(fā)送部903發(fā)送。
[0138]其中，數(shù)據(jù)長度可使用從在步驟S1003中決定的包大小除去包所含的包頭長度而得到的值。
[0139]在步驟S1006中，包發(fā)送部903若從DMA控制器902接收到數(shù)據(jù)，則創(chuàng)建包含控制部901所指定的數(shù)據(jù)長度的數(shù)據(jù)的包。而且，包發(fā)送部903將創(chuàng)建的包向目的地節(jié)點發(fā)送。
[0140]另一方面，在來自處理器810的包發(fā)送指示是基于Get請求的指示的情況下(步驟S1004:否)，控制部901將處理轉移至步驟S1007。此時，包發(fā)送部903創(chuàng)建對在步驟S1003中決定的包大小進行指定的Get請求包并向目的地節(jié)點發(fā)送(步驟S1007)。在此,Get請求是指進行通信的節(jié)點指定本節(jié)點的主存儲裝置的區(qū)域和目的地節(jié)點的主存儲裝置的區(qū)域，并將目的地節(jié)點的主存儲裝置的區(qū)域中存儲的數(shù)據(jù)向本節(jié)點的主存儲裝置的區(qū)域讀入的請求。
[0141]若以上的處理結束，則控制部901結束包發(fā)送處理(步驟S1008)。
[0142]圖11是表示本實施例涉及的包大小的決定處理(步驟S1003)的詳細的流程圖。
[0143]當在步驟S1001中取得的網(wǎng)絡構成是環(huán)型或網(wǎng)格型時(步驟SllOl:是)，控制部901將處理轉移至步驟S1102。此時，控制部901根據(jù)下式計算出包大小候補(步驟S1102)。
[0144]α X (m+n) Xl...(I)
[0145]其中，α為用于調整包大小的大于O的常數(shù)，m為最大包大小，η為最大跳數(shù)，I為向目的地節(jié)點的跳數(shù)。
[0146]另一方面，當在步驟S1001中取得的網(wǎng)絡構成為胖樹型時(步驟SllOl:否)，控制部901將處理轉移至步驟S1103。此時，控制部901判別到目的地節(jié)點為止的跳數(shù)是否是I(步驟 S1103)。[0147]在到目的地節(jié)點為止的跳數(shù)是I的情況下(步驟SI 103:是)，控制部901將處理轉移至步驟S1104。此時，控制部901根據(jù)下式來計算包大小候補(步驟S1104)。
[0148]β Xm+ (k — j)...(2)
[0149]其中，β為用于調整包發(fā)送間隔的大于O的常數(shù)，j為與一個交換機直接連接的節(jié)點數(shù)，k為全部節(jié)點數(shù)。
[0150]另外，在步驟S1103中，當?shù)侥康牡毓?jié)點為止的跳數(shù)不是I時(步驟S1103:否)，控制部901將處理轉移至步驟S1105。此時，控制部901根據(jù)下式來計算包大小候補(步驟S1105)。
[0151]Y Xm...(3)
[0152]其中，Y為用于調整包大小的大于O的常數(shù)。
[0153]若通過以上的處理計算出包大小候補，則控制部901將處理轉移至步驟S1106。
[0154]在步驟S1106中，當發(fā)送數(shù)據(jù)是從其他節(jié)點接收并中繼的數(shù)據(jù)時(步驟S1106:是)，控制部901將處理轉移至步驟S1107。此時，控制部901根據(jù)下式來計算新的包大小候補(步驟S1107)。
[0155]δ X (i + I) XP...(4)
[0156]其中，δ為用于調整包大小的大于O的常數(shù)，i為接收并中繼數(shù)據(jù)的節(jié)點的個數(shù)，P為在步驟SI 102、SI 104或者SI 105中計算出的包大小候補。
[0157]若根據(jù)式(4)計算出新的包大小候補，則控制部901將處理轉移至步驟S1108。
[0158]另外，在步驟S1106中，當發(fā)送數(shù)據(jù)不是從其他節(jié)點接收并中繼的數(shù)據(jù)時(步驟S1106:否)，控制部901將處理轉移至步驟S1108。
[0159]在步驟S1108中，當在步驟S1102、S1104、S1105或者S1107中求出的包大小候補為能夠改變包大小的最大值以上時，控制部901將該最大值設為包大小。另外，當在步驟S1102、S1104、S1105或者S1107中求出的包大小候補為能夠改變包大小的最小值以下時，控制部901將該最小值設為包大小。另外，當在步驟S1102、S1104、S1105或者S1107中求出的包大小候補為大于最小值且小于最大值的以上時，控制部901將該包大小候補設為包大小。
[0160]若以上的處理結束，則控制部901結束包大小的決定處理(步驟S1109)。
[0161](變形例)
[0162]圖12是表示圖9所示的節(jié)點710的變形例的圖。
[0163]圖12所示的節(jié)點1200具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置1210。
[0164]網(wǎng)絡接口裝置1210具備跳數(shù)表存儲部831、控制部1211、DMA控制器902和包發(fā)送部1212。其中，圖12并不意味網(wǎng)絡接口裝置1210僅具備圖12所示的構成要素。網(wǎng)絡接口裝置1210例如也能夠包括包的接收功能等功能。
[0165]控制部1211若從處理器810接收到包發(fā)送指示，則控制DMA控制器902、包發(fā)送部1212來進行包的發(fā)送處理。此時，控制部1211對包發(fā)送部1212指示包發(fā)送間隔。另外，控制部1211根據(jù)到包的目的地為止的跳數(shù)來計測本節(jié)點與目的地節(jié)點間的通信帶寬。而且，根據(jù)該計測，控制部1211改變向包發(fā)送部1212指示的包發(fā)送間隔。
[0166]控制部1211能夠通過對基于到包的目的地為止的跳數(shù)的本節(jié)點的通信帶寬的計測與根據(jù)該計測而改變的包發(fā)送間隔的關系進行表示的數(shù)式，定量地求出向包發(fā)送部1212指示的包發(fā)送間隔。
[0167]包發(fā)送部1212根據(jù)從DMA控制器902轉送的數(shù)據(jù)來創(chuàng)建包。而且，包發(fā)送部1212以控制部1211所指示的包發(fā)送間隔來將包向目的地節(jié)點發(fā)送。
[0168]圖13是表示使用了圖12中說明的節(jié)點1200的并行計算機700的包的發(fā)送處理的流程圖。
[0169]步驟S1301?S1302的處理與圖10的步驟S1001?S1002相同，因此省略說明。
[0170]在步驟S1303中，基于在步驟S1301中取得的網(wǎng)絡構成以及通信模式信息、和在步驟S1302中取得的到目的地節(jié)點為止的跳數(shù)以及并行計算機700整體中的最大跳數(shù)來決定包發(fā)送間隔。
[0171]在來自處理器810的包發(fā)送指示為基于Put請求的指示的情況下(步驟S1304:是)，控制部1211將處理轉移至步驟S1305。此時，控制部1211從處理器810所指定的主存儲裝置820進行讀取(步驟S1305)。在步驟S1305中，具體進行以下那樣的處理。
[0172]DMA控制器902對主存儲裝置820指定由控制部901根據(jù)包發(fā)送指示而指定的、發(fā)送對象的數(shù)據(jù)被保存的地址和包中所含的數(shù)據(jù)的數(shù)據(jù)長度來進行DMA請求。于是，主存儲裝置820將被指定的地址中儲存的數(shù)據(jù)以所指定的數(shù)據(jù)長度向DMA控制器902進行DMA轉送。DMA控制器902將轉送來的數(shù)據(jù)向包發(fā)送部903發(fā)送(步驟S1306)。
[0173]其中，數(shù)據(jù)長度可使用從作為處理器810所指定的包大小、即事先決定的包大小中除去了包所含的包頭長度而得到的值。
[0174]另一方面，在來自處理器810的包發(fā)送指示是基于Get請求的指示的情況下(步驟S1304:否)，控制部1211將處理轉移至步驟S1307。此時，包發(fā)送部1212創(chuàng)建對包含處理器810與包發(fā)送指示一起指定的數(shù)據(jù)長度的數(shù)據(jù)的包大小進行指定的Get請求包。而且，包發(fā)送部1212將創(chuàng)建的Get請求包以在步驟S1303中決定的包發(fā)送間隔向目的地節(jié)點發(fā)送(步驟S1307)。
[0175]若以上的處理結束，則控制部1211結束包發(fā)送處理(步驟S1308)。
[0176]圖14是表示本實施例涉及的包發(fā)送間隔的決定處理(步驟S1303)的詳細的流程圖。
[0177]當在步驟S1301中取得的網(wǎng)絡構成是環(huán)型或者網(wǎng)格型時(步驟S1401:是)，控制部1211將處理轉移至步驟S1402。此時，控制部1211根據(jù)下式來計算包發(fā)送間隔候補(步驟S1402)。
[0178]α I Xml X (η — I)...(5)
[0179]其中，α I是用于調整包發(fā)送間隔的大于O的常數(shù)，ml是既定的包大小，η是最大跳數(shù)，I是向目的地節(jié)點的跳數(shù)。
[0180]另一方面，當在步驟S1301中取得的網(wǎng)絡構成是胖樹型時(步驟S1401:否)，控制部1211將處理轉移至步驟S1403。此時，控制部1211判別到目的地節(jié)點為止的跳數(shù)是否是
I(步驟 S1403)。
[0181]在到目的地節(jié)點為止的跳數(shù)是I的情況下(步驟S1403:是)，控制部1211將處理轉移至步驟S1404。此時，控制部1211根據(jù)下式來計算包發(fā)送間隔候補(步驟S1404)。
[0182]β IXmlX (k— j)...(6)
[0183]其中，β I是用于調整包發(fā)送間隔的大于O的常數(shù)，j是與一個交換機直接連接的節(jié)點數(shù)，k是全部節(jié)點數(shù)。
[0184]在步驟S1403中，當?shù)侥康牡毓?jié)點為止的跳數(shù)不是I時(步驟S1403:否)，控制部1211將處理向步驟S1405轉移。此時，控制部1211將包發(fā)送間隔候補決定為Y I (步驟S1405)。其中，Y I是用于調整包發(fā)送間隔的大于O的常數(shù)，設為比通常的通信中使用的既定值小的值。
[0185]若通過以上的處理求出了包發(fā)送間隔，則控制部1211將處理轉移至步驟S1406。
[0186]在步驟S1406中，當發(fā)送數(shù)據(jù)是從其他節(jié)點接收并向目的地節(jié)點中繼的數(shù)據(jù)時(步驟S1406:是)，控制部1211將處理轉移至步驟S1407。此時，控制部1211根據(jù)下式計算從該其他節(jié)點向該目的地節(jié)點的新的包發(fā)送間隔候補(步驟S1407)。
[0187]δ 1+ (i + I) XPl...(7)
[0188]其中，δ I是用于調整包發(fā)送間隔的大于O的常數(shù)，i是接收并中繼數(shù)據(jù)的節(jié)點的個數(shù)，Pl是在步驟S1402、S1404或者S1405中計算出的包發(fā)送間隔候補。
[0189]若根據(jù)式(7)計算出新的包發(fā)送間隔候補，則控制部1211將處理轉移至步驟S1408。另外，在步驟S1406中，當發(fā)送數(shù)據(jù)不是從其他節(jié)點接收并中繼的數(shù)據(jù)時(步驟S1406:否)，控制部1211將處理轉移至步驟S1408。
[0190]若以上的處理結束，則控制部1211結束包發(fā)送間隔的決定處理(步驟S1408)。
[0191](其他的變形例)
[0192]圖15是表示圖9所示的節(jié)點710的其他變形例的圖。其中，本變形例涉及的節(jié)點1500能夠利用于網(wǎng)絡的構成為多維網(wǎng)格型或者環(huán)型的情況。在以下的說明中，針對并行計算機700的網(wǎng)絡構成為3維網(wǎng)格型或者環(huán)型的情況進行說明。
[0193]圖15所示的節(jié)點1500具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置1510。
[0194]網(wǎng)絡接口裝置1500具備控制部1511、跳數(shù)計算部1512、DMA控制器902和包發(fā)送部903。其中，圖15并不意味網(wǎng)絡接口裝置1510僅具備圖15所示的構成要素。網(wǎng)絡接口裝置1510例如能夠還包括包的接收功能等功能。
[0195]控制部1511若從處理器810接收到包發(fā)送指示，則控制DMA控制器902、包發(fā)送部903來進行包的發(fā)送處理?？刂撇?511從跳數(shù)計算部1512取得到包的目的地為止的跳數(shù)。此時，控制部1511對DMA控制器902和包發(fā)送部903指定I個包中包含的數(shù)據(jù)的數(shù)據(jù)長度。另外，控制部1511根據(jù)到包的目的地為止的跳數(shù)來計測本節(jié)點和目的地節(jié)點間的通信帶寬。根據(jù)該計測，控制部1511改變對DMA控制器902和包發(fā)送部903指定的向目的地節(jié)點發(fā)送的包的數(shù)據(jù)長度。
[0196]控制部1511能夠通過對基于到包的目的地為止的跳數(shù)的本節(jié)點的通信帶寬的計測、和根據(jù)該計測而改變的數(shù)據(jù)長度的關系進行表示的數(shù)式，定量地求出向目的地節(jié)點發(fā)送的包的數(shù)據(jù)長度。
[0197]跳數(shù)計算部1512若從控制部901接收到目的地節(jié)點地址的通知，則根據(jù)目的地節(jié)點地址、本節(jié)點地址以及網(wǎng)絡的構成來計算跳數(shù)。跳數(shù)計算部1512將計算出的跳數(shù)向控制部901通知。
[0198]圖16是表示使用了在圖15中說明的節(jié)點1500的并行計算機700的包的發(fā)送處
理的流程圖。
[0199]由于步驟S1601的處理與圖10的步驟S1001相同，因此省略說明。[0200]在步驟S1602中，控制部1511從跳數(shù)計算部1512取得到目的地節(jié)點為止的跳數(shù)和并行計算機700整體的最大跳數(shù)。此時，具體例如進行以下的處理。
[0201]控制部1511將在步驟S1601中取得的目的地節(jié)點地址以及網(wǎng)絡構成向跳數(shù)計算部1512通知。于是，跳數(shù)計算部1512根據(jù)由控制部1511通知的目的地節(jié)點地址以及網(wǎng)絡構成，利用下式來計算到目的地節(jié)點為止的跳數(shù)。
[0202](網(wǎng)絡構成為網(wǎng)格型的情況)
[0203]I xl — x0 I + I yl — yO I + I zl — z0 I...(8)
[0204](網(wǎng)絡構成為環(huán)型的情況)
[0205]min (I xl — x0 I , Nx — I xl — xO I ) + min ( I yl — yO I，Ny — I yl —yO I ) + min ( I zl — zO I , Nz — I zl — zO I )...(9)
[0206]其中，節(jié)點地址利用xyz軸坐標系的坐標值來表示。而且，將本節(jié)點地址設為(xO，yO, zO),將目的地節(jié)點地址設為(xl, yl, zl)。另外,分別將x軸方向、y軸方向以及z軸方向所含的節(jié)點數(shù)設為Nx、Ny以及Nz。
[0207]若計算出到目的地節(jié)點為止的跳數(shù)，則跳數(shù)計算部1512將到目的地節(jié)點為止的跳數(shù)和并行計算機700整體的最大跳數(shù)向控制部1511通知。
[0208]若以上的處理結束，則控制部1511將處理轉移至步驟S1603。由于步驟S1603?1608與圖10的步驟S1003?S1008相同，因此省略說明。
[0209](其他的變形例)
[0210]圖17是表示圖9所示的節(jié)點710的其他變形例的圖。
[0211]圖17所示的節(jié)點1700具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置1710。
[0212]網(wǎng)絡接口裝置1710具備控制部1711、包發(fā)送部1712、包接收部1713和DMA控制器902。其中，圖17并不意味網(wǎng)絡接口裝置1710僅具備圖17所示的構成要素。網(wǎng)絡接口裝置1710例如也能夠包括包的接收功能等公知的功能。
[0213]控制部1711若從處理器810接收到包發(fā)送指示，則控制DMA控制器902、包發(fā)送部1712來進行包的發(fā)送處理。此時，控制部1711對DMA控制器902和包發(fā)送部1712指定I個包中所含的數(shù)據(jù)的數(shù)據(jù)長度。
[0214]控制部1711能夠通過對基于到包的目的地為止的跳數(shù)的本節(jié)點的通信帶寬的計測和根據(jù)該計測而改變的數(shù)據(jù)長度的關系進行表示的數(shù)式，定量地求出I個包中所含的數(shù)據(jù)的數(shù)據(jù)長度。
[0215]另外，為了調查到目的地節(jié)點為止的跳數(shù)，控制部1511對包發(fā)送部1712進行跳數(shù)調差用包的發(fā)送指示?？刂撇?711從包接收部1713接受相對于跳數(shù)調查用包的響應包的跳數(shù)字段中包含的包數(shù)的通知。該通知的包數(shù)是到目的地節(jié)點為止的跳數(shù)?？刂撇?711根據(jù)到目的地節(jié)點為止的跳數(shù)來計測本節(jié)點和該目的地節(jié)點間的通信帶寬。根據(jù)該計測，控制部1711改變向DMA控制器902以及包發(fā)送部903指示的數(shù)據(jù)長度。
[0216]包發(fā)送部1712根據(jù)由DMA控制器902轉送的數(shù)據(jù)來創(chuàng)建包含控制部1711所指定的數(shù)據(jù)長度的數(shù)據(jù)的包并向目的地節(jié)點發(fā)送。另外，控制部1711若從控制部1711接收到跳數(shù)調查用包的發(fā)送指示，則創(chuàng)建跳數(shù)調查用包。而且，控制部1711將創(chuàng)建的跳數(shù)調查用包向目的地節(jié)點發(fā)送。
[0217]其中，跳數(shù)調查用包是指包含跳數(shù)字段的包。在跳數(shù)調查用包發(fā)送時，作為跳數(shù)字段的初始值而設定O。跳數(shù)字段是能夠更新跳數(shù)調查用包經由的交換機的字段。交換機若接收到跳數(shù)調查用包，則將跳數(shù)字段中保存的值更新為加I后的值。
[0218]另外，接收到跳數(shù)調查用包的目的地節(jié)點將相對于跳數(shù)調查用包的響應包向跳數(shù)調查用包的發(fā)送源節(jié)點發(fā)送。此時，在相對于跳數(shù)調查用包的響應包中，保持原樣地包含目的地的節(jié)點接收到的跳數(shù)調查用包的跳數(shù)字段。
[0219]包接收部1713從網(wǎng)絡接收包。在接收到的包是對應于跳數(shù)調查用包的響應包的情況下，包接收部1713從接收到的響應包中包含的跳數(shù)字段取得跳數(shù)。而且，包接收部1713將取得的跳數(shù)向控制部1711通知。
[0220]以上說明的節(jié)點1510所具備的控制部1511也可以如圖12所示的節(jié)點1210具備的控制部1211那樣，改變對包發(fā)送部903指定的包發(fā)送間隔來控制包發(fā)送間隔。此時，節(jié)點1510只要取代圖16的步驟S1603?S1607的處理而執(zhí)行圖13的步驟S1303?S1307的處理即可。
[0221 ] 圖18是表示本變形例中使用的交換機1800的構成例的圖。
[0222]交換機1800具備發(fā)送緩沖部1810以及1820、包發(fā)送控制部1830、端口 1840以及1850、加法器 1860。
[0223]發(fā)送緩沖部1810具備對從節(jié)點1700接收到的包進行存儲的存儲裝置。而且，若將包存儲到存儲裝置，則發(fā)送緩沖部1810將存儲裝置中存儲的包的例如包頭部所含的目的地節(jié)點地址向包發(fā)送控制部1830發(fā)送。另外，發(fā)送緩沖部1810根據(jù)來自包發(fā)送控制部1830的請求將包向包發(fā)送控制部1830發(fā)送。
[0224]發(fā)送緩沖部1820具備對從網(wǎng)絡接收到的包進行存儲的存儲裝置。而且，若將包存儲到存儲裝置，則發(fā)送緩沖部1820將存儲裝置中存儲的包的例如包頭部所含的目的地節(jié)點地址向包發(fā)送控制部1830輸出。另外，發(fā)送緩沖部1820根據(jù)來自包發(fā)送控制部1830的請求將包向包發(fā)送控制部1830發(fā)送。
[0225]包發(fā)送控制部1830若從發(fā)送緩沖部1810、1820接收到包的目的地節(jié)點地址的通知，則基于被通知的目的地節(jié)點地址來決定包發(fā)送時使用的端口。另外，若從發(fā)送緩沖部1810、1820取得包，則包發(fā)送控制部1830向所決定的端口發(fā)送包。
[0226]端口 1840若從網(wǎng)絡接收到包，則將接收到的包向發(fā)送緩沖部1820發(fā)送。端口 1850若從包發(fā)送控制部1830接收到發(fā)送請求，則向包發(fā)送控制部1830通知發(fā)送許可。然后，若從包發(fā)送控制部1830接收到包，則端口 1850將經由加法器1860接收到的包向目的地節(jié)點發(fā)送。
[0227]加法器1860將從端口 1850發(fā)送來的包中包含的跳數(shù)字段中保存的值更新為使該值加I而得到的值。
[0228]此外，在圖18中，將端口 1840、端口 1850以及加法器1860分別記載為I個，但端口 1840、端口 1850以及加法器1860也可以分別具備多個。
[0229]圖19是表示使用了圖17中說明的節(jié)點1700以及圖18中說明的交換機1800的并行計算機700中的包發(fā)送處理的流程圖。
[0230]由于步驟S1901的處理與圖10的步驟S1001相同，因此省略說明。
[0231]在步驟S1902中，控制部1711向包的目的地、即目的地節(jié)點地址所表示的節(jié)點發(fā)送跳數(shù)調查用包，并取得到目的地節(jié)點為止的跳數(shù)。此時，具體例如進行以下的處理。[0232]控制部1711對包發(fā)送部1712進行向在步驟S1701中取得的目的地節(jié)點地址發(fā)送跳數(shù)調查用包的發(fā)送指示。包發(fā)送部1712若從控制部1711接收到跳數(shù)調查用包的發(fā)送指示，則向在步驟S1701中取得的目的地節(jié)點地址發(fā)送跳數(shù)調查用包。
[0233]包接收部1713若接收到相對于跳數(shù)調查用包的響應包，則參照響應包中包含的跳數(shù)字段，取得到目的地節(jié)點為止的跳數(shù)。而且，包接收部1713將到目的地節(jié)點為止的跳數(shù)向控制部1711通知。
[0234]若以上的處理結束，則控制部1711將處理轉移至步驟S1903。由于步驟S1903?S1907的處理與圖10的步驟S1003?S1007相同，因此省略說明。
[0235]以上說明的節(jié)點1710所具備的控制部1711也可以如圖12所示的節(jié)點1210具備的控制部1211那樣，改變對包發(fā)送部1712指定的包發(fā)送間隔來控制包發(fā)送間隔。此時，節(jié)點1710能夠取代圖19的步驟S1903?S1607的處理而執(zhí)行圖13的步驟S1303?S1307的處理。
[0236](其他的實施例)
[0237]圖20是說明本實施例涉及的并行計算機2000所包含的節(jié)點的概要的圖。本實施例涉及的并行計算機2000取代圖7所示的節(jié)點710?716而使用圖20所示的節(jié)點2010。
[0238]節(jié)點2010具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置2020。
[0239]而且，網(wǎng)絡接口裝置2020具備響應時間表存儲部2021、接口控制部2022、發(fā)送部2023、計數(shù)器2024和接收部2025。
[0240]響應時間表存儲部2021包括存儲響應時間表2030的存儲裝置，該響應時間表2030按發(fā)送包的目的地即目的地節(jié)點來存儲基準響應時間和響應時間。響應時間是從向目的地節(jié)點發(fā)送包起，到從目的地節(jié)點接收到針對所發(fā)送的包的響應包為止所需要的時間。在響應時間表2030的響應時間中存儲實際計測的響應時間?；鶞薯憫獣r間是通信帶寬的計測所使用的響應時間的基準值?；鶞薯憫獣r間能夠基于網(wǎng)絡的構成、到目的地節(jié)點為止的跳數(shù)、標準環(huán)境下的實測值或者邏輯值等來決定。
[0241]接口控制部2022按照網(wǎng)絡中使用的協(xié)議對發(fā)送部2023進行指示，以便將包含處理器810指定的數(shù)據(jù)的一部分或全部的包向規(guī)定的目的地節(jié)點發(fā)送。在進行該指示時，接口控制部2022參照響應時間表存儲部2021中存儲的響應時間表2030，取得到目的地節(jié)點為止的基準響應時間和響應時間。接口控制部2022基于取得的基準響應時間和響應時間，計測本節(jié)點2010與目的地節(jié)點間的通信帶寬。而且，基于該計測，接口控制部2022決定所發(fā)送的包的大小。接口控制部2022將基于決定出的包的大小的數(shù)據(jù)長度向發(fā)送部2023進行指示。
[0242]發(fā)送部2023按接口控制部2022指定的每個數(shù)據(jù)長度來創(chuàng)建包含處理器810指定的數(shù)據(jù)的一部分或全部的包。此時，發(fā)送部2023參照計數(shù)器2024而取得計數(shù)值。而且，發(fā)送部2023將取得的計數(shù)值設定到包的規(guī)定區(qū)域。
[0243]另外，在所發(fā)送的包是響應包的情況下，發(fā)送部2023將接收到的包的規(guī)定區(qū)域中設定的計數(shù)值設定到響應包的規(guī)定區(qū)域。而且，發(fā)送部2023將響應包向發(fā)送源的節(jié)點發(fā)送。
[0244]計數(shù)器2024是以一定的間隔計數(shù)的計數(shù)器。
[0245]接收部2025取得在接收到的包的規(guī)定區(qū)域中設定的計數(shù)值A。另外，接收部2025參照計數(shù)器2024來取得計數(shù)值B。而且，接收部2025根據(jù)計數(shù)值B與計數(shù)值A的差值來計算響應時間。接收部2025將計算出的響應時間存儲于響應時間表2030。
[0246]另外，接收部2025將接收到的包存儲于主存儲裝置820。接口控制部2022若被接收部2025通知包的接收，則將該信息與包的存儲位置一起向處理器810通知。
[0247]圖21是表示圖20所示的節(jié)點2010的具體構成例的圖。
[0248]節(jié)點2010具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置2020。
[0249]網(wǎng)絡接口裝置2020具備響應時間表存儲部2101、包發(fā)送管理部2102、控制部2103、DMA控制器2104、包發(fā)送部2105、計數(shù)器2106和包接收部2107。
[0250]響應時間表存儲部2101與圖20所示的響應時間存儲表2021相同。因此，響應時間表存儲部2101具備存儲響應時間表2030的存儲裝置，該響應時間表2030按發(fā)送包的目的地即目的地節(jié)點來存儲基準響應時間和響應時間。
[0251]包發(fā)送管理部2102利用在未接收針對所發(fā)送的包的響應包的狀態(tài)下能夠發(fā)送的包數(shù)q、和在接收到I個響應包時能夠發(fā)送的包數(shù)P來管理可發(fā)送的包數(shù)。其中，P和q為O以上的整數(shù)。具體而言，包發(fā)送管理部2102通過以下的操作來管理可發(fā)送的包數(shù)。
[0252](I)作為初始值，從處理器810通知包數(shù)q。于是，包發(fā)送管理部2102保持包數(shù)q作為可發(fā)送的包數(shù)。
[0253](2)若從控制部2103接收到已經發(fā)送了包的通知，則包發(fā)送管理部2102將可發(fā)送的包數(shù)q更新為減去“ I ”而得到的值。
[0254](3)若從包接收部2107接收到已經接收了響應包的通知，則包發(fā)送管理部2102將可發(fā)送的包數(shù)q更新為加上“P”而得到的值。
[0255]包發(fā)送管理部2102若從控制部2103接收到可發(fā)送的包數(shù)的詢問，則將可發(fā)送的包數(shù)向控制部2103通知。
[0256]控制部2103若從處理器810接收到包發(fā)送指示，則向包發(fā)送管理部2102進行詢問來取得可發(fā)送的包數(shù)。而且，如果能夠發(fā)送包，則控制部2103參照響應時間表存儲部2101中存儲的響應時間表2030，取得到目的地節(jié)點為止的基準響應時間和響應時間?？刂撇?103基于取得的基準響應時間和響應時間來決定所發(fā)送的包的大小。
[0257]例如，在響應時間大于基準響應時間的情況下，控制部2103計測為本節(jié)點、即節(jié)點2010的通信帶寬較窄。該情況下，控制部2103使所發(fā)送的包的大小變大。另外，在響應時間小于基準響應時間的情況下，控制部2103計測為本節(jié)點、即節(jié)點2010的通信帶寬較寬。該情況下，控制部2103使所發(fā)送的包的大小變小。
[0258]控制部2103按照成為所決定的包的大小的方式來計算包中所含的數(shù)據(jù)長度。而且，將計算出的數(shù)據(jù)長度和所發(fā)送的數(shù)據(jù)的地址向DMA控制器2104通知。
[0259]控制部2103能夠通過對基于響應時間的本節(jié)點的通信帶寬的計測和根據(jù)該計測而改變的數(shù)據(jù)長度的關系進行表示的數(shù)式，定量地求出向目的地節(jié)點發(fā)送的包的數(shù)據(jù)長度。
[0260]DMA控制器2104若被控制部2103通知了地址和數(shù)據(jù)長度，則對主存儲裝置820指定控制部2103通知的地址和數(shù)據(jù)長度來進行DMA請求。于是，主存儲裝置820將被指定的地址中保存的數(shù)據(jù)以所指定的數(shù)據(jù)長度向DMA控制器2104進行DMA轉送。DMA控制器2104將從主存儲裝置820DMA轉送的數(shù)據(jù)向包發(fā)送部2105發(fā)送。[0261]包發(fā)送部2105創(chuàng)建包含從DMA控制器2104發(fā)送來的數(shù)據(jù)的包。此時，包發(fā)送部2105參照計數(shù)器2106而取得計數(shù)值。而且，包發(fā)送部2105將取得的計數(shù)值設定到包的規(guī)定區(qū)域。而且，包發(fā)送部2105將創(chuàng)建的包向目的地節(jié)點發(fā)送。
[0262]另外，在發(fā)送的包是響應包的情況下，包發(fā)送部2105將接收到的包的規(guī)定區(qū)域中設定的計數(shù)值設定于響應包的規(guī)定區(qū)域。而且，包發(fā)送部2105將響應包向目的地節(jié)點發(fā)送。
[0263]計數(shù)器2106是以一定的間隔進行計數(shù)的計數(shù)器。
[0264]包接收部2107取得在接收到的包的規(guī)定區(qū)域中設定的計數(shù)值A。另外，包接收部2107參照計數(shù)器2106而取得計數(shù)值B。而且，包接收部2107根據(jù)計數(shù)值B和計數(shù)值A的差值來計算響應時間。包接收部2107將計算出的響應時間存儲到響應時間表存儲部2101中保存的響應時間表2030。另外，包接收部2107將已經接收到響應包的信息通知給包發(fā)送部 2105。
[0265]另外，包接收部2107將接收到的包存儲于主存儲裝置820。控制部2103若被包接收部2107通知了包的接收，則將該信息與包的存儲位置一起通知給處理器810。
[0266]圖22是表示使用了在圖21中說明的節(jié)點2010的并行計算機700中的包發(fā)送處理的流程圖。
[0267]由于步驟S2201的處理與圖10的步驟S1001相同，因此省略說明。
[0268]在步驟S2202中，控制部2103從包發(fā)送管理部2102取得可發(fā)送的包數(shù)。
[0269]在從包發(fā)送管理部2102取得的可發(fā)送的包數(shù)小于I的情況下(步驟S2203:否)，控制部2103將處理轉移至步驟S2204。該情況下，控制部2103例如以一定間隔對包發(fā)送管理部2102進行詢問等，等待到可發(fā)送的包數(shù)成為I以上(步驟S2204)。而且，若可發(fā)送的包數(shù)成為I以上，則控制部2103將處理轉移至步驟S2205。
[0270]另外，當從包發(fā)送管理部2102取得的可發(fā)送的包數(shù)為I以上時(步驟S2203:是)，控制部2103將處理轉移至步驟S2205。
[0271]在步驟S2205中，控制部2103參照響應時間表存儲部2101中存儲的響應時間表2030。而且，控制部2103從響應時間表2030取得關于目的地節(jié)點的基準響應時間和響應時間。
[0272]在步驟S2206中，控制部2103基于在步驟S2205中取得的基準響應時間以及響應時間、通信模式來決定包的大小。
[0273]在來自處理器810的包發(fā)送指示是基于Put請求的指示的情況下(步驟S2207:是)，控制部2103將處理轉移至步驟S2208。此時，控制部2103從主存儲裝置820讀取處理器810指定的數(shù)據(jù)(步驟2208)。具體例如進行以下那樣的處理。
[0274]DMA控制器2104對主存儲裝置820指定由控制部2103根據(jù)包發(fā)送指示而指示的發(fā)送對象的數(shù)據(jù)被保存的地址、和包中包含的數(shù)據(jù)的數(shù)據(jù)長度來進行DMA請求。于是，主存儲裝置820將被指定的地址中保存的數(shù)據(jù)以所指定的數(shù)據(jù)長度向DMA控制器2104進行DMA轉送。DMA控制器2104將轉送來的數(shù)據(jù)向包發(fā)送部2105發(fā)送。
[0275]其中，數(shù)據(jù)長度可使用從在步驟S2206中決定的包大小除去包中包含的包頭長度而得到的值。
[0276]在步驟S2209中，控制部2103若從DMA控制器902接收到數(shù)據(jù)，則創(chuàng)建包含由控制部2103指定的數(shù)據(jù)長度的數(shù)據(jù)的包。另外，包發(fā)送部2105從計數(shù)器2106取得計數(shù)值，將取得的計數(shù)值設定于包的規(guī)定區(qū)域。而且，包發(fā)送部2105將包向目的地節(jié)點發(fā)送。
[0277]另一方面，在來自處理器810的包發(fā)送指示是基于Get請求的指示的情況下(步驟S2207:否)，控制部2103將處理轉移至步驟S2210。此時，控制部2103創(chuàng)建對在步驟S2206中決定的包大小進行指定的Get請求包并向目的地節(jié)點發(fā)送(步驟S2210)。
[0278]若以上的處理結束，則控制部2103結束包發(fā)送處理(步驟S2211)。
[0279]圖23是表示本實施例涉及的包大小的決定處理(步驟S2206)的詳細的流程圖。
[0280]在步驟S2301中，控制部2103根據(jù)下式來計算包大小候補。
[0281]m2 + α 2Χ (11 — η2)...(10)
[0282]其中，α 2是用于調整包大小的大于O的常數(shù)，m2是標準包大小，η2是在步驟S2205中取得的基準響應時間，11是在步驟S2205中取得的響應時間。m2可使用在響應時間與基準響應時間相同時發(fā)送的包大小等。其中，標準包大小是在并行計算機2000的節(jié)點間通信中使用的包的大小。
[0283]在步驟S2302中，當發(fā)送數(shù)據(jù)是從其他節(jié)點接收并向目的地節(jié)點中繼的數(shù)據(jù)時(步驟S2302:是)，控制部2103將處理轉移至步驟S2303。該情況下，控制部2103根據(jù)下式來計算從該其他節(jié)點接收并向該目的地節(jié)點中繼的包的新的包大小候補(步驟S2303)。
[0284]β 2Χ (i + I) XP2...(11)
[0285]其中，β 2是用于調整包大小的大于O的常數(shù)，i是接收數(shù)據(jù)并進行中繼的節(jié)點的個數(shù)，P2是在步驟S2301中計算出的包大小候補。
[0286]若根據(jù)式(11)計算出新的包大小候補，則控制部2103將處理轉移至步驟S2304。另外，在步驟S2302中，當發(fā)送數(shù)據(jù)不是從其他節(jié)點接收并向目的地節(jié)點中繼的包的數(shù)據(jù)時(步驟S2302:是)，控制部2103將處理轉移至步驟S2304。
[0287]在步驟S2304中，當在步驟S2301或者S2303中求出的包大小候補為能夠變更包大小的最大值以上時，控制部2103將包大小候補設為最大值的包大小。另外，當在步驟S2301或者S2303中求出的包大小候補為能夠變更包大小的最小值以下時，控制部2103將包大小候補設為最小值的包大小。另外，當在步驟S2301或者S2303中求出的包大小候補為大于最小值且小于最大值的以上時,控制部2103將包大小候補設為包大小。
[0288]若以上的處理結束，則控制部2103結束包大小的決定處理(步驟S2305)。
[0289]以上說明的節(jié)點2020所具備的控制部2103也可以如圖12所示的節(jié)點1210具備的控制部1211那樣，對包發(fā)送部2105指定包發(fā)送間隔來控制包發(fā)送間隔。該情況下，節(jié)點2020能夠取代圖22的步驟S2206?S2210的處理而執(zhí)行圖13的步驟S1303?S1307的處理。
[0290](其他的實施例)
[0291]圖24是說明本實施例涉及的并行計算機2400所包含的節(jié)點以及交換機的概要的圖。本實施例涉及的并行計算機2400對圖7所示的節(jié)點710?716使用圖24所示的節(jié)點2410，并對圖7所示的交換機720?726使用圖24所示的交換機2420。
[0292]節(jié)點2410具備處理器2411和網(wǎng)絡接口裝置2412。節(jié)點2410經由LAN線纜等與交換機2420連接成能夠通信。另外，節(jié)點2410所具備的處理器2411可經由專用線或LAN線纜等與交換機2420所具備的存儲部2560連接成能夠通信。[0293]處理器2411是按照規(guī)定的程序進行運算處理的運算裝置。另外，處理器2411在將所希望的數(shù)據(jù)向其他的節(jié)點發(fā)送的情況下，對網(wǎng)絡接口裝置2412進行包發(fā)送指示。此時，處理器2411與包發(fā)送指示一起指定包的大小。
[0294]此外，處理器2411也可以如圖12所示的節(jié)點1210所具備的控制部1211那樣，對網(wǎng)絡接口裝置2412指定包發(fā)送間隔。該情況下，處理器2411可取代圖22的步驟S2206?S2209的處理而通過圖14所示的處理來求出包發(fā)送間隔。
[0295]包的大小例如能夠基于交換機2420所具備的存儲部2421中存儲的等待時間表2600中設定的包的發(fā)送等待時間來決定。對于等待時間表2600，將利用圖26后述。
[0296]網(wǎng)絡接口裝置2412若接收到由處理器2411通知的包發(fā)送指示，則創(chuàng)建與包發(fā)送指示一起指定的包大小的包并向交換機2420發(fā)送。
[0297]交換機2420具備發(fā)送緩沖器2421、2422以及2423、計數(shù)器2424和存儲部2425。
[0298]發(fā)送緩沖器2421是將從節(jié)點2410接收到的包保持至發(fā)送為止的存儲裝置。發(fā)送緩沖器2422以及2423是將從其他節(jié)點接收到的包保持至發(fā)送為止的存儲裝置。
[0299]計數(shù)器2424是對從節(jié)點2410接收到包起到將接收到的包向下一節(jié)點發(fā)送為止的發(fā)送等待時間進行計數(shù)的計數(shù)器。計數(shù)器2424將計數(shù)得到的發(fā)送等待時間設定于存儲部2425中存儲的等待時間表2600。
[0300]存儲部2425是存儲等待時間表2600的存儲裝置，該等待時間表2600按每個通信模式存儲從接收到包起到向目的地節(jié)點發(fā)送為止的發(fā)送等待時間。
[0301]在以上的構成中，例如考慮處理器2411對包進行處理的情況。此時，處理器2411從存儲部2425中存儲的等待時間表2600取得從接收到包起到向目的地節(jié)點發(fā)送為止的發(fā)送等待時間。而且，處理器2411基于取得的發(fā)送等待時間來計測本節(jié)點2410和目的地節(jié)點間的通信帶寬。而且，處理器2411基于該計測的結果來決定包的大小。
[0302]處理器2411能夠通過對基于發(fā)送等待時間的本節(jié)點的通信帶寬的計測、和根據(jù)該計測而改變的數(shù)據(jù)長度的關系進行表示的數(shù)式，定量地求出向目的地節(jié)點發(fā)送的包的數(shù)據(jù)長度。
[0303]處理器2411對網(wǎng)絡接口裝置2410指定包發(fā)送指示與包的大小。于是，網(wǎng)絡接口裝置2410創(chuàng)建處理器2411所指定的大小的包并向交換機2420發(fā)送。
[0304]向交換機2420輸入的包被保存于發(fā)送緩沖器2421。若包被保存到發(fā)送緩沖器2421，則計數(shù)器2424對發(fā)送緩沖器2421中保存的包到被發(fā)送為止的發(fā)送等待時間進行計數(shù)。而且，計數(shù)器2424將計數(shù)得到的發(fā)送等待時間設定于存儲部2425中存儲的等待時間表 2600。
[0305]其中，為了容易理解包處于發(fā)送等待的狀態(tài)，在圖24中記載了 3個發(fā)送緩沖器2421、2422和2423。但是，發(fā)送緩沖器2421、2422和2423也能夠由I個或者多個發(fā)送緩沖器來實現(xiàn)。
[0306]另外，圖24并不意味節(jié)點2410僅具備圖24所示的構成要素。節(jié)點2410例如能夠還具備圖8所示的主存儲裝置820等進行信息處理的功能。
[0307]圖25是表示圖24所示的交換機2420的具體構成例的圖。
[0308]交換機2420具備發(fā)送緩沖部2510、包發(fā)送控制部2520、端口 2530以及2540、計數(shù)器2550和存儲部2560。[0309]發(fā)送緩沖部2510具備對從節(jié)點2410所具備的網(wǎng)絡接口裝置2412接收到的包進行存儲的存儲裝置。而且，若將包存儲于存儲裝置，則發(fā)送緩沖部2510將存儲裝置中存儲的包的例如包頭部所包含的目的地節(jié)點地址向包發(fā)送控制部2520發(fā)送。另外，發(fā)送緩沖部2510根據(jù)來自包發(fā)送控制部2520的請求，將包向包發(fā)送控制部2520發(fā)送。
[0310]包發(fā)送控制部2520若從發(fā)送緩沖部2510接收到包的目的地節(jié)點地址的通知，則基于被通知的目的地節(jié)點地址來決定包發(fā)送所使用的端口。包發(fā)送控制部2520對所決定的端口、例如端口 2530或者2540進行發(fā)送請求。若從進行了發(fā)送請求的端口通知了發(fā)送許可，則包發(fā)送控制部2520從發(fā)送緩沖部2510取得包。而且，若從發(fā)送緩沖部2510取得了包，則包發(fā)送控制部2520將包向所決定的端口發(fā)送。
[0311]另外，包發(fā)送控制部2520若從發(fā)送緩沖部2510接收到目的地節(jié)點地址的通知，則向計數(shù)器2550通知由發(fā)送緩沖部2510通知的目的地節(jié)點地址。同時，包發(fā)送控制部2520將開始等待時間的計數(shù)的開始指示向計數(shù)器2550通知。若包的發(fā)送結束，則包發(fā)送控制部2520將針對發(fā)送已經完成的包的結束發(fā)送等待時間的計數(shù)的停止指示向計數(shù)器2550通知。
[0312]計數(shù)器2550若從包發(fā)送控制部2520接收到開始指示，則針對由包發(fā)送控制部2520通知的目的地節(jié)點地址的包，按每個包開始發(fā)送等待時間的計數(shù)。另外，若計數(shù)器2550從包發(fā)送控制部2520接收到停止指示，則針對有停止指示的向目的地節(jié)點發(fā)送的包，結束發(fā)送等待時間的計數(shù)。而且，計數(shù)器2550將計數(shù)值設定于存儲部2560中存儲的等待時間表2600。
[0313]端口 2530若從包發(fā)送控制部2520接收到發(fā)送請求，則向包發(fā)送控制部2520通知發(fā)送許可。然后，若從包發(fā)送控制部2520接收到包，則端口 2530將接收到的包向目的地節(jié)點發(fā)送。端口 2540也與端口 2530同樣地進行動作。
[0314]此外，圖25中示出了交換機2420具備2個端口 2530以及2540的情況的例子，但并不意圖限定交換機2420所具備的端口的數(shù)量。另外，交換機2420能夠具備圖18所示的發(fā)送緩沖部1820以及端口 1840等。
[0315]圖26是表示存儲部2560中存儲的等待時間表2600的例子的圖。
[0316]圖26所示的等待時間表2600是包含通信模式、目的地節(jié)點地址、從分別接收到由與交換機2420連接的節(jié)點2410向目的地節(jié)點地址發(fā)送的包起到向目的地節(jié)點地址進行發(fā)送為止的發(fā)送等待時間的信息。
[0317]通信模式例如可包含MPI(MessagePassing Interface)中規(guī)定的“All Gather”、“All to All”以及“All reduce”等組群通信的種類。另外，通信模式也可包含例如MPI中規(guī)定的Iroadcast'“Gather”以及“Reduce”等組群通信的種類。
[0318]“All Gather”是各節(jié)點對其他全部節(jié)點發(fā)送相同數(shù)據(jù)的通信模式。“All to All”是各節(jié)點對其他全部節(jié)點分別發(fā)送不同數(shù)據(jù)的通信模式?！癆U reduce”是任意I個節(jié)點將利用全部節(jié)點所保持的數(shù)據(jù)進行了運算而得到的結果向進行了運算的節(jié)點以外的全部節(jié)點發(fā)送的通信模式?！癇roadcast”是任意I個節(jié)點向其他多個節(jié)點發(fā)送數(shù)據(jù)的通信模式?！癎ather”是多個節(jié)點向任意I個節(jié)點發(fā)送數(shù)據(jù)的通信模式?！癛educe”是任意I個節(jié)點利用全部節(jié)點所保持的數(shù)據(jù)進行運算的通信模式。該情況下，運算結果僅由進行了運算的節(jié)點保持。[0319]例如，在圖26所示的等待時間表2600中，當通信模式為“AllGather”時，設定有向目的地節(jié)點地址為“n00”的目的地節(jié)點發(fā)送的包“p00”、“p01”、...的發(fā)送等待時間
“too”、“t01”、...。
[0320]圖27是表示圖25所示的交換機2420的處理的流程圖。
[0321]在步驟S2701中，包發(fā)送控制部2520從發(fā)送緩沖部2510接受目的地節(jié)點地址。于是，包發(fā)送控制部2520將處理轉移至步驟S2702。
[0322]在步驟S2702中，包發(fā)送控制部2520基于從發(fā)送緩沖部2510接收到的目的地節(jié)點地址來決定發(fā)送包的端口。若決定了發(fā)送包的端口，則包發(fā)送控制部2520對所決定的端口進行發(fā)送請求(步驟S2703)。
[0323]在步驟S2704中，包發(fā)送控制部2520對計數(shù)器2550通知從發(fā)送控制部2520接收到的目的地節(jié)點地址，并且進行開始指示。接受了開始指示的計數(shù)器2550針對向目的地節(jié)點地址發(fā)送的包的發(fā)送等待時間，例如從O開始進行計數(shù)。
[0324]在步驟S2705中，包發(fā)送控制部2520若從進行了發(fā)送請求的端口接收到發(fā)送許可，則向接受了發(fā)送許可的端口發(fā)送包。若包的發(fā)送結束，則包發(fā)送控制部2520對計數(shù)器2550進行停止指示(步驟S2706)。接受了停止指示的計數(shù)器2550結束因步驟S2704的開始指示而開始的計數(shù)。而且，計數(shù)器2550對等待時間表2600內的相應的通信模式存儲計數(shù)值和目的地節(jié)點地址。
[0325]以上的說明并不意圖將包發(fā)送控制部2520的處理限定為圖27所示的步驟S2700?S2707的處理的順序。例如，包發(fā)送控制部2520也可以同時進行步驟S2703和步驟S2704。另外，包發(fā)送控制部2520也可以同時進行步驟S2705和步驟S2706。
[0326]圖28是表示本實施例涉及的處理器2411所進行的包大小的決定處理的流程圖。
[0327]在步驟S2801中，處理器2411從交換機2420所具備的存儲部2560中存儲的等待時間表2600取得此后要進行的通信的通信模式中的、向各目的地節(jié)點的全部發(fā)送等待時間。
[0328]在步驟S2802中，處理器2411若計算出在步驟S2801中取得的向各目的地節(jié)點的發(fā)送等待時間的平均值12，則根據(jù)下式來計算包大小候補。
[0329]m2 + α 3Χ (12 — η2)...(12)
[0330]其中，α 3是用于調整包大小的大于O的常數(shù)，12是向目的地節(jié)點的等待時間的平均值，m2是標準包大小，η2是事先決定的基準等待時間。m2可使用等待時間與基準等待時間相同時發(fā)送的包大小等?；鶞实却龝r間η2例如可使用事先進行各種通信從而在全部節(jié)點中計測出的、相同目的地節(jié)點的包的發(fā)送等待時間的平均值等。
[0331]在步驟S2803中，當在步驟S2802中求出的包大小候補為能夠變更包大小的最大值以上時，處理器2411將包大小的最大值設為包大小。另外，當在步驟S2802中求出的包大小候補為能夠變更包大小的最小值以下時，處理器2411將包大小的最小值設為包大小。另外，當在步驟S2802中求出的包大小候補為大于最小值且小于最大值的以上時，處理器2411將包大小候補設為包大小。
[0332]若以上的處理結束，則處理器2411結束包大小的決定處理(步驟S2804)。
[0333](變形例)
[0334]圖29是表示圖24所示的節(jié)點2410的變形例的圖。[0335]圖24所示的節(jié)點2910具備處理器810、主存儲裝置820、和包含接口控制部2912的網(wǎng)絡接口裝置2911。
[0336]節(jié)點2910經由LAN線纜等與交換機2420連接成可通信。另外，節(jié)點2910所包含的接口控制部2912能夠經由專用線或者LAN線纜等與交換機2420所具備的存儲部2560連接成可通信。
[0337]接口控制部2912按照來自處理器810的包發(fā)送指示來進行包發(fā)送處理。此時，接口控制部2912根據(jù)交換機2420所具備的存儲部2421中存儲的等待時間表3100中設定的包的發(fā)送等待時間，來計測本節(jié)點和目的地節(jié)點間的通信帶寬。根據(jù)該計測，接口控制部2912改變向該目的地節(jié)點發(fā)送的包的大小。對于等待時間表3100，將利用圖31后述。
[0338]圖30是表示圖29所示的節(jié)點2910的具體構成例的圖。
[0339]節(jié)點2910具備處理器810、主存儲裝置820和網(wǎng)絡接口裝置2911。
[0340]網(wǎng)絡接口裝置2911具備控制部3001、DMA控制器902和包發(fā)送部903。其中，圖30并不意味網(wǎng)絡接口裝置2911僅具備圖30所示的構成要素。網(wǎng)絡接口裝置2911例如能夠包括包的接收功能等功能。
[0341]控制部3001若從處理器810接受了包發(fā)送指示，則操作DMA控制器902、包發(fā)送部903來進行包的發(fā)送處理?？刂撇?001根據(jù)從交換機2420所具備的存儲部2560中存儲的等待時間表3100取得的包的發(fā)送等待時間來計測本節(jié)點和目的地節(jié)點間的通信帶寬。根據(jù)該計測，控制部3001改變向該目的地節(jié)點發(fā)送的包的大小。
[0342]控制部3001能夠通過對基于發(fā)送等待時間的本節(jié)點的通信帶寬的計測和根據(jù)該計測而改變的數(shù)據(jù)長度的關系進行表示的數(shù)式，定量地求出向目的地節(jié)點發(fā)送的包的數(shù)據(jù)長度。
[0343]圖31是表示本變形例中使用的等待時間表3100的例子的圖。
[0344]圖31所示的等待時間表3100是包含識別目的地節(jié)點的信息即目的地節(jié)點地址、和向目的地節(jié)點發(fā)送的包的發(fā)送等待時間的信息。在發(fā)送等待時間中，由計數(shù)器2550設定向相應的目的地節(jié)點發(fā)送的包中最新的包的發(fā)送等待時間。
[0345]其中，在本變形例中也能夠使用圖26所示的等待時間表2600。不過，在使用等待時間表2600的情況下，如圖28所示那樣，由于需要計算向目的地節(jié)點的發(fā)送等待時間的平均值12，因此有時會受到包發(fā)送的延時的影響。
[0346]圖32是表示使用了在圖30中說明的節(jié)點2910的并行計算機2400中的包發(fā)送處
理的流程圖。
[0347]由于步驟S3201的處理與圖10的步驟S1001相同，因此省略說明。
[0348]在步驟S3202中，控制部3001若從處理器810接收到包發(fā)送指示，則從交換機2420所具備的存儲部2560中存儲的等待時間表3100取得向目的地節(jié)點地址發(fā)送的包的發(fā)送等待時間。
[0349]在步驟S3203中，控制部3001基于在步驟S3202中取得的發(fā)送等待時間和通信模式來決定向目的地節(jié)點發(fā)送的包的大小。
[0350]由于步驟S3204?S3207的處理與圖10的步驟S1004?S1007相同，因此省略說明。
[0351]圖33是表示本變形例涉及的包大小的決定處理(步驟S3203)的詳細的流程圖。[0352]在步驟S3301中，控制部3001根據(jù)下式來計算包大小候補。
[0353]a 4Xm2 + (13 — η2)...(13)
[0354]其中，α 4是用于調整包大小的大于O的常數(shù)，m2是標準包大小，η2是基準等待時間，13是在步驟S3202中取得的向目的地節(jié)點的發(fā)送等待時間。m2可使用等待時間與基準等待時間相同時發(fā)送的包大小等?；鶞实却龝r間η2例如可使用事先進行各種通信而在全部節(jié)點中計測出的相同目的地節(jié)點的包的發(fā)送等待時間的平均值等。
[0355]在步驟S3302中，當發(fā)送數(shù)據(jù)是從其他節(jié)點接收并中繼的數(shù)據(jù)時(步驟S3302:是)，控制部3001將處理轉移至步驟S3303。此時，控制部3001根據(jù)下式來計算新的包大小候補(步驟S3303)。
[0356]β 4Χ (i + I) ΧΡ4...(14)
[0357]其中，β 4是用于調整包大小的大于O的常數(shù)，i是接收數(shù)據(jù)并進行中繼的節(jié)點的個數(shù)，P4是在步驟S3301中計算出的包大小候補。
[0358]若根據(jù)式(14)計算出新的包大小候補，則控制部3001將處理轉移至步驟S3304。另外，在步驟S3302中，當發(fā)送數(shù)據(jù)不是從其他節(jié)點接收并向目的地節(jié)點中繼的包的數(shù)據(jù)時(步驟S3302:否)，控制部3001將處理轉移至步驟S3304。
[0359]在步驟S3304中，當在步驟S3301或者S3303中求出的包大小候補為能夠變更的最大值以上時，控制部3001將包大小候補設為最大值的包大小。另外，當在步驟S3301或者S3303中求出的包大小候補為能夠變更的最小值以下時，控制部3001將包大小候補設為最小值的包大小。另外，當在步驟S3301或者S3303中求出的包大小候補為大于最小值且小于最大值的以上時,控制部3001將包大小候補設為包大小。
[0360]若以上的處理結束，則控制部3001結束包大小的決定處理(步驟S3305)。
[0361]以上說明的節(jié)點2911所具備的控制部3001也可以如圖12所示的節(jié)點1210所具備的控制部1211那樣，對包發(fā)送部903指定包發(fā)送間隔來控制包發(fā)送間隔。此時，控制部3001能夠取代圖32的步驟S3203?S3207的處理而執(zhí)行圖13的步驟S1303?S1307的處理。
[0362]對于以上說明的并行計算機600、700、2000、2400中的節(jié)點間通信所使用的包而言，能夠使用圖34所示的包3400。
[0363]在圖34所示的包3400中，包含包類型、遠程節(jié)點地址、本地節(jié)點地址以及有效載荷(Payload)。包類型是表示Put請求所使用的包、Get請求所使用的包等包的種類的信息。遠程節(jié)點地址是表示包的發(fā)送目的地節(jié)點的地址的信息。本地節(jié)點地址是表示包的發(fā)送源節(jié)點的地址的信息。有效載荷是根據(jù)需要將節(jié)點向目的地節(jié)點發(fā)送的消息分割而得的數(shù)據(jù)。
[0364]以下，說明本實施例涉及的并行計算機的效果的一個例子。例如，考慮圖35所示的并行計算機3500。并行計算機3500是與圖1所示的并行計算機100同樣的構成，但為了與本實施例涉及的并行計算機進行對比而將交換機的數(shù)量和節(jié)點的數(shù)量設為7個。
[0365]圖35所示的并行計算機3500表示了節(jié)點3510?3513對節(jié)點3515或者3516進行Gather通信的情況的例子。
[0366]交換機3523按照包數(shù)比均等的方式進行協(xié)調。因此，交換機3523將從節(jié)點3513接收到的包向目的地節(jié)點發(fā)送的包數(shù)、和交換機3523將從交換機3522接收到的包向目的地節(jié)點發(fā)送的包數(shù)的比率各為I / 2。同樣，交換機3522將從節(jié)點3512接收到的包向目的地節(jié)點發(fā)送的包數(shù)、和交換機3522將從交換機3521接收到的包向目的地節(jié)點發(fā)送的包數(shù)的比率各為I / 2。另外，交換機3521將從節(jié)點3511接收到的包向目的地節(jié)點發(fā)送的包數(shù)、和交換機3521將從交換機3520接收到的包向目的地節(jié)點發(fā)送的包數(shù)的比率各為I /2。
[0367]于是，節(jié)點3513、3512、3511以及3510向目的地節(jié)點發(fā)送的包的包數(shù)的比率、即包數(shù)比分別為I / 2、1 / 4、1 / 8和I / 8。
[0368]由于各節(jié)點3513、3512、3511以及3510發(fā)送的包大小相同，所以包數(shù)的比率直接成為通信帶寬比。該情況下，與從接近于作為目的地節(jié)點的節(jié)點3515、3516的節(jié)點3513向目的地節(jié)點發(fā)送的數(shù)據(jù)相比，從與作為目的地節(jié)點的節(jié)點3515、3516較遠的節(jié)點3510、3511向目的地節(jié)點發(fā)送的數(shù)據(jù)延遲到達。
[0369]圖36表示了在圖35所示的并行計算機3500的各交換機間向目的地節(jié)點的方向流動的包的時序圖。圖36是節(jié)點3510?3513按照節(jié)點3515、3516的順序進行Gather通信的通信模式的情況的例子。其中，節(jié)點3510?3513將消息大小4K字節(jié)的數(shù)據(jù)分割成IK字節(jié)來向節(jié)點3515以及3516發(fā)送。不過，并不意圖限定分割的大小。另外，交換機3520?3526能夠以直通轉發(fā)(Cut — Through)方式動作、即若從其他交換機等接收到包的開頭,貝U能夠將本交換機接收到的或者已經接收到的包向下一交換機發(fā)送。
[0370]其中，圖36所示的記載為(O)的□表示節(jié)點3510向目的地節(jié)點發(fā)送的包。同樣，記載為(I)、(2)、(3)的□分別表示節(jié)點3511、3512、3513向目的地節(jié)點發(fā)送的包。圖39、圖41以及圖44也同樣。
[0371]參照圖36可知，例如節(jié)點3510向目的地節(jié)點發(fā)送的包數(shù)的比率通過多級的交換機的協(xié)調而在交換機3523 - 3524間的路徑中下降。另外，節(jié)點3511、3512向目的地節(jié)點發(fā)送的包數(shù)的比率也在交換機3523 - 3524間的路徑中下降。
[0372]與之相對，交換機3523 — 3524間的路徑中的、節(jié)點3513發(fā)送的包數(shù)的比率變高。即，交換機3523 - 3524間的路徑中的、節(jié)點3513能夠利用的通信帶寬變高。因此，在節(jié)點3510?3512向節(jié)點3515的包發(fā)送全部結束之前，節(jié)點3513向節(jié)點3516發(fā)送包。S卩，在節(jié)點3510?3512向節(jié)點3515的Gather通信結束之前，節(jié)點3513開始了向節(jié)點3516的Gather通信。由此，等待從節(jié)點3510?3513向節(jié)點3515的包的發(fā)送、即從節(jié)點3510?3513向節(jié)點3515的Gather通信。
[0373]這樣，從跳數(shù)較大的節(jié)點向目的地節(jié)點發(fā)送的包的到達比從跳數(shù)較小的節(jié)點向目的地節(jié)點發(fā)送的包的到達變慢。
[0374]另一方面，圖37表示了在本實施例涉及的并行計算機700中，節(jié)點710?713對節(jié)點715或者716進行Gather通信的情況的例子。
[0375]并行計算機700例如通過圖11中說明的步驟S1102等的處理，使到目的地節(jié)點為止的跳數(shù)較大的節(jié)點發(fā)送的包的包大小變大。在圖37中，跳數(shù)較大的節(jié)點710、711的包大小比為4。另外，跳數(shù)較小的節(jié)點713的包大小比為I。結果，節(jié)點720?723使用的通信帶寬比均等。由此，不再有成為瓶頸的通信帶寬的節(jié)點。而且，來自跳數(shù)較大的節(jié)點的包和來自跳數(shù)較小的節(jié)點的包到達目的地節(jié)點的時刻平均化。
[0376]其中，圖37所示的包大小比是用于說明的例示，例如可通過圖11的步驟S1102等處理來求出。
[0377]圖38表示了在圖37所示的并行計算機700的各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0378]圖38是節(jié)點710?713按照節(jié)點715、716的順序進行Gather通信的通信模式的情況的例子。設節(jié)點710?713將4K字節(jié)的消息向節(jié)點715以及716發(fā)送。交換機720?726能夠以直通轉發(fā)方式動作。
[0379]其中，圖38所示的記載為(O)’的□表示節(jié)點710向目的地節(jié)點發(fā)送的包。同樣，記載為(1)’、(2)’、(3)’的□分別表示節(jié)點711、712、713向目的地節(jié)點發(fā)送的包。圖43和圖45也同樣。
[0380]參照圖38。交換機720?S726按照包數(shù)比均等的方式進行協(xié)調。因此，交換機723 - 724間的路徑中的、節(jié)點710?713向目的地節(jié)點發(fā)送的包的包數(shù)比與圖36所示的交換機3523 - 3524間的路徑中的、節(jié)點3510?3513向目的地節(jié)點發(fā)送的包的包數(shù)比相同。
[0381]但是，包數(shù)比較小的節(jié)點710、711向目的地節(jié)點發(fā)送的包大小大于包數(shù)比較大的節(jié)點713等向目的地節(jié)點發(fā)送的包大小。例如，在圖38的例子中，節(jié)點710以及711向目的地節(jié)點發(fā)送的包大小為4K字節(jié)，節(jié)點712向目的地節(jié)點發(fā)送的包大小為2K字節(jié)，節(jié)點713向目的地節(jié)點發(fā)送的包大小為IK字節(jié)。結果，例如交換機723 - 724間的路徑中的、節(jié)點710?713分別按單位時間使用路徑的時間變得公平。節(jié)點710?713分別使用的通信帶寬比變得均等。
[0382]結果，例如根據(jù)圖38的交換機725 — 726間的路徑的時序圖可知，從跳數(shù)較大的節(jié)點710、711向目的地節(jié)點716發(fā)送的包的到達、和從跳數(shù)較小的節(jié)點713向目的地節(jié)點716發(fā)送的包的到達被平均化。
[0383]圖35?圖38表示了將由各節(jié)點發(fā)送的4K字節(jié)的消息分割成規(guī)定大小的包并向目的地節(jié)點發(fā)送的情況的例子。與之相對，在不將各節(jié)點發(fā)送的4K字節(jié)的消息分割成規(guī)定大小的包地向目的地節(jié)點發(fā)送的情況下，也能夠得到圖38中說明的效果。
[0384]圖39是在圖35所示的并行計算機3500的各節(jié)點不分割消息地向目的地節(jié)點發(fā)送的情況下，在各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0385]在各節(jié)點不分割消息地向目的地節(jié)點發(fā)送的情況下，也如圖36中說明那樣，例如節(jié)點3510向目的地節(jié)點發(fā)送的包數(shù)的比率通過多級的交換機協(xié)調而在交換機3523 —3524間的路徑中下降。另外，節(jié)點3511、3512向目的地節(jié)點發(fā)送的包數(shù)的比率也在交換機3523 - 3524間的路徑中下降。
[0386]與之相對，交換機3523 — 3524間的路徑中的、節(jié)點3513發(fā)送的包數(shù)的比率變高。即，交換機3523 - 3524間的路徑中的節(jié)點3513能夠利用的通信帶寬變高。因此，在節(jié)點3510?3512向節(jié)點3515的包發(fā)送未完全結束的狀態(tài)下，節(jié)點3513正向節(jié)點3516發(fā)送包。即，在節(jié)點3510?3512向節(jié)點3515進行的Gather通信結束之前，節(jié)點3513開始了向節(jié)點3516的Gather通信。由此，等待從節(jié)點3510?3513向節(jié)點3515的包的發(fā)送、即從節(jié)點3510?3513向節(jié)點3515的Gather通信。
[0387]在不將各節(jié)點向目的地節(jié)點發(fā)送的消息分割為規(guī)定大小的包來向目的地節(jié)點發(fā)送的情況下，從跳數(shù)較大的節(jié)點向目的地節(jié)點發(fā)送的包的到達也比從跳數(shù)較小的節(jié)點向目的地節(jié)點發(fā)送的包的到達延遲。因此，在不將各節(jié)點向目的地節(jié)點發(fā)送的消息分割為規(guī)定大小的包地向目的地節(jié)點發(fā)送的情況下，通過使用本實施例涉及的并行計算機700，也能夠得到圖38中說明的效果。
[0388]以上，說明了組群通信中的本實施例涉及的并行計算機700的效果的一例，以下將說明進行組群通信以外的通信時的本實施例涉及的并行計算機700的效果的一例。
[0389]圖40表示了圖35所示的并行計算機3500的節(jié)點3510?3512與分別相距4跳的目的地節(jié)點進行通信的情況的例子。
[0390]交換機3522按照包數(shù)比均等的方式進行協(xié)調。因此，交換機3522將從節(jié)點3512接收到的包向目的地節(jié)點發(fā)送的包數(shù)、和交換機3522將從交換機3521接收到的包向目的地節(jié)點發(fā)送的包數(shù)的比率各為I / 2。同樣，交換機3521將從節(jié)點3511接收到的包向目的地節(jié)點發(fā)送的包數(shù)、和交換機3521將從交換機3520接收到的包向目的地節(jié)點發(fā)送的包數(shù)的比率各為I / 2。最終，節(jié)點3512、3511以及3510向目的地節(jié)點發(fā)送的包數(shù)的比率、即包數(shù)比分別為I / 2、1 / 4以及I / 4。節(jié)點3512、3511以及3510的通信帶寬比也分別成為I / 2、1 / 4 以及 I / 4。
[0391]該情況下，節(jié)點3512的通信帶寬大于節(jié)點3510、3511的通信帶寬。因此，在交換機3522中，從接收到節(jié)點3510、3511向目的地節(jié)點發(fā)送的包起到向目的地節(jié)點發(fā)送為止的時間大于從接收到節(jié)點3512向目的地節(jié)點發(fā)送的包起到向目的地節(jié)點發(fā)送為止的時間。結果，例如即使在與節(jié)點3512相比，節(jié)點3510向目的地節(jié)點發(fā)送的消息的大小較小的情況下，也存在節(jié)點3512發(fā)送的消息到達目的地節(jié)點的時刻比節(jié)點3510發(fā)送的消息到達目的地節(jié)點的時刻遲的情況。
[0392]圖41是表示在圖40所示的并行計算機3500的各交換機間向目的地節(jié)點的方向流動的包的時序圖的圖。設節(jié)點3510以及節(jié)點3511將4K字節(jié)的消息分割成IK字節(jié)的包并向分別相距4跳的目的地節(jié)點3514以及3515發(fā)送。另外，節(jié)點3512將8K字節(jié)的消息分割成IK字節(jié)的消息并向相距4跳的目的地節(jié)點3516發(fā)送。
[0393]參照圖41可知，例如節(jié)點3510向目的地節(jié)點發(fā)送的包數(shù)的比率通過多級的交換機協(xié)調，在交換機3522 - 3523間的路徑中下降。在交換機3522中，從接收到節(jié)點3510向目的地節(jié)點3514發(fā)送的包起到向目的地節(jié)點3514發(fā)送為止的時間大于從接收到節(jié)點3512向目的地節(jié)點3516發(fā)送的包起到向目的地節(jié)點3516發(fā)送為止的時間。結果，與節(jié)點3512相比，雖然消息3510向目的地節(jié)點發(fā)送的消息的大小較小，但節(jié)點3510向目的地節(jié)點3514發(fā)送的消息的到達比節(jié)點3512向目的地節(jié)點3516發(fā)送的消息的到達延遲。
[0394]另一方面，圖42示出了在本實施例涉及的并行計算機700中，節(jié)點710?712與分別相距4跳的目的地節(jié)點進行通信的情況的例子。
[0395]并行計算機700例如通過圖11中說明的步驟S1102等處理，使到目的地節(jié)點為止的跳數(shù)較大的節(jié)點、即包數(shù)比較小的節(jié)點向目的地節(jié)點發(fā)送的包大小變大。由此，包數(shù)比較小的節(jié)點向目的地節(jié)點發(fā)送的包的包大小比變大。例如，在圖42中，包數(shù)比較小的節(jié)點710、711的包大小比為2。結果，節(jié)點720?722使用的通信帶寬比變得均等。不再有成為瓶頸的通信帶寬的節(jié)點。
[0396]其中，圖42所示的包大小比是用于說明的例示，例如能夠通過圖11的步驟S1102等處理來求出。[0397]圖43表示了在圖42所示的并行計算機700的各交換機間向目的地節(jié)點的方向流動的包的時序圖。圖43是節(jié)點710?712與分別相距4跳的目的地節(jié)點714?716進行通信的通信模式的情況的例子。節(jié)點710以及711根據(jù)需要針對4K字節(jié)的消息改變包大小而分別向節(jié)點714以及715發(fā)送。節(jié)點712根據(jù)需要針對8K字節(jié)的消息改變包大小而分別向節(jié)點716發(fā)送。
[0398]如圖43所示，包數(shù)比較小的節(jié)點710、711向目的地節(jié)點發(fā)送的包大小與包數(shù)比較大的節(jié)點712向目的地節(jié)點發(fā)送的包大小相比變大。例如，在圖43的例子中，節(jié)點710以及711分別向目的地節(jié)點714以及715發(fā)送的包大小為2K字節(jié)。另外，節(jié)點712向目的地節(jié)點716發(fā)送的包大小為IK字節(jié)。結果，例如交換機722 - 723間的路徑中的、節(jié)點710?712分別在單位時間使用路徑的時間變得均等。節(jié)點710?712分別使用的通信帶寬比變得均等。結果，例如根據(jù)圖43的交換機723 - 724間、724 — 725間以及725 — 726間的路徑的時序圖可知以下情況。即，從節(jié)點710向目的地節(jié)點714發(fā)送的消息、從節(jié)點711向目的地節(jié)點715發(fā)送的消息、以及從節(jié)點712向目的地節(jié)點716發(fā)送的消息的到達時刻被分散而平均化。
[0399]在圖40?圖43中，示出了交換機能夠以直通轉發(fā)方式動作的例子。與此相對，即使在交換機能夠以存儲轉發(fā)(Store and Forward)方式動作的情況下,也能夠得到圖43中說明的效果。其中，存儲轉發(fā)方式是指交換機在接收到由其他交換機等發(fā)送來的全部包后，將本交換機接收到的或者已經接收到的包向下一交換機發(fā)送的方式。
[0400]圖44是表示圖40所示的并行計算機3500的各節(jié)點以存儲轉發(fā)方式動作時的、在各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0401]即使在節(jié)點3520?3526以存儲轉發(fā)方式動作的情況下，也與圖41同樣，例如節(jié)點3510向目的地節(jié)點發(fā)送的包數(shù)的比率通過多級的交換機協(xié)調，在交換機3522 — 3523間的路徑中下降。在交換機3522中，從接收到節(jié)點3510向目的地節(jié)點3514發(fā)送的包起到向目的地節(jié)點3514進行發(fā)送為止的時間大于從接收到節(jié)點3512向目的地節(jié)點3516發(fā)送的包起到向目的地節(jié)點3516進行發(fā)送為止的時間。結果，與節(jié)點3512相比，雖然消息3510向目的地節(jié)點發(fā)送的消息的大小較小，但節(jié)點3510向目的地節(jié)點3514發(fā)送的消息的到達比節(jié)點3512向目的地節(jié)點3516發(fā)送的消息的到達延遲。
[0402]另一方面，圖45是表示圖42所示的并行計算機700的各節(jié)點以存儲轉發(fā)方式動作時的、在各交換機間向目的地節(jié)點的方向流動的包的時序圖。
[0403]在節(jié)點720?726為存儲轉發(fā)方式的情況下，若接收的包的包大小較大，則在等待包的接收完成的期間，形成無法向下一交換機發(fā)送包的期間、例如圖45所示的區(qū)間A。但是，除了該點以外，可以說與圖43相同。
[0404]例如，如圖45所示，包數(shù)比較小的節(jié)點710、711向目的地節(jié)點發(fā)送的包大小與包數(shù)比較大的節(jié)點712向目的地節(jié)點發(fā)送的包大小相比較大。例如，在圖45的例子中，節(jié)點710以及711分別向目的地節(jié)點714以及715發(fā)送的包大小成為2K字節(jié)。另外，節(jié)點712向目的地節(jié)點716發(fā)送的包大小為IK字節(jié)。結果，例如交換機722 - 723間的路徑中的、節(jié)點710?712分別在單位時間使用路徑的時間變得均等。節(jié)點710?712分別使用的通信帶寬比變得均等。結果，例如根據(jù)圖43的交換機723 - 724間、724 — 725間以及725 —726間的路徑的時序圖可知如下的情況。即，從節(jié)點710向目的地節(jié)點714發(fā)送的包的到達時刻、從節(jié)點711向目的地節(jié)點715發(fā)送的包的到達時刻、以及從節(jié)點712向目的地節(jié)點716發(fā)送的包的到達時刻被分散而平均化。
[0405]在以上的說明中，跳數(shù)表840、響應時間表2030、等待時間表2600以及3100能夠列舉為節(jié)點間的通信方式的一例。
[0406]另外，進行SllOl — S1107的處理等的控制部901、控制部1511以及控制部1711能夠列舉為計測單元的一例。另外，進行S1401 - S1407的處理等的控制部1211、進行S2301 - S2304的處理等的控制部2103也能夠列舉為計測單元的一例。另外，進行S2801 —S2803的處理等的處理器2411、進行S3301 — S3304的處理等的控制部3001也能夠列舉為計測單元的一例。
[0407]另外，進行S1004 - S1006的處理等的控制部901、進行S1304 — S1307的處理等的控制部1211能夠列舉為控制單元的一例。同樣，進行S1604 - S1606的處理等的控制部1511、進行31904 - S1906的處理等的控制部1711也能夠列舉為控制單元的一例。另外，進行S2207 - S2209的處理等的控制部2103、進行S2701 — S2706的處理等的處理器2411、進行S3204 - S3206的處理等的控制部3001也能夠列舉為控制單元的一例。
[0408]以上說明的節(jié)點710例如在網(wǎng)絡構成為環(huán)型或網(wǎng)格型的情況下根據(jù)式(I)求出包大小。即，到目的地節(jié)點為止的跳數(shù)越多，節(jié)點710使包大小越大。該情況下，到目的地節(jié)點為止的跳數(shù)越多，則包大小比越大。
[0409]一般在網(wǎng)絡構成為環(huán)型或網(wǎng)格型的情況下，到目的地節(jié)點為止的跳數(shù)越多，則包數(shù)比越下降。但是，到目的地節(jié)點為止的跳數(shù)越多，節(jié)點710使包大小比越大。結果，節(jié)點710按照從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間和從其他節(jié)點到目的地節(jié)點的發(fā)送包的到達時間平均化的方式動作。
[0410]對于節(jié)點711?節(jié)點716而言，也進行與節(jié)點710同樣的動作。
[0411]結果，即使因組群通信等通信集中于一部分交換機而使得包數(shù)比下降，節(jié)點710?節(jié)點716也按照從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間和從其他節(jié)點向目的地節(jié)點的發(fā)送包的到達時間平均化的方式動作。
[0412]另外，在網(wǎng)絡構成為網(wǎng)格型的情況下，當?shù)侥康牡毓?jié)點為止的跳數(shù)不是I時，例如如圖5所示的節(jié)點NO和N7的狀態(tài)那樣沒有與和目的地節(jié)點相同的交換機連接時，節(jié)點710根據(jù)式(3)求出包大小。該情況下,節(jié)點710使包大小變大。
[0413]一般在網(wǎng)絡構成為網(wǎng)格型的情況下，與目的地節(jié)點所連接的交換機相同的交換機直接連接的節(jié)點以外的節(jié)點的包數(shù)比下降。這如圖5中例示那樣。
[0414]但是，在網(wǎng)絡構成為網(wǎng)格型的情況下，當沒有與和目的地節(jié)點相同的交換機連接時，節(jié)點710使包大小比變大。結果，節(jié)點710按照從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間與從其他節(jié)點到目的地節(jié)點的發(fā)送包的到達時間平均化的方式動作。
[0415]對于節(jié)點711?節(jié)點716，在網(wǎng)絡構成為網(wǎng)格型的情況下，當沒有和與目的地節(jié)點相同的交換機連接時，也進行與節(jié)點710同樣的動作。
[0416]結果，在網(wǎng)絡構成為網(wǎng)格型的情況下，即使和目的地節(jié)點所連接的交換機直接連接的節(jié)點以外的節(jié)點的包數(shù)比下降，節(jié)點710?節(jié)點716也能夠使從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間和從其他節(jié)點到目的地節(jié)點的發(fā)送包的到達時間平均化。
[0417]在使用了節(jié)點1500或1700的并行計算機700的情況下，也與使用了節(jié)點710?節(jié)點716的并行計算機700同樣地動作。因此，使用了節(jié)點1500或1700的并行計算機700即使在如組群通信等那樣通信集中于一部分節(jié)點間的情況下，也能夠進行不降低通信性能的節(jié)點間通信。并且，使用了節(jié)點1500或1700的并行計算機700即使在網(wǎng)絡構成為網(wǎng)格型時的組群通信中，也能夠不降低通信性能地進行節(jié)點間通信。
[0418]節(jié)點1200在例如網(wǎng)絡構成為環(huán)型或網(wǎng)格型的情況下根據(jù)式(5)求出包大小。SP，到目的地節(jié)點為止的跳數(shù)越多，節(jié)點1200使包發(fā)送間隔越小。在此，若將包大小比認為是在一定時間由作為組群通信的發(fā)送源的各節(jié)點發(fā)送的包的總量的比率，則包發(fā)送間隔越小，包大小比越大。
[0419]一般在網(wǎng)絡構成為環(huán)型或網(wǎng)格型的情況下，到目的地節(jié)點為止的跳數(shù)越多，則包數(shù)比越下降。但是，到目的地節(jié)點為止的跳數(shù)越多，則節(jié)點1200使包大小比越大。結果，節(jié)點1200按照從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間和從其他節(jié)點到目的地節(jié)點的發(fā)送包的到達時間平均化的方式動作。
[0420]另外，節(jié)點1200在網(wǎng)絡構成為網(wǎng)格型的情況下，當?shù)侥康牡毓?jié)點為止的跳數(shù)不是I時，例如如圖5所示的節(jié)點NO和N7的狀態(tài)那樣沒有和與目的地節(jié)點相同的交換機連接時，通過步驟S1405求出。該情況下，節(jié)點1200使包發(fā)送間隔小于在通常的通信中使用的既定值。
[0421]一般在網(wǎng)絡構成為網(wǎng)格型的情況下，和與目的地節(jié)點所連接的交換機相同的交換機直接連接的節(jié)點以外的節(jié)點的包數(shù)比下降。這如圖5中所例示那樣。
[0422]但是，節(jié)點1200在網(wǎng)絡構成為網(wǎng)格型的情況下，當沒有和與目的地節(jié)點相同的交換機連接時，通過使包發(fā)送間隔變小來使包大小比變大。結果，節(jié)點1200按照從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間和從其他節(jié)點到目的地節(jié)點的發(fā)送包的到達時間平均化的方式動作。
[0423]節(jié)點2020根據(jù)式(10)求出包大小。即，計數(shù)得到的響應時間越大，則節(jié)點2020使包大小越大。該情況下，計數(shù)得到的響應時間越大，則包大小比越大。
[0424]—般認為計測得到的響應時間越大，則作為通信路徑中的交換機的協(xié)調結果，包數(shù)比越下降。但是，計測得到的響應時間越大，節(jié)點2020使包大小比越大。結果，節(jié)點2020能夠使從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間和從其他節(jié)點到目的地節(jié)點的發(fā)送包的到達時間平均化。
[0425]節(jié)點2410根據(jù)式(12)求出包大小。即，向目的地節(jié)點發(fā)送的包的等待時間的平均值越大，則節(jié)點2410使包大小越大。該情況下，向目的地節(jié)點發(fā)送的包的等待時間的平均值越大，則包大小比越大。
[0426]—般認為向目的地節(jié)點發(fā)送的包的等待時間的平均值越大，則作為通信路徑中的交換機的協(xié)調結果，包數(shù)比越下降。但是，向目的地節(jié)點發(fā)送的包的等待時間的平均值越大，則節(jié)點2410使包大小比越大。其結果，節(jié)點2410能夠使從本節(jié)點到目的地節(jié)點的發(fā)送包的到達時間和從其他節(jié)點到目的地節(jié)點的發(fā)送包的到達時間平均化。
[0427]在使用了節(jié)點2910的并行計算機2400的情況下，也進行與使用了節(jié)點2410的并行計算機2400同樣的動作。
[0428]如上所述，通過使用本實施例涉及的并行計算機，能夠進行使向目的地節(jié)點發(fā)送的數(shù)據(jù)的到達時間平均化的節(jié)點間通信。
【權利要求】
1.一種并行計算機，其具有進行運算處理的多個節(jié)點，并將該節(jié)點間連接成相互能夠通信，所述節(jié)點具備:計測單元，其基于所述節(jié)點間的通信方式來計測到各目的地節(jié)點的通信帶寬；和控制單元，其按照所述計測單元計測出的通信帶寬來控制向目的地節(jié)點發(fā)送的包大小。
2.根據(jù)權利要求1所述的并行計算機，其特征在于，所述計測單元基于在作為通信源的第I節(jié)點與作為該第I節(jié)點的通信目標的第2節(jié)點之間的通信路徑中夾設的包的轉送單元的數(shù)量來計測所述通信帶寬。
3.根據(jù)權利要求1所述的并行計算機，其特征在于，所述計測單元基于從作為通信源的第I節(jié)點向作為該第I節(jié)點的通信目標的第2節(jié)點發(fā)送了包開始到所述第I節(jié)點從所述第2節(jié)點接收到針對該包的響應包為止的響應時間來計測所述通信帶寬。
4.根據(jù)權利要求1所述的并行計算機，其特征在于，所述計測單元取得從由與自 身連接的轉送單元接收到包開始到向與自身連接的其他轉送單元轉送該包為止的等待時間，基于該等待時間來計測所述通信帶寬。
5.根據(jù)權利要求1所述的并行計算機，其特征在于，所述控制單元根據(jù)所述計測單元計測的與目的地節(jié)點之間的通信帶寬，來增大所述節(jié)點向所述目的地節(jié)點發(fā)送的包的大小。
6.根據(jù)權利要求1所述的并行計算機，其特征在于，所述控制單元根據(jù)所述計測單元計測的與目的地節(jié)點之間的通信帶寬，來增大所述節(jié)點向所述目的地節(jié)點發(fā)送包的發(fā)送間隔。
7.根據(jù)權利要求2所述的并行計算機，其特征在于，還具備存儲單元，該存儲單元存儲包含在所述第I節(jié)點與所述第2節(jié)點之間的通信路徑中夾設的所述轉送單元的個數(shù)的信息，所述計測單元從所述存儲單元所存儲的信息取得在所述第I節(jié)點與所述第2節(jié)點之間夾設的所述轉送單元的個數(shù)，基于該取得的所述轉送單元的個數(shù)來計測與目的地節(jié)點之間的通信帶寬。
8.根據(jù)權利要求2所述的并行計算機，其特征在于，還具備計算單元，該計算單元基于包含所述節(jié)點的網(wǎng)絡中的所述第I節(jié)點與所述第2節(jié)點的位置關系來計算在所述第I節(jié)點與所述第2節(jié)點之間的通信路徑中夾設的所述轉送單元的個數(shù)，所述計測單元從所述計算單元取得在所述第I節(jié)點與所述第2節(jié)點之間夾設的所述轉送單元的個數(shù)，基于該取得的所述轉送單元的個數(shù)來計測所述通信帶寬。
9.根據(jù)權利要求2所述的并行計算機，其特征在于，還具備:發(fā)送單元，其將調查用包向所述第2節(jié)點發(fā)送，該調查用包包含對每當經由所述轉送單元便被該轉送單元更新的計數(shù)值進行保持的計數(shù)值區(qū)域；和接收單元，其接收針對所述調查用包的響應包，在該響應包中，所述調查用包所包含的所述數(shù)值區(qū)域中保持的所述計數(shù)值由所述第2節(jié)點設定，所述計測單元從所述接收單元接收到的響應包取得在所述第I節(jié)點與所述第2節(jié)點之間夾設的所述轉送單元的個數(shù)，基于該取得的所述轉送單元的個數(shù)來計測所述通信帶寬。
10.根據(jù)權利要求3所述的并行計算機，其特征在于，還具備:存儲單元，其夾設在所述第I節(jié)點與所述第2節(jié)點之間的通信路徑，存儲基于包的轉送單元的個數(shù)的標準的響應時間；和計數(shù)單元，其對所述響應時間進行計數(shù)，所述計測單元將所述存儲單元存儲的標準的響應時間與所述計數(shù)單元計數(shù)得到的所述響應時間進行比較，基于該比較的結果來計測所述通信帶寬。
11.一種通信控制裝置，其在具有進行運算處理的多個節(jié)點，并將該節(jié)點間連接成能夠相互通信的并行計算機中，對所述節(jié)點的通信進行控制，其中，該通信控制裝置具備:計測單元，其基于所述節(jié)點間的通信方式來計測節(jié)點間的通信帶寬；和控制單元，其按照所述計測單元的計測結果來控制在節(jié)點間發(fā)送的包大小。
12.根據(jù)權利要求11所述的通信控制裝置，其特征在于，所述計測單元基于在通信源節(jié)點與該第I節(jié)點的通信目標節(jié)點之間的通信路徑中夾設的包的轉送單元的個數(shù)來計測所述通信帶寬。
13.根據(jù)權利要求11所述的通信控制裝置，其特征在于，所述計測單元基于從通信源節(jié)點向該第I節(jié)點的通信目標節(jié)點發(fā)送了包開始到所述通信源節(jié)點從所述通信目標節(jié)點接收到針對該包的響應包為止的響應時間來計測所述通 信帶寬。
14.根據(jù)權利要求11所述的通信控制裝置，其特征在于，所述計測單元從對通信源節(jié)點發(fā)送的包進行轉送的轉送單元取得自接收到該包開始到向其他轉送單元進行轉送為止的等待時間，并基于該等待時間來計測所述通信帶寬。
15.一種通信控制方法，是在具有進行運算處理的多個節(jié)點，并將該節(jié)點間連接成能夠相互通信的并行計算機中對所述節(jié)點的通信進行控制的通信控制方法，其中，基于所述節(jié)點間的通信方式來計測通信帶寬，按照所述計測結果來控制包大小。
16.根據(jù)權利要求15所述的通信控制方法，其特征在于，基于在作為通信源的第I節(jié)點與作為該第I節(jié)點的通信目標的第2節(jié)點之間的通信路徑中夾設的包的轉送單元的個數(shù)來計測所述通信帶寬。
17.根據(jù)權利要求15所述的通信控制方法，其特征在于，基于從作為通信源的第I節(jié)點向作為該第I節(jié)點的通信目標的第2節(jié)點發(fā)送了包開始到所述第I節(jié)點從所述第2節(jié)點接收到針對該包的響應包為止的響應時間來計測所述通信帶寬。
18.根據(jù)權利要求15所述的通信控制方法，其特征在于，從對作為通信源的第I節(jié)點發(fā)送的包進行接收并轉送的轉送單元取得自接收到該包開始到向其他轉送單元進行轉送為止的等待時間，并基于該等待時間來計測所述通信帶
【文檔編號】H04L12/931GK103444142SQ201180069370
【公開日】2013年12月11日 申請日期:2011年3月22日 優(yōu)先權日:2011年3月22日
【發(fā)明者】平本新哉, 追永勇次, 安島雄一郎, 井上智宏 申請人:富士通株式會社