最新的毛片基地免费,国产国语一级毛片,免费国产成人高清在线电影,中天堂国产日韩欧美,中国国产aa一级毛片,国产va欧美va在线观看,成人不卡在线

分組交換的片上互連網(wǎng)絡(luò)中的快速虛擬通道的制作方法

文檔序號(hào):7772692閱讀:280來(lái)源:國(guó)知局
分組交換的片上互連網(wǎng)絡(luò)中的快速虛擬通道的制作方法
【專(zhuān)利摘要】本申請(qǐng)涉及“分組交換的片上互連網(wǎng)絡(luò)中的快速虛擬通道”。公開(kāi)了用于在芯片上部件網(wǎng)絡(luò)中使用快速虛擬通道的方法、路由器節(jié)點(diǎn)和指令集。輸入鏈路302可以經(jīng)由快速虛擬通道110從分組交換網(wǎng)絡(luò)中的源節(jié)點(diǎn)102接收快速流控制單元。輸出鏈路306可以把快速流控制單元發(fā)送到匯節(jié)點(diǎn)106。交換機(jī)分配器322可以把快速流控制單元直接轉(zhuǎn)發(fā)到輸出鏈路306。
【專(zhuān)利說(shuō)明】分組交換的片上互連網(wǎng)絡(luò)中的快速虛擬通道
[0001]本分案申請(qǐng)的母案申請(qǐng)日為2009年3月31日、申請(qǐng)?zhí)枮?00980110393.9、發(fā)明名稱(chēng)為“分組交換的片上互連網(wǎng)絡(luò)中的快速虛擬通道”。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明一般涉及單芯片多處理器(chipmult1-processor)上的部件之間的通信的領(lǐng)域。本發(fā)明還具體地涉及在單芯片多處理器上的部件之間創(chuàng)建快速(express)虛擬通信通道。
【背景技術(shù)】
[0003]單芯片多處理器(CMP)或?qū)S闷舷到y(tǒng)(ASOC)可能具有需要彼此通信的若干部件。這些部件可以是諸如處理器、高速緩存、數(shù)據(jù)寄存器或其他芯片部件之類(lèi)的零件。芯片部件可以使用總線系統(tǒng)或?qū)S貌季€系統(tǒng)進(jìn)行通信。這些系統(tǒng)中的每一個(gè)可能要求大量的布線,其可能用盡芯片上的寶貴空間并且在信號(hào)之間產(chǎn)生干擾。
[0004]這些部件可以通過(guò)使用分組交換系統(tǒng)來(lái)以空間更高效的方式進(jìn)行通信。分組交換系統(tǒng)可以通過(guò)在部件之間傳送數(shù)據(jù)分組來(lái)起作用,從而減小任意兩個(gè)部件之間的布線量。

【發(fā)明內(nèi)容】

[0005]根據(jù)本發(fā)明的實(shí)施例,提供了一種在片上網(wǎng)絡(luò)中提供快速虛擬通道的方法,所述方法包括:
[0006]經(jīng)由快速虛擬通道從源節(jié)點(diǎn)接收快速流控制單元;以及
[0007]基于資源缺乏計(jì)數(shù)器的值與資源缺乏閾值的比較,把快速流控制單元直接轉(zhuǎn)發(fā)到輸出鏈路以發(fā)送到匯節(jié)點(diǎn);
[0008]其中,每次去往作為快速流控制單元的相同輸出端口的正常流控制單元被緩沖時(shí),將更新所述資源缺乏計(jì)數(shù)器,其中,基于確定快速流控制單元正在快速虛擬通道上運(yùn)行,相對(duì)于其它非快速流控制單元,快速流控制單元被給予優(yōu)先選擇。
[0009]根據(jù)本發(fā)明的實(shí)施例,提供了一種在片上網(wǎng)絡(luò)中提供快速虛擬通道的設(shè)備,所述設(shè)備包括:
[0010]經(jīng)由快速虛擬通道從源節(jié)點(diǎn)接收快速流控制單元的輸入鏈路;
[0011]基于資源缺乏計(jì)數(shù)器的值與資源缺乏閾值的比較,把快速流控制單元發(fā)送到匯節(jié)點(diǎn)的輸出鏈路,其中,每次去往作為快速流控制單元的相同輸出端口的正常流控制單元被緩沖時(shí),將更新所述資源缺乏計(jì)數(shù)器;以及
[0012]將快速流控制單元直接轉(zhuǎn)發(fā)到輸出鏈路的交換機(jī)分配器,其中,基于確定快速流控制單元正在快速虛擬通道上運(yùn)行,相對(duì)于其它非快速流控制單元,快速流控制單元被給予優(yōu)先選擇。
[0013]根據(jù)本發(fā)明的實(shí)施例,還提供了一種包含代碼的機(jī)器可讀介質(zhì)和一種設(shè)備?!緦?zhuān)利附圖】

【附圖說(shuō)明】
[0014]要理解這些附圖僅描繪了本發(fā)明的典型實(shí)施例,而因此不被視為對(duì)其范圍的限制,將通過(guò)使用附圖另外詳細(xì)且具體地描述和解釋本發(fā)明,在附圖中:
[0015]圖1以框圖示出單芯片多處理器部件數(shù)據(jù)分組傳輸?shù)囊粋€(gè)實(shí)施例。
[0016]圖2作為二維網(wǎng)狀網(wǎng)絡(luò)示出芯片上的部件網(wǎng)絡(luò)的一個(gè)實(shí)施例。
[0017]圖3以框圖示出實(shí)施快速虛擬通道的路由器節(jié)點(diǎn)微架構(gòu)的一個(gè)實(shí)施例。
[0018]圖4作為二維網(wǎng)狀網(wǎng)絡(luò)示出芯片上的動(dòng)態(tài)快速虛擬通道部件網(wǎng)絡(luò)的一個(gè)實(shí)施例。
[0019]圖5作為框圖示出芯片上的路由靈活(route-flexible)的動(dòng)態(tài)快速虛擬通道部件網(wǎng)絡(luò)的一個(gè)實(shí)施例。
[0020]圖6以流程圖示出路由器節(jié)點(diǎn)處理來(lái)自虛擬通道的數(shù)據(jù)分組的方法的一個(gè)實(shí)施例。
[0021]圖7以網(wǎng)狀網(wǎng)絡(luò)示出快速虛擬通道網(wǎng)絡(luò)中的資源缺乏(starvation)事件的一個(gè)實(shí)施例。
[0022]圖8以時(shí)間線示出正常虛擬通道基于信用(credit)的緩沖器管理系統(tǒng)的一個(gè)實(shí)施例。
[0023]圖9以時(shí)間線示出快速虛擬通道基于信用的緩沖器管理系統(tǒng)的一個(gè)實(shí)施例。
[0024]圖10以框圖示出靜態(tài)緩沖器管理系統(tǒng)的緩沖器計(jì)數(shù)的一個(gè)實(shí)施例。
[0025]圖11以框圖示出動(dòng)態(tài)共享的緩沖器管理系統(tǒng)的緩沖器計(jì)數(shù)的一個(gè)實(shí)施例。
[0026]圖12以框圖示出可獲得的進(jìn)出給定節(jié)點(diǎn)的路徑的組合的一個(gè)實(shí)施例。
[0027]圖13以框圖示出虛擬通道的靜態(tài)分區(qū)的一個(gè)實(shí)施例。
[0028]圖14以框圖示出可以充當(dāng)路由器節(jié)點(diǎn)的計(jì)算機(jī)系統(tǒng)的一個(gè)實(shí)施例。
【具體實(shí)施方式】
[0029]本發(fā)明的附加特征和優(yōu)點(diǎn)將在以下的說(shuō)明書(shū)中進(jìn)行闡述,并且部分地將從說(shuō)明書(shū)中顯而易見(jiàn),或者可以通過(guò)實(shí)踐本發(fā)明而獲悉。本發(fā)明的特征和優(yōu)點(diǎn)可以借助于在所附權(quán)利要求書(shū)中具體指出的工具和組合來(lái)實(shí)現(xiàn)和獲得。本發(fā)明的這些及其他特征將從以下的說(shuō)明書(shū)和所附的權(quán)利要求書(shū)中變得更徹底地清楚,或者可以通過(guò)實(shí)踐如本文所闡述的發(fā)明而獲悉。
[0030]下面詳細(xì)討論本發(fā)明的各個(gè)實(shí)施例。雖然討論了具體的實(shí)施方式,但是應(yīng)當(dāng)理解這樣做僅僅是為了說(shuō)明目的。相關(guān)領(lǐng)域的技術(shù)人員將意識(shí)到在不偏離本發(fā)明的精神和范圍的情況下可以使用其他部件和配置。
[0031]本發(fā)明包括諸如方法、設(shè)備和計(jì)算機(jī)指令集之類(lèi)的各種各樣的實(shí)施例、以及與本發(fā)明的基本概念有關(guān)的其他實(shí)施例。公開(kāi)了用于在芯片上的部件網(wǎng)絡(luò)中使用快速虛擬通道的方法、路由器節(jié)點(diǎn)和指令集。輸入鏈路可以經(jīng)由快速虛擬通道從分組交換網(wǎng)絡(luò)中的源節(jié)點(diǎn)接收快速流控制單元(express flow control unit)。輸出鏈路可以把快速流控制單元發(fā)送到匯節(jié)點(diǎn)。交換機(jī)分配器可以把快速流控制單元直接轉(zhuǎn)發(fā)到輸出鏈路。
[0032]單芯片多處理器(CMP)或?qū)S眯酒舷到y(tǒng)(ASOC)可能具有許多需要彼此通信的部件。這些部件可以使用分組交換來(lái)傳送數(shù)據(jù)而不使用過(guò)量的芯片空間。圖1以框圖示出單芯片多處理器部件數(shù)據(jù)傳輸100的一個(gè)實(shí)施例。充當(dāng)源節(jié)點(diǎn)102的部件可以把數(shù)據(jù)集組織成數(shù)據(jù)分組。數(shù)據(jù)分組可以被分成一個(gè)或多個(gè)流控制單元(FLIT)。源節(jié)點(diǎn)102可以把每個(gè)FLIT傳輸?shù)阶罱捎玫牟考?。充?dāng)路由器節(jié)點(diǎn)104的接收部件可以把數(shù)據(jù)傳輸?shù)较乱粋€(gè)最近可用的部件,直到到達(dá)充當(dāng)匯節(jié)點(diǎn)106的部件為止。FLIT從源節(jié)點(diǎn)102到匯節(jié)點(diǎn)106所遵循的路徑可以被組織成虛擬通道。在正常虛擬通道(NVC) 108中,源節(jié)點(diǎn)102可以把FLIT傳輸?shù)铰酚善鞴?jié)點(diǎn)104,該路由器節(jié)點(diǎn)104可以緩沖FLIT、組織該FLIT以及其他經(jīng)歷該管線的FLIT、然后把它們發(fā)送到輸出鏈路以將其發(fā)送到下一個(gè)路由器節(jié)點(diǎn)104或匯節(jié)點(diǎn) 106。
[0033]快速虛擬通道(EVC) 110可以通過(guò)接近專(zhuān)用鏈路的等待時(shí)間和能量而用來(lái)縮短封包化的片上網(wǎng)絡(luò)和理想互連結(jié)構(gòu)之間的性能和能量差距。EVCllO可以允許FLIT沿節(jié)點(diǎn)對(duì)之間的預(yù)定義路徑繞過(guò)中間路由器節(jié)點(diǎn)104。與其他FLIT相比,可以給予在EVCllO上行進(jìn)的FLIT優(yōu)待,從而使得它們直接使用輸出鏈路而不用進(jìn)行緩沖,且不必通過(guò)每個(gè)路由器節(jié)點(diǎn)104處的路由器管線。EVCllO可以以類(lèi)似于電路交換的方式促進(jìn)流在網(wǎng)絡(luò)中的創(chuàng)建而不涉及任何電路建立階段,從而顯著地減少分組傳輸?shù)却龝r(shí)間。此外,通過(guò)允許FLIT實(shí)際上繞過(guò)中間路由器節(jié)點(diǎn)104,EVCllO可以減小緩沖量、路由器交換活動(dòng)和每跳資源競(jìng)爭(zhēng),從而增加能量和面積效率。
[0034]圖2作為二維網(wǎng)狀網(wǎng)絡(luò)示出靜態(tài)EVC分組交換網(wǎng)絡(luò)200的一個(gè)實(shí)施例。雖然引用分組交換芯片多處理器網(wǎng)絡(luò),但是EVCllO可以用于任何分組交換網(wǎng)絡(luò)。請(qǐng)注意,對(duì)本發(fā)明而言,網(wǎng)狀網(wǎng)絡(luò)的大小和二維性質(zhì)是說(shuō)明性的而決不是限定性的。每個(gè)節(jié)點(diǎn)202可以充當(dāng)源節(jié)點(diǎn)102、路由器節(jié)點(diǎn)104或匯節(jié)點(diǎn)106。網(wǎng)絡(luò)200中的每個(gè)節(jié)點(diǎn)202可以通過(guò)NVC108而連接到相鄰節(jié)點(diǎn)202。而且,節(jié)點(diǎn)202可以通過(guò)EVCllO而連接到非相鄰節(jié)點(diǎn),從而允許FLIT沿預(yù)定義路徑穿過(guò)多個(gè)中間節(jié)點(diǎn)或路由器節(jié)點(diǎn)104,而不用在任何路由器節(jié)點(diǎn)104處停止或緩沖。例如,從節(jié)點(diǎn)B行進(jìn)到節(jié)點(diǎn)G的FLIT可以采取從節(jié)點(diǎn)B到節(jié)點(diǎn)D的規(guī)則NVC路徑108并且然后采取從節(jié)點(diǎn)D到節(jié)點(diǎn)G的EVCllO或鏈路。EVCllO可以消除通過(guò)諸如節(jié)點(diǎn)E和F之類(lèi)的路由器節(jié)點(diǎn)104的等待時(shí)間,并且通過(guò)消除路由器節(jié)點(diǎn)104上的所有緩沖操作來(lái)節(jié)約功率。在靜態(tài)EVC網(wǎng)絡(luò)中,具體的源節(jié)點(diǎn)102和匯節(jié)點(diǎn)106可以通過(guò)EVCl 10連接。雖然在本示例中使用四個(gè)節(jié)點(diǎn)的靜態(tài)EVC110,但是根據(jù)選擇也可以使用更大或更小長(zhǎng)度的靜態(tài)EVC110。
[0035]路由器可以實(shí)施在虛擬通道流控制之上的快速鏈路。路由器可以指定虛擬通道,該虛擬通道可以?xún)H由在快速路徑上行進(jìn)的數(shù)據(jù)分組預(yù)訂。圖3以框圖示出實(shí)施EVCllO的路由器節(jié)點(diǎn)微架構(gòu)300的一個(gè)實(shí)施例。路由器節(jié)點(diǎn)104可以經(jīng)由輸入鏈路302上的虛擬通道接收FLIT,并且把FLIT引導(dǎo)至流控制模塊304。用于流控制的虛擬通道可以被布置為NVC108和EVCl 10。流控制模塊304可以使用虛擬通道來(lái)確定FLIT優(yōu)先級(jí)以選擇哪個(gè)FLIT轉(zhuǎn)發(fā)到由縱橫式交換機(jī)308所選擇的輸出鏈路306。
[0036]路由計(jì)算邏輯模塊310可以在每個(gè)路由器節(jié)點(diǎn)104處計(jì)算路由計(jì)算或數(shù)據(jù)分組在源節(jié)點(diǎn)102和匯節(jié)點(diǎn)106之間行進(jìn)的路徑。路由計(jì)算邏輯模塊310可以負(fù)責(zé)驗(yàn)證數(shù)據(jù)分組是否可以被放置在EVCllO上。另外,路由計(jì)算邏輯模塊310可以執(zhí)行所有數(shù)據(jù)分組的先行(look-ahead)路由,以便一旦數(shù)據(jù)分組到達(dá)節(jié)點(diǎn)或EVC路徑110端點(diǎn),在路由器管線的關(guān)鍵路徑中就不需要路由計(jì)算。路由計(jì)算不必以任何方式影響所用的基本路由算法。EVC分配器312可以給打算使用快速通路來(lái)在節(jié)點(diǎn)對(duì)之間行進(jìn)的數(shù)據(jù)分組分配EVCl 10,而NVC分配器314可以給打算行進(jìn)到鄰近節(jié)點(diǎn)的另一個(gè)數(shù)據(jù)分組分配N(xiāo)VC108。
[0037]流控制模塊304可以經(jīng)由EVC輸入緩沖器(EVC BUF)316從EVCllO或者經(jīng)由NVC輸入緩沖器(NVC BUF) 318從NVC108接收FLIT。當(dāng)FLIT通過(guò)其快速路徑110上的任何路由器節(jié)點(diǎn)104時(shí),EVC鎖存器320可以實(shí)行(stage)FLIT。通過(guò)EVC鎖存器320行進(jìn)的FLIT可以?xún)?yōu)先于(pre-empt)相同輸出端口 306上的任何其他數(shù)據(jù)分組流。EVC鎖存器320可以中斷兩個(gè)節(jié)點(diǎn)之間正在進(jìn)行的數(shù)據(jù)分組傳輸而免于被源節(jié)點(diǎn)102發(fā)送,諸如較低優(yōu)先級(jí)EVC 流。
[0038]交換機(jī)分配器322可能喜歡EVC流110勝過(guò)NVC流108。交換機(jī)分配器322可以中斷源節(jié)點(diǎn)102處具有較少跳的FLIT的EVC流110,以便具有更多跳的FLIT的EVC流110可以使用該路由器節(jié)點(diǎn)104。交換機(jī)分配器322可以中斷較近源節(jié)點(diǎn)102處的FLIT的EVC流110,以便來(lái)自更遠(yuǎn)源節(jié)點(diǎn)102的FLIT的EVC流110可以使用該路由器節(jié)點(diǎn)104。
[0039]網(wǎng)絡(luò)200可以被靜態(tài)地劃分成EVCllO和NVC108,或者可以具有更多動(dòng)態(tài)創(chuàng)建的虛擬通道。圖4作為二維網(wǎng)狀網(wǎng)絡(luò)示出動(dòng)態(tài)EVC分組交換網(wǎng)絡(luò)400的一個(gè)實(shí)施例。在動(dòng)態(tài)EVC分組交換網(wǎng)絡(luò)400中,節(jié)點(diǎn)202之間的任何跳集可以被指定為動(dòng)態(tài)EVC402。EVC路徑402的長(zhǎng)度可以在由部件網(wǎng)絡(luò)約束確定的最大EVC長(zhǎng)度內(nèi)針對(duì)給定數(shù)據(jù)路徑的路徑來(lái)根據(jù)需要定制大小。例如,在靜態(tài)EVC網(wǎng)絡(luò)200中,源節(jié)點(diǎn)102可以經(jīng)由單跳NVC路徑108從節(jié)點(diǎn)B遍歷到節(jié)點(diǎn)C并從節(jié)點(diǎn)C遍歷到節(jié)點(diǎn)D,并且經(jīng)由靜態(tài)分配的EVC路徑110從節(jié)點(diǎn)D遍歷到節(jié)點(diǎn)G。在允許最大三跳EVC路徑402的動(dòng)態(tài)網(wǎng)絡(luò)中,源節(jié)點(diǎn)102可以把FLIT從節(jié)點(diǎn)B直接發(fā)送到節(jié)點(diǎn)E,然后可以使用兩跳長(zhǎng)度的子集EVC路徑402而去往節(jié)點(diǎn)G,諸如此類(lèi)。
[0040]圖5作為框圖示出芯片500上的路由靈活的動(dòng)態(tài)EVC部件網(wǎng)絡(luò)的一個(gè)實(shí)施例。有時(shí),數(shù)據(jù)路徑可能由于資源約束而不能使用最優(yōu)EVC路徑502,諸如最長(zhǎng)的EVC路徑502。在這種情況下,源節(jié)點(diǎn)102可以經(jīng)由具有可用資源的可選EVC路徑504 (諸如下一個(gè)較短EVC路徑504)發(fā)送FLIT。例如,對(duì)于源節(jié)點(diǎn)A102把FLIT發(fā)送到匯節(jié)點(diǎn)G106的最高效的數(shù)據(jù)路徑可以是把FLIT沿第一最優(yōu)EVC路徑502從源節(jié)點(diǎn)A102直接發(fā)送到節(jié)點(diǎn)D,然后沿第二最優(yōu)EVC路徑502從路由器節(jié)點(diǎn)D104發(fā)送到匯節(jié)點(diǎn)G106。然而,最高效的數(shù)據(jù)路徑可能沒(méi)有可用的資源。源節(jié)點(diǎn)A102可以沿可選路徑504把FLIT發(fā)送到匯節(jié)點(diǎn)。源節(jié)點(diǎn)A102可以沿可選EVC路徑504把FLIT發(fā)送到路由器節(jié)點(diǎn)C104,然后從路由器節(jié)點(diǎn)C104發(fā)送到路由器節(jié)點(diǎn)E104,并然后從路由器節(jié)點(diǎn)E104發(fā)送到匯節(jié)點(diǎn)G106。EVC分配器212可以通過(guò)考慮數(shù)據(jù)分組的路由信息來(lái)確定最佳路徑。
[0041]圖6以流程圖示出路由器節(jié)點(diǎn)處理來(lái)自虛擬通道的FLIT的方法600的一個(gè)實(shí)施例。路由器節(jié)點(diǎn)104可以經(jīng)由虛擬通道(VC)接收FLIT (塊602)。如果FLIT是正常FLIT(NF)(塊604),則路由器節(jié)點(diǎn)104可以把NF存儲(chǔ)在輸入緩沖器中(塊606)并且然后處理NF(塊608)。NF可以是路由器節(jié)點(diǎn)104是源節(jié)點(diǎn)102的FLIT、從NVC108上的鄰近節(jié)點(diǎn)到達(dá)路由器節(jié)點(diǎn)104的FLIT、或者路由器節(jié)點(diǎn)104是EVCllO的終點(diǎn)但不是匯節(jié)點(diǎn)106的FLIT。輸入端口可以是NVC輸入緩沖器318 (如果到達(dá)NVC108的話(huà))或者是EVC輸入緩沖器316(如果到達(dá)EVCllO的話(huà))。路由器節(jié)點(diǎn)104可以把處理的NF轉(zhuǎn)發(fā)到輸出鏈路306(塊610)。如果FLIT是快速FLIT (EF) 110 (塊604),則路由器節(jié)點(diǎn)104可以把EF轉(zhuǎn)發(fā)到輸出鏈路306 (塊612)??焖貴LIT可以是由在EVCllO中部的路由器節(jié)點(diǎn)104接收的FLIT。
[0042]在為具體的消息流預(yù)留帶寬的任何網(wǎng)絡(luò)中,當(dāng)在預(yù)先建立的電路上行進(jìn)的消息阻擋其他消息時(shí)可能出現(xiàn)資源缺乏。圖7以網(wǎng)狀網(wǎng)絡(luò)示出EVC網(wǎng)絡(luò)中的資源缺乏事件700的一個(gè)實(shí)施例。給予EF702的較高優(yōu)先級(jí)可能導(dǎo)致資源缺乏情形704。更具體地,如果沿EVC702路徑的路由器節(jié)點(diǎn)D104總是具有即將到來(lái)的EF要服務(wù),則在路由器節(jié)點(diǎn)D104處局部緩沖的NF可能從未得到使用物理通道的機(jī)會(huì)。來(lái)自更上游的快速數(shù)據(jù)分組也可以使源自下游路由器的不同EVCllO上的快速數(shù)據(jù)分組連續(xù)資源缺乏。
[0043]為對(duì)此進(jìn)行補(bǔ)救,每個(gè)路由器節(jié)點(diǎn)104可以保存該路由器節(jié)點(diǎn)104已服務(wù)了具體EVC路徑110的連續(xù)循環(huán)的數(shù)量的計(jì)數(shù)。在給快速FLIT服務(wù)了閾值數(shù)量的連續(xù)循環(huán)之后,路由器節(jié)點(diǎn)104可以把諸如“開(kāi)始資源缺乏補(bǔ)救(Begin Starvation Remediation)”消息或“資源缺乏開(kāi)(Starvation On)”令牌之類(lèi)的資源缺乏消息沿信用通道向上游發(fā)送到EVC源節(jié)點(diǎn)A102。在接收到這個(gè)令牌后,源節(jié)點(diǎn)A102可以停止在對(duì)應(yīng)的鏈路上發(fā)送EF,以允許服務(wù)局部資源缺乏的FLIT。在這樣做設(shè)定數(shù)量的循環(huán)后,路由器節(jié)點(diǎn)D104可以發(fā)送“結(jié)束資源缺乏補(bǔ)救(End Starvation Remediation)” 消息或“資源缺乏關(guān)(Starvation Off)”令牌到EVC源節(jié)點(diǎn)A102,以信號(hào)通知可以恢復(fù)EVC通信。
[0044]如圖6中所示,對(duì)于EF,如果去往相同輸出端口 306的NF被緩沖(塊614),則路由器節(jié)點(diǎn)104可以遞增資源缺乏計(jì)數(shù)(SCT)(塊616)。路由器節(jié)點(diǎn)104可以檢查SCT以查看其是否達(dá)到了資源缺乏閾值(STHR)(塊618)。如果SCT達(dá)到了 STHR (塊618),則路由器節(jié)點(diǎn)104可以把“開(kāi)始資源缺乏補(bǔ)救”消息(BSRM)向上游發(fā)送到所有EVC源節(jié)點(diǎn)102 (塊620)。在允許所有適當(dāng)?shù)纳嫌喂?jié)點(diǎn)接收BRSM的一段時(shí)間之后,路由器節(jié)點(diǎn)104可以進(jìn)入資源缺乏補(bǔ)救模式,在資源缺乏補(bǔ)救模式期間,路由器節(jié)點(diǎn)不接收EF。雖然路由器節(jié)點(diǎn)104處于資源缺乏補(bǔ)救模式,但是EVC源節(jié)點(diǎn)102可以暫停EF的傳輸、重新路由EF、或者采取其他補(bǔ)償動(dòng)作。路由器節(jié)點(diǎn)104可以把資源缺乏補(bǔ)救周期計(jì)數(shù)器(SRP)設(shè)定為零(塊622)。
[0045]對(duì)于NF,如果路由器節(jié)點(diǎn)104不處于資源缺乏補(bǔ)救模式(塊624),則路由器節(jié)點(diǎn)104可以把SCT復(fù)位為零(塊626)。如果路由器節(jié)點(diǎn)104處于資源缺乏補(bǔ)救模式(塊624),則一旦NF已經(jīng)被成功地路由到輸出端口 306,路由器節(jié)點(diǎn)104就可以遞增SRP (塊628)。一旦資源缺乏補(bǔ)救周期結(jié)束(塊630),路由器節(jié)點(diǎn)104就可以把“結(jié)束資源缺乏補(bǔ)救”消息(ESRM)發(fā)送到所有上游EVC源節(jié)點(diǎn)102,以信號(hào)通知路由器節(jié)點(diǎn)104再次接收EF(塊632)。
[0046]芯片上部件網(wǎng)絡(luò)可以使用緩沖流控制技術(shù)來(lái)管理緩沖器,并且在相鄰的路由器節(jié)點(diǎn)104之間傳送其可用性。下游節(jié)點(diǎn)可以通過(guò)背壓把可用的自由緩沖器數(shù)量傳送到上游節(jié)點(diǎn)?;谛庞玫木彌_器管理可以使用上游路由器來(lái)保存下游可用的自由緩沖器數(shù)量的計(jì)數(shù)。每當(dāng)發(fā)出FLIT就可以使計(jì)數(shù)遞減,從而消耗下游緩沖器。當(dāng)FLIT離開(kāi)下游節(jié)點(diǎn)并且釋放其相關(guān)緩沖器時(shí),可以向上游發(fā)回信用并且可以遞增對(duì)應(yīng)的自由緩沖器計(jì)數(shù)。
[0047]部件網(wǎng)絡(luò)可以使用簡(jiǎn)單的緩沖器管理方案來(lái)給每個(gè)虛擬通道靜態(tài)地分配等于該虛擬通道的信用往返延遲的緩沖。圖8以時(shí)間線示出NVC108基于信用的緩沖器管理系統(tǒng)800的一個(gè)實(shí)施例。在時(shí)間h,當(dāng)節(jié)點(diǎn)B發(fā)送FLIT到下一個(gè)節(jié)點(diǎn)(箭頭802)時(shí),節(jié)點(diǎn)B可以在h和t2之間發(fā)送信用到節(jié)點(diǎn)A (箭頭804)。節(jié)點(diǎn)A可以在t2和t3之間處理信用(箭頭806)。節(jié)點(diǎn)A可以發(fā)送信用到先前節(jié)點(diǎn)(箭頭804)同時(shí)在t3和t4之間發(fā)送FLIT到節(jié)點(diǎn)B(箭頭802)。節(jié)點(diǎn)B可以從&到t5處理非快速管線中的FLIT (箭頭808)。因而,從&到七5可以得到信用往返延遲(TCEN)。
[0048]當(dāng)使用EVCllO時(shí),緩沖器可用性的傳送可以跨越若干跳來(lái)完成,以確保在下游EVC匯節(jié)點(diǎn)106處的自由緩沖器。緩沖器可用性的多跳傳送可能導(dǎo)致較長(zhǎng)的緩沖周轉(zhuǎn)時(shí)間,對(duì)通過(guò)量有不良影響。圖9以時(shí)間線示出EVCllO基于信用的緩沖器管理系統(tǒng)900的一個(gè)實(shí)施例。在時(shí)間h,當(dāng)節(jié)點(diǎn)D發(fā)送FLIT到下一個(gè)節(jié)點(diǎn)(箭頭902)時(shí),節(jié)點(diǎn)D可以在^和t2之間發(fā)送信用到節(jié)點(diǎn)A(箭頭904)。節(jié)點(diǎn)A可以在t2和t3之間處理信用(箭頭906)。節(jié)點(diǎn)A可以發(fā)送信用到先前節(jié)點(diǎn)(箭頭904)同時(shí)在t3和t4之間發(fā)送FLIT到節(jié)點(diǎn)B (箭頭902)。節(jié)點(diǎn)B可以從t4到t5把FLIT轉(zhuǎn)發(fā)到作為部分快速管線的輸出鏈路(箭頭908)。節(jié)點(diǎn)B可以在t5和t6之間發(fā)送FLIT到節(jié)點(diǎn)C (箭頭902)。節(jié)點(diǎn)C可以從t6到t7把FLIT轉(zhuǎn)發(fā)到作為部分快速管線的輸出鏈路(箭頭908)。節(jié)點(diǎn)C可以在t7和t8之間發(fā)送FLIT到節(jié)點(diǎn)D(箭頭902)。節(jié)點(diǎn)C可以從^到^處理非快速管線中的FLIT(箭頭910)。因而,從^到^可以得到信用往返延遲(TCKE)。
[0049]緩沖器管理系統(tǒng)可以靜態(tài)地組織緩沖器。圖10以框圖示出靜態(tài)緩沖器管理系統(tǒng)1000的緩沖器計(jì)數(shù)的一個(gè)實(shí)施例。緩沖器的靜態(tài)數(shù)量可以被分派給每個(gè)虛擬通道,被保留用于到達(dá)每個(gè)虛擬通道的FLIT。NVC緩沖器集1002可以被保留用于每個(gè)NVC108并且EVC緩沖器集1004可以被保留用于每個(gè)EVC110。當(dāng)設(shè)定該集中緩沖器的數(shù)量時(shí),每個(gè)EVC緩沖器集1004的大小可以把Tcke考慮在內(nèi)。
[0050]靜態(tài)緩沖器管理可能在對(duì)立業(yè)務(wù)的情況下在分配緩沖器方面效率低。例如,如果大多數(shù)網(wǎng)絡(luò)業(yè)務(wù)只有近鄰,則EVCl 10也許從未被使用,并且靜態(tài)分派給EVCl 10的緩沖器空間也許變得閑置。代替把緩沖器靜態(tài)地分區(qū)成VC (諸如NVC108和EVC110)的是,緩沖器可以按需被分派給VC。當(dāng)緩沖器變得可用時(shí),向上游節(jié)點(diǎn)信號(hào)通知EVC的存在的高水位線(high-water mark)方案可以?xún)?yōu)先考慮短跳EVC402或NVC108而不是長(zhǎng)跳。例如,如果兩跳EVC402要求至少八個(gè)緩沖器可用,則當(dāng)在下游路由器處的緩沖器計(jì)數(shù)等于八時(shí),下游路由器可以給上游路由器信號(hào)通知離開(kāi)兩個(gè)節(jié)點(diǎn)(two nodes away)的EVC402可用??梢栽试S緩沖器自由浮動(dòng)跨越VC,以致VC可能只有一個(gè)FLIT。
[0051]圖11以框圖示出動(dòng)態(tài)`共享的緩沖器管理系統(tǒng)1100的緩沖器計(jì)數(shù)的一個(gè)實(shí)施例。緩沖器計(jì)數(shù)1102可以表示可用的或自由的緩沖器的數(shù)量。如果緩沖器計(jì)數(shù)1102指示可用緩沖器的數(shù)量等于NVC閾值數(shù)量1104、或者為操作NVC108所需的緩沖器數(shù)量,則節(jié)點(diǎn)可以使用NVC108。如果緩沖器計(jì)數(shù)1102指示可用緩沖器的數(shù)量等于EVC閾值數(shù)量1106、或者為操作EVC402所需的緩沖器數(shù)量,則節(jié)點(diǎn)可以使用EVC402。EVC閾值1106可以與EVC路徑402的長(zhǎng)度有關(guān)。
[0052]為了實(shí)現(xiàn)靈活的緩沖,下游路由器可能必須向上游路由器發(fā)送適當(dāng)?shù)男盘?hào)。圖12以框圖示出可獲得的進(jìn)出給定節(jié)點(diǎn)的路徑1200的組合的一個(gè)實(shí)施例。雖然示出八節(jié)點(diǎn)網(wǎng)絡(luò),但是可以使用其他大小的網(wǎng)絡(luò)。
[0053]VC可以被靜態(tài)地分區(qū)。圖13以框圖示出虛擬通道的靜態(tài)分區(qū)1300的一個(gè)實(shí)施例。VC的總數(shù)1302或分組狀態(tài)跟蹤器(packet state tracker)可以在NVC108和不同長(zhǎng)度的EVC402兩者之間進(jìn)行劃分。這種劃分可以在設(shè)計(jì)時(shí)完成。對(duì)于具有EVC長(zhǎng)度高達(dá)Imax的能力的部件網(wǎng)絡(luò)而言,總計(jì)(kX Imax)的虛擬通道集可以被供應(yīng)。部件網(wǎng)絡(luò)可以給NVC108分派h個(gè)虛擬通道1302,給長(zhǎng)度為二的EVC402分派k2個(gè)虛擬通道,給長(zhǎng)度為三的EVC402分派k3個(gè)虛擬通道,諸如此類(lèi)。
[0054]圖14示出用于充當(dāng)分組交換網(wǎng)絡(luò)中的路由器節(jié)點(diǎn)104的計(jì)算系統(tǒng)1400的可能配置。路由器節(jié)點(diǎn)104可以包括通過(guò)總線1440連接的控制器/處理器1410、存儲(chǔ)器1420、網(wǎng)絡(luò)接口 1430。路由器節(jié)點(diǎn)104可以實(shí)施任何操作系統(tǒng),例如諸如Microsoft Windows.、UNIX或LINUX??蛻?hù)端和服務(wù)器軟件可以以任何編程語(yǔ)言來(lái)編寫(xiě),例如諸如C、C++、Java或VisualBasic。服務(wù)器軟件可以運(yùn)行在應(yīng)用程序框架上,例如諸如Java?服務(wù)器或.Ν1Π—?框架。
[0055]控制器/處理器1410可以是為本領(lǐng)域技術(shù)人員所已知的任何編程處理器。然而,決策支持方法也可以在通用或?qū)S糜?jì)算機(jī)、編程微處理器或微控制器、外圍集成電路元件、專(zhuān)用集成電路或其他集成電路、硬件/電子邏輯電路,諸如分立元件電路、可編程邏輯器件(諸如可編程邏輯陣列、現(xiàn)場(chǎng)可編程門(mén)陣列等等)上實(shí)施。一般而言,能夠?qū)嵤┤绫疚乃枋龅腅VC路由方法的任一裝置或多個(gè)裝置可以用來(lái)實(shí)施本發(fā)明的決策支持系統(tǒng)功能。
[0056]存儲(chǔ)器1420可以包括易失性和非易失性數(shù)據(jù)儲(chǔ)存器,包括一個(gè)或多個(gè)電、磁或光存儲(chǔ)器,諸如隨機(jī)存取存儲(chǔ)器(RAM)、高速緩存、硬驅(qū)或其他存儲(chǔ)器裝置。存儲(chǔ)器可以具有高速緩存以加速對(duì)特定數(shù)據(jù)的訪問(wèn)。存儲(chǔ)器1420也可以連接到致密盤(pán)只讀驅(qū)動(dòng)器(CD-ROM)、數(shù)字多功能光盤(pán)只讀存儲(chǔ)器(DVD-ROM)、DVD讀寫(xiě)輸入、磁帶驅(qū)動(dòng)或者允許直接加載數(shù)據(jù)到系統(tǒng)中的其他可移動(dòng)存儲(chǔ)器裝置。
[0057]網(wǎng)絡(luò)連接接口 1430可以連接到通信裝置、調(diào)制解調(diào)器、網(wǎng)絡(luò)接口卡、收發(fā)器或者任何其他能夠從網(wǎng)絡(luò)發(fā)射和接收信號(hào)的裝置。網(wǎng)絡(luò)連接接口 1430可以用來(lái)把路由器節(jié)點(diǎn)104連接到網(wǎng)絡(luò)。路由器節(jié)點(diǎn)104的部件可以例如經(jīng)由電總線1440連接或者被以無(wú)線方式鏈接。
[0058]客戶(hù)端軟件和數(shù)據(jù)庫(kù)可以被控制器/處理器1410從存儲(chǔ)器1420進(jìn)行訪問(wèn),并且例如可以包括數(shù)據(jù)庫(kù)應(yīng)用、字處理應(yīng)用以及體現(xiàn)本發(fā)明的決策支持功能的部件。路由器節(jié)點(diǎn)104可以實(shí)施任何操作系統(tǒng),例如諸如Microsoft Windows?、UNIX或LINUX??蛻?hù)端和服務(wù)器軟件可以以任何編程語(yǔ)言來(lái)編寫(xiě),例如諸如C、C++、Java或Visual Basic。盡管不要求,但是在諸如程序模塊之類(lèi)的計(jì)算機(jī)可執(zhí)行指令的一般背景下,至少部分地描述本發(fā)明,所述計(jì)算機(jī)可執(zhí)行指令由諸如通用計(jì)算機(jī)之類(lèi)的電子裝置執(zhí)行。一般而言,程序模塊包括執(zhí)行特定任務(wù)或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類(lèi)型的例程程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)等等。此外,本領(lǐng)域的技術(shù)人員將明白,本發(fā)明的其他實(shí)施例可以在具有許多類(lèi)型的計(jì)算機(jī)系統(tǒng)配置的網(wǎng)絡(luò)計(jì)算環(huán)境中加以實(shí)施,包括個(gè)人計(jì)算機(jī)、手持式裝置、多處理器系統(tǒng)、基于微處理器的或可編程消費(fèi)者電子器件、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、等等。
[0059]盡管不要求,但是在諸如程序模塊之類(lèi)的計(jì)算機(jī)可執(zhí)行指令的一般背景下至少部分地描述本發(fā)明,所述計(jì)算機(jī)可執(zhí)行指令由諸如通用計(jì)算機(jī)之類(lèi)的電子裝置執(zhí)行。一般而言,程序模塊包括執(zhí)行特定任務(wù)或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類(lèi)型的例程程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)等等。此外,本領(lǐng)域的技術(shù)人員將明白,本發(fā)明的其他實(shí)施例可以在具有許多類(lèi)型的計(jì)算機(jī)系統(tǒng)配置的網(wǎng)絡(luò)計(jì)算環(huán)境中加以實(shí)施,包括個(gè)人計(jì)算機(jī)、手持式裝置、多處理器系統(tǒng)、基于微處理器的或可編程消費(fèi)者電子器件、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、等等。
[0060]實(shí)施例也可以在分布式計(jì)算環(huán)境中加以實(shí)施,其中任務(wù)由通過(guò)通信網(wǎng)絡(luò)(由硬布線鏈路、無(wú)線鏈路或由其組合)鏈接的本地和遠(yuǎn)程處理裝置執(zhí)行。
[0061]本發(fā)明范圍內(nèi)的實(shí)施例也可以包括用于承載計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)或者在其上存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀介質(zhì)。這樣的計(jì)算機(jī)可讀介質(zhì)可以是任何可用介質(zhì),所述介質(zhì)可以由通用或?qū)S糜?jì)算機(jī)訪問(wèn)。作為示例而非限制,這樣的計(jì)算機(jī)可讀介質(zhì)可以包括RAM、ROM、EEPROM、CD-ROM或其他光盤(pán)儲(chǔ)存器、磁盤(pán)儲(chǔ)存器或其他磁儲(chǔ)存器裝置、或者任何其他可以用來(lái)以計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式承載或存儲(chǔ)期望的程序代碼構(gòu)件的介質(zhì)。當(dāng)信息通過(guò)網(wǎng)絡(luò)或另一通信連接(硬布線的、無(wú)線的或其組合)而被轉(zhuǎn)移或提供到計(jì)算機(jī)時(shí),計(jì)算機(jī)把該連接恰當(dāng)?shù)匾暈橛?jì)算機(jī)可讀介質(zhì)。因而,任何這樣的連接被恰當(dāng)?shù)胤Q(chēng)作計(jì)算機(jī)可讀介質(zhì)。上面的組合也應(yīng)當(dāng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
[0062]計(jì)算機(jī)可執(zhí)行指令包括例如使通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)或?qū)S锰幚硌b置執(zhí)行特定功能或功能組的指令和數(shù)據(jù)。計(jì)算機(jī)可執(zhí)行指令也包括由獨(dú)立或網(wǎng)絡(luò)環(huán)境中的計(jì)算機(jī)執(zhí)行的程序模塊。一般而言,程序模塊包括執(zhí)行特定任務(wù)或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類(lèi)型的例程、程序、對(duì)象、組件和數(shù)據(jù)結(jié)構(gòu)等等。計(jì)算機(jī)可執(zhí)行指令、相關(guān)數(shù)據(jù)結(jié)構(gòu)以及程序模塊代表用于執(zhí)行本文公開(kāi)的方法的步驟的程序代碼構(gòu)件的示例。這樣的可執(zhí)行指令或相關(guān)數(shù)據(jù)結(jié)構(gòu)的特定序列代表用于實(shí)施在此類(lèi)步驟中描述的功能的對(duì)應(yīng)動(dòng)作的示例。
[0063]盡管上面的描述可以包含特定細(xì)節(jié),但是它們不應(yīng)當(dāng)被解釋為以任何方式限制本發(fā)明。本發(fā)明的所描述實(shí)施例的其他配置是本發(fā)明的范圍的一部分。例如,本發(fā)明的原理可以應(yīng)用于每個(gè)單獨(dú)用戶(hù),其中每個(gè)用戶(hù)可以單獨(dú)部署這樣的系統(tǒng)。即使大量可能應(yīng)用中的任何一個(gè)不需要本文描述的功能,這也使得每個(gè)用戶(hù)能夠利用本發(fā)明的益處。電子裝置的多個(gè)實(shí)例中的每一個(gè)可以以各種可能的方式處理內(nèi)容。不必需要所有終端用戶(hù)都使用一個(gè)系統(tǒng)。因此,所附的權(quán)利要求書(shū)及其法律等效物應(yīng)當(dāng)唯一地限定本發(fā)明,而不是由所給出的任何特定實(shí)例來(lái)限定本發(fā)明。
【權(quán)利要求】
1.一種在片上網(wǎng)絡(luò)中提供快速虛擬通道的方法,所述方法包括: 經(jīng)由快速虛擬通道從源節(jié)點(diǎn)接收快速流控制單元;以及 基于資源缺乏計(jì)數(shù)器的值與資源缺乏閾值的比較,把快速流控制單元直接轉(zhuǎn)發(fā)到輸出鏈路以發(fā)送到匯節(jié)點(diǎn); 其中,每次去往作為快速流控制單元的相同輸出端口的正常流控制單元被緩沖時(shí),將更新所述資源缺乏計(jì)數(shù)器,其中,基于確定快速流控制單元正在快速虛擬通道上運(yùn)行,相對(duì)于其它非快速流控制單元,快速流控制單元被給予優(yōu)先選擇。
2.如權(quán)利要求1所述的方法,進(jìn)一步包括: 跟蹤從快速虛擬通道接收的快速流控制單元; 如果達(dá)到資源缺乏閾值,則進(jìn)入資源缺乏補(bǔ)救模式;以及 把正常流控制單元傳輸?shù)较噜徆?jié)點(diǎn)。
3.如權(quán)利要求1所述的方法,其中快速虛擬通道具有靜態(tài)長(zhǎng)度。
4.如權(quán)利要求1所述的方法,其中快速虛擬通道具有動(dòng)態(tài)長(zhǎng)度。
5.如權(quán)利要求1所述的方法,其中快速虛擬通道是在最優(yōu)快速虛擬通道不能用的情況下供替換的快速虛擬通道。
6.如權(quán)利要求1所述的方法,其中快速虛擬通道具有靜態(tài)分派的緩沖器。
7.如權(quán)利要求1所述的方法,其中快速虛擬通道具有動(dòng)態(tài)分派的緩沖器。
8.一種在片上網(wǎng)絡(luò)中提供快速虛擬通道的設(shè)備,所述設(shè)備包括: 經(jīng)由快速虛擬通道從源節(jié)點(diǎn)接收快速流控制單元的輸入鏈路; 基于資源缺乏計(jì)數(shù)器的值與資源缺乏閾值的比較,把快速流控制單元發(fā)送到匯節(jié)點(diǎn)的輸出鏈路,其中,每次去往作為快速流控制單元的相同輸出端口的正常流控制單元被緩沖時(shí),將更新所述資源缺乏計(jì)數(shù)器;以及 將快速流控制單元直接轉(zhuǎn)發(fā)到輸出鏈路的交換機(jī)分配器,其中,基于確定快速流控制單元正在快速虛擬通道上運(yùn)行,相對(duì)于其它非快速流控制單元,快速流控制單元被給予優(yōu)先選擇。
9.如權(quán)利要求8所述的設(shè)備,進(jìn)一步包括確定是否達(dá)到資源缺乏閾值的資源缺乏計(jì)數(shù)器,使得正常流控制單元能夠到達(dá)相鄰節(jié)點(diǎn)。
10.如權(quán)利要求8所述的設(shè)備,其中快速虛擬通道具有靜態(tài)長(zhǎng)度。
11.如權(quán)利要求8所述的設(shè)備,其中快速虛擬通道具有動(dòng)態(tài)長(zhǎng)度。
12.如權(quán)利要求8所述的設(shè)備,其中快速虛擬通道是在最優(yōu)快速虛擬通道不能用的情況下供替換的快速虛擬通道。
13.如權(quán)利要求8所述的設(shè)備,其中快速虛擬通道具有靜態(tài)分派的緩沖器。
14.如權(quán)利要求8所述的設(shè)備,其中快速虛擬通道具有動(dòng)態(tài)分派的緩沖器。
15.如權(quán)利要求8所述的設(shè)備,其中單芯片多處理器包括路由器節(jié)點(diǎn)。
16.一種包含代碼的機(jī)器可讀介質(zhì),當(dāng)所述代碼被執(zhí)行時(shí),使得機(jī)器執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的方法。
17.一種設(shè)備,包括執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的方法的部件。
【文檔編號(hào)】H04L29/08GK103501285SQ201310460325
【公開(kāi)日】2014年1月8日 申請(qǐng)日期:2009年3月31日 優(yōu)先權(quán)日:2008年4月2日
【發(fā)明者】A.庫(kù)馬, P.P.孔杜 申請(qǐng)人:英特爾公司
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1