鯨品堂(táng)|淺談東數西算戰(zhàn)略中,發揮算網大腦作用的4個(gè)關鍵點

2023-10-17 220
東數西算的最新(xīn)進展


自“東數西算”工程概念首(shǒu)次提出一年多以來,以(yǐ)打通“數”動脈、織就全國算力一張網為目標,中國政府憑借強大的基礎設施建設能力,高效推進整體(tǐ)工程(chéng),取得(dé)了斐然成績:



算力基礎設施看,我國(guó)基礎設施算力規模達到(dào) 180EFlops,位居全球第二。(數據來自《中(zhōng)國綜合算力指數(2023 年)》)



從(cóng)網絡(luò)基礎設施看,圍繞算力樞紐節點(diǎn)的網絡(luò)設施加速構建,三大通信運營商紛紛加快了連接東數西算樞紐節點的(de)400G全光網絡(luò)建設。截至 2022 年底,國內各省份平均互聯網省際出口帶寬達到 51Tbps,年增速超 21%



平台能力(lì)建設(shè)看,算力協同能(néng)力逐漸增強,據統計目前全國已發布或建設 10 餘個算力調度平台(tái)。尤其是基礎電信運(yùn)營商均發布或(huò)建設了,實現算力+網絡+能力多要素的智慧算網大腦平台



應(yīng)用場景看,東數西算、東數西存、東數西渲、東(dōng)數西挖等應用場景逐(zhú)步落地,算力網絡基礎設施,正在以其獨特(tè)的(de)優勢,推進(jìn)著數字經濟(jì)的發展(zhǎn)。


東數西(xī)算的落地仍麵臨著4大挑戰(zhàn)


算力網絡基(jī)礎設施的硬件(jiàn)建設已取得(dé)了長足的進展,而如何用好這(zhè)張算力網絡(luò),服務好東數西算工程(chéng),讓更多企業享受到數字化基礎設施的紅利,仍麵臨著4個方麵的挑戰:


圖(tú)片關鍵詞



資源(yuán)運(yùn)營效率低,未能發揮西部算力(lì)規模優勢,降低算力(lì)使用成(chéng)本

國家(jiā)建設東(dōng)西部八大數據中心樞紐,從物理層麵提供了可調(diào)度的大批算力資源,但數據中心有固定地理位(wèi)置的不(bú)可移動性,其分散運營的現狀,無法形成規模效應。發揮多個數據中心的聯(lián)動和合力優勢,從(cóng)調度層麵(miàn)實現算(suàn)力真正的融通和流動,算力的全(quán)局最優供給和統籌管理能力仍有待(dài)提升。無法分散運營的現狀,無法形成規模效應。



東數西算應用門檻較高,對一般企業而言,參與難度大

場景及底層算力(lì)耦合度高(gāo),通用化平台能(néng)力不足,企業的場景應用需進行針對性適(shì)配改造,相關技術門檻高和係統改造代價大,導致能(néng)夠參與東數西算紅利的企業數量少。



場景不夠豐富,創新不足,算力需求未得到激發(fā)

目(mù)前主要集中在大規模、大任務計算類的場景,尤其(qí)是智慧算力為(wéi)主(zhǔ)的大(dà)型計算,如渲染、模型訓練等。但此(cǐ)類場景的算力需求在整體算力需求中的占比不高。對於大量小規模、通用(yòng)類(lèi)算力場(chǎng)景支撐少。



場景落地對網(wǎng)絡帶寬的要求高,“西算”對於(yú)“東數”企業的吸引力不足

當前東數西X場景主要采用大力(lì)飛磚(zhuān)的模式,利用超大的帶寬將數據傳輸到西部進行集中運算。帶寬要求高,傳輸成本也高,帶來的是成本價格高。尚不能對大顆粒(lì)算力任務進行拆分,高效識(shí)別哪(nǎ)些“東數”可傳輸到“西(xī)算”,從而減少(shǎo)傳(chuán)輸數據,降低數據傳輸成本。

                                              圖片(piàn)關鍵(jiàn)詞

把握(wò)4個(gè)關(guān)鍵點,以算網大腦賦能(néng)東數西(xī)算


應對挑戰,需要利用算網大腦構建算網(wǎng)編排調(diào)度(dù)“軟實力”來提升資源運營能力水平,通過關鍵4點的建設,進一步推進東數西算工(gōng)程的普惠化、規模化。



以資源的並網統(tǒng)籌管理為發(fā)力點,解決海量(liàng)、低成本算力資源供應問題


算力資源的體量,奠定了東(dōng)數西算是否(fǒu)有足夠的算力可調,而算(suàn)力資源的異構融通,則(zé)決定著東數西算的效果好壞。目(mù)前國家在東西部建設8個算力樞(shū)紐節點和10個數據中心集群,還(hái)有大大(dà)小小的(de)超算智算中心(xīn),解決了(le)算力資源體量(liàng)的問(wèn)題。但算力的建設主體有多方:城市政府、各大運營商、超算中心等科研(yán)機構、互聯網(wǎng)廠商等,這些算力架構存在差異(yì),各自獨立運營,需要通過以下能力(lì)打造實現並網和融通(tōng)調度:



不同層級的算力並網能力。運(yùn)營層並網,以轉售第三方算(suàn)力為主,通(tōng)過訂單轉(zhuǎn)發實現並網(wǎng);產品層並網,基於自有和外部算力自(zì)行(háng)定價,通過與第三方(fāng)平台對接實現並網;邏輯資源層並網,需提前預占資源,利用與雲平台開放的API服務對接實現並(bìng)網。物理資源層並網,利用(yòng)原生技術對物理資源進行直接管理,實現資源(yuán)及產品的自主運(yùn)營。



多類型算力的自動接入能力。針對不同算力類型、不同廠商的(de)算力管理平台,實現算(suàn)力的(de)自動化對接和納管,包括運營商和互聯網廠商的通用算力、各大主體大力建設的智算算力以及國家(jiā)和部分互聯網廠商參與建設的超算節點。



異構算(suàn)力的統一度量能力。針對不同類型的算力以統一的計(jì)算單位進行度(dù)量,以滿足客戶相同需求如何計算不同算力供應方應提供的算力(lì)數量(liàng)。



統一的資源模型(xíng)管理能力。提供統一的資源管(guǎn)理模型,實(shí)現(xiàn)對異構算力資源的統一管理和展示,為算力調度(dù)提供基礎。



以通用化調度框架能力為驅動點,驅動應(yīng)用探索東數西算帶來的業務紅利


東數西(xī)X,將東部的數據調度到西部算(suàn)力中進(jìn)行存儲、渲染、計算或者(zhě)訓練。從宏觀解決方案上分析,有兩種實現途徑。其一,應用自行進行數據的調度(dù)。例如:渲(xuàn)染類的應用,在西部租用算力資源(yuán),構建渲染服(fú)務能力,租(zū)用連接東西部的專(zhuān)屬網絡通道,將其在東部的數據(jù)傳遞西部進行(háng)渲染。其二,建設一個適用普遍應用(yòng)東數西X需求的(de)調(diào)度框架,提供數據便捷上(shàng)傳入口,幫助用戶實現東西部數據高速通道連接,讓用戶和應用“無(wú)憂西算”。


通用調度框架建設,核心點在於:


算力網絡(luò)基礎設施接入和納管能力。框架實現對西部(bù)海量異構資源、東(dōng)西部的核心(xīn)傳輸網絡資源、及東部分布式接入網絡(luò)資源這一基礎設施的(de)接入、納管(guǎn)和調度;



分布式的接(jiē)入能力(lì)。製(zhì)定分布式接入軟終端的統一協議,按需動態實現軟終端的(de)近源部署,讓應用可以隨地接入調度平(píng)台;提供不同形(xíng)式的算(suàn)力服務形態,如:裸算力、算力服務等,讓滿(mǎn)足普遍應用的算力(lì)使用需求;



需求解(jiě)構(gòu)和(hé)調(diào)度能力。調度框架可根據用戶的(de)需求,從(cóng)性能(néng)和安全隔離等緯度調度最(zuì)優傳輸通道;從西部海量算力池中,從性能、價格、使用率(lǜ)等緯度,調度最優(yōu)算力。



以代價感知的智能(néng)調(diào)度引擎為突破點,讓資源調(diào)度更加合理智能


通用化調度框架將用戶需求和算力搭(dā)建了橋梁具備了東數西算的基礎,還需一個智能引擎科學計算調度的成本和代價(jià),智能化(huà)決策哪些東部數據需要傳輸到西部計算、調度(dù)哪些(xiē)算力參與計算等,從而評估出同等(děng)收益下代(dài)價最(zuì)優的調度方案。



調度任(rèn)務按業務邏(luó)輯拆分。動態感知(zhī)東西部算力資源情況,按不同的計算任務(wù)類型進行子任務的拆分,例如科學計算(suàn)、算法訓練、視頻渲染、數(shù)據(jù)存儲等,形成多個聚類的調(diào)度(dù)子任務(wù);



多種評估維度的調度方案生成。以能耗、成本、性能、類型、安全等維度,組合出多(duō)種調(diào)度方案,並(bìng)對每(měi)一種調度方案的算力代價(jià)及配套的網絡傳輸代價進(jìn)行計算;



構建(jiàn)代價感知算法,從多種調度方案中決策出最優者。代價感知算法會對備(bèi)選的每一個調度方案,按算力(lì)成本、能耗、算力性能、網絡性能及安全性進行歸一化評(píng)估,能夠讓用戶的需求,得到最優(yōu)的資源匹配,滿足計算要求的情況下,獲得成本最優的調度方案。



以無(wú)損壓縮(suō)、數(shù)據切片、雲際計算等關鍵技術為(wéi)增長點,讓數據在東(dōng)西(xī)部間流轉更加高效、成本(běn)更低(dī)


海量(liàng)的算力資源及(jí)通用化調度框架是東數西X的基礎,但要讓東數西(xī)X能進一步提升效益,需要通過技術手段降低數據從(cóng)東部到西部(bù)流轉的效率。可利(lì)用數據要素,數據切片、在網(wǎng)計算等技術,讓數據傳輸更高效。



數據無損壓縮技術,讓數據傳輸占用更小的通道帶寬。數據(jù)壓縮,能夠在有限的網絡帶寬中,傳輸更多的用戶數(shù)據,無論是需要冷數據存儲的東數西存、大數(shù)據集訓練的東數西訓,還(hái)是大視頻渲染的東數西渲,都能大幅(fú)降低傳輸帶寬的負載,同時,無損壓縮確保在數據傳輸時(shí)不丟失任(rèn)何(hé)原始數據信息,算網大(dà)腦調度框架,輔以較(jiào)為成熟的Deflate等無損(sǔn)壓縮技術,能夠(gòu)有效地減小數據的大小,提高數據(jù)傳輸的效率。


數據切片多通(tōng)道(dào)技術,讓數(shù)據傳輸更高效和安(ān)全可靠。數據切片(piàn),可以將一條傳輸通道,劃分成(chéng)並行的(de)多條(tiáo)邏輯通道,針對用戶(hù)的算網資(zī)源需(xū)求從目標計算數據間的耦合度、數據運算時(shí)的串並(bìng)行關係、數(shù)據運行的時效要求等緯度進行分析,將數據進行切片拆分(fèn)成多個小的算網需求,調度到不同的通道中進行傳輸。例如:時效要求高、運行順序靠前的數據,可通(tōng)過獨享帶寬通道優(yōu)先傳輸。時效要求低(dī)、運輸順序靠後,數據切片利用共(gòng)享、低速(sù)率的通道進行傳輸。



雲際計算(suàn)技術,讓數據分布(bù)式調度計算資源進行運算。在數據切片技術的基礎(chǔ)上,使用雲(yún)際計算計算,根據切片的(de)計(jì)算要求和通算、智算、超算的能力特征,在全網範圍內調度適合的算力資源,將數據分布到不同的節點進行(háng)計算,實時進行計算過程的二次數據傳輸調度,最後進行結果整合匯總和(hé)回傳。


除此以外,還可(kě)以利用在網計(jì)算,存算分離等技術,進一(yī)步提升東數西算的(de)整體效率。


結語


2023中國移動全球(qiú)合作夥伴大會期間,国产亚洲熟妇在线视频科技正式發布(bù)智(zhì)算時代下(xià)的新一代算(suàn)網大腦BICN2.0。可以協助各大運營商,持續提升(shēng)和優化算網大腦(nǎo)在算網(wǎng)編排層的核(hé)心能力,不斷構建通用化的平台能力,降低場景應用門檻,降低使用成本。讓更多單位、企業、個人能夠使用到算力網絡這一基(jī)礎設(shè)施,享(xiǎng)受東數西算工程這一(yī)政策紅利。


官方微信公眾號

国产亚洲熟妇在线视频雲計算科技股份有限公司 版權所有(yǒu) 2003-2023

蘇ICP備10224443號(hào)-6       蘇公網安備 32011402011374號

国产亚洲熟妇在线视频-亚洲熟妇AV乱码在线观看-亚州国产AV一区二区三区伊在-中文字幕无码人妻少妇免费视频-欧美 日韩 人妻 高清 中文-熟妇人妻中文字幕无码老熟妇-丰满熟女人妻一区二区三-亚洲精品字幕