深度 | 從0到3.0，揭秘阿里云洛神云網(wǎng)絡(luò)的進(jìn)化之路（上）

近日，2021年度浙江省科學(xué)技術(shù)獎(jiǎng)揭曉，由阿里云牽頭聯(lián)合浙江大學(xué)攻堅(jiān)的超大規(guī)模高性能云計(jì)算網(wǎng)絡(luò)系統(tǒng)（阿里云洛神系統(tǒng)）榮獲浙江省技術(shù)發(fā)明一等獎(jiǎng)。

由多名院士及資深專家組成的專家評(píng)委會(huì)對(duì)阿里云洛神給予了極高的評(píng)價(jià)：

“該項(xiàng)目技術(shù)復(fù)雜，研制難度大，在虛擬網(wǎng)絡(luò)高速轉(zhuǎn)發(fā)、網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)多尺度觀測(cè)、大規(guī)模網(wǎng)絡(luò)高性能調(diào)控等方面具有原始性創(chuàng)新，達(dá)到了國際領(lǐng)先水平，是我國在云計(jì)算網(wǎng)絡(luò)領(lǐng)域趕超世界先進(jìn)水平、構(gòu)建自主生態(tài)的成功實(shí)踐和重大成果?！?/p>

從一開始的一片空白到現(xiàn)在的完整體系，洛神云網(wǎng)絡(luò)中間經(jīng)歷了三次重大技術(shù)升級(jí)。本文將揭秘阿里云洛神云網(wǎng)絡(luò)的起源以及如何歷經(jīng)三代演進(jìn)到今。

01

緣起飛天

2010年，阿里云用服務(wù)器搭載軟件的方式，開發(fā)出第一款云網(wǎng)絡(luò)產(chǎn)品——負(fù)載均衡SLB（Server Load Balancer），對(duì)網(wǎng)絡(luò)流量（網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量）進(jìn)行均衡分發(fā)。由此拉開了云網(wǎng)絡(luò)高速發(fā)展的序幕。

跟“飛天”操作系統(tǒng)一樣，云網(wǎng)絡(luò)也有一個(gè)屬于自己的取自中華傳統(tǒng)神話的名字“洛神”，洛神是掌管河水之神，象征著連接、匯聚和流動(dòng)，這也契合了云網(wǎng)絡(luò)連接數(shù)字世界的定位。

洛神云網(wǎng)絡(luò)發(fā)展到現(xiàn)在經(jīng)歷三個(gè)重要的階段：

·2010年的洛神1.0，即云數(shù)據(jù)中心網(wǎng)絡(luò)；

·2016到2020年的洛神2.0，是云廣域網(wǎng)絡(luò)；

·再到2020年開始的洛神3.0，是應(yīng)用-云-邊-端一體的智能網(wǎng)絡(luò)。

在不同的階段，洛神云網(wǎng)絡(luò)給用戶提供了不同的產(chǎn)品能力，滿足用戶的網(wǎng)絡(luò)需求。

02

從零起步

自研云計(jì)算網(wǎng)絡(luò)，說起來容易，但是做起來無比艱難。區(qū)別于傳統(tǒng)物理網(wǎng)絡(luò)設(shè)備，云計(jì)算網(wǎng)絡(luò)天然有三大特性：多租戶、大規(guī)模、高彈性。

·多租戶：云計(jì)算網(wǎng)絡(luò)天然是一張多租戶的網(wǎng)絡(luò)，需要讓不同的租戶的應(yīng)用能同時(shí)運(yùn)行在這張網(wǎng)絡(luò)上，并且不用租戶之間的網(wǎng)絡(luò)能互相隔離。

·大規(guī)模：云計(jì)算的本質(zhì)就是將資源通過虛擬化技術(shù)進(jìn)行池化之后以更高效的方式提供給用戶，云計(jì)算的規(guī)模越大其池化效果越好，因此，云計(jì)算網(wǎng)絡(luò)在管理和控制技術(shù)上需要突破傳統(tǒng)網(wǎng)管技術(shù)至少一個(gè)數(shù)量級(jí)才有可能達(dá)到這種規(guī)模

·高彈性：云計(jì)算網(wǎng)絡(luò)需要能為用戶提供按需使用的彈性調(diào)度能力，針對(duì)用戶的高帶寬高吞吐的場(chǎng)景還需要提供超高性能的網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力。

針對(duì)這三個(gè)特性，2009年的阿里云面臨的是三個(gè)空白：

·學(xué)術(shù)方面：以Jennifer Rexford為代表的國際網(wǎng)絡(luò)領(lǐng)域?qū)W者從2004年開始探索如何讓網(wǎng)絡(luò)的管理和控制如何更加高效靈活。

其中最有代表性的是04年發(fā)表在SIGCOMM會(huì)議上的“Network-Wide Decision Making:Toward A Wafer-Thin Control Plane”，首次明確提出了轉(zhuǎn)發(fā)和控制分離的理念，這為后面Software Defined Networking的誕生奠定了理論基礎(chǔ)。

回到國內(nèi)，2009年國內(nèi)在學(xué)術(shù)上對(duì)SDN領(lǐng)域產(chǎn)出稀少，學(xué)術(shù)上的研究儲(chǔ)備基本空白。

·技術(shù)方面：VXLAN以及NVGRE等用于多租戶的云計(jì)算網(wǎng)絡(luò)報(bào)文格式還僅僅是草案；

以VMWare為代表商業(yè)虛擬化軟件公司有一套私有的虛擬網(wǎng)絡(luò)解決方案，并且已經(jīng)實(shí)現(xiàn)了多租戶虛擬化網(wǎng)絡(luò)；

OpenStack,OpenFlow等開源技術(shù)方案也尚未出現(xiàn)，對(duì)于阿里云來說當(dāng)時(shí)幾乎沒有可以借鑒的技術(shù)來實(shí)現(xiàn)一套多租戶高彈性的云計(jì)算網(wǎng)絡(luò)。

·產(chǎn)品方面：以亞馬遜AWS以及微軟Azure為代表的云計(jì)算廠商已經(jīng)在該領(lǐng)域深耕多年，AWS推出的VPC(Virtual Private Cloud)幾乎成了云計(jì)算網(wǎng)絡(luò)中數(shù)據(jù)中心網(wǎng)絡(luò)上云之后的標(biāo)準(zhǔn)模版。

隨后幾乎所有的云計(jì)算公司在網(wǎng)絡(luò)領(lǐng)域都會(huì)以VPC這個(gè)產(chǎn)品為基礎(chǔ)打造自己的云計(jì)算網(wǎng)絡(luò)產(chǎn)品體系。

阿里云作為后來者面臨從零開始搭建自己的產(chǎn)品體系，并且不得不考慮被海外公司培養(yǎng)好的用戶習(xí)慣，這對(duì)剛起步的阿里云云網(wǎng)絡(luò)產(chǎn)品有很高的要求。

如果不解決云網(wǎng)絡(luò)的這些問題，阿里云在最重要的IAAS層就不完整，飛天也就缺少了它的一個(gè)關(guān)鍵子系統(tǒng)，如何破局是阿里云云網(wǎng)絡(luò)團(tuán)隊(duì)需要面臨的第一個(gè)挑戰(zhàn)。

03

初見雛形

為了能讓阿里云的業(yè)務(wù)跑起來，阿里云開始了洛神1.0的自研，并且將目標(biāo)定位為多租戶的云數(shù)據(jù)中心網(wǎng)絡(luò)。洛神1.0的核心由兩部分組成：基于X86實(shí)現(xiàn)的虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層和第一代阿里云SDN控制器。

基于X86的虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層

云計(jì)算通過將數(shù)據(jù)中心虛擬化給客戶帶來極大的便利和應(yīng)用價(jià)值的同時(shí)也讓數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)例密度提升了數(shù)十倍，交換機(jī)的ARP表、MAC表的容量相繼出現(xiàn)了瓶頸，傳統(tǒng)的物理設(shè)備無法支撐容納這么多的虛擬機(jī)IP。

針對(duì)這些問題，洛神1.0研發(fā)了一層基于X86的虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層。其根據(jù)部署所處的位置，可以分為兩個(gè)關(guān)鍵的組件：部署在計(jì)算節(jié)點(diǎn)端側(cè)的虛擬交換機(jī)vSwitch和部署在數(shù)據(jù)中心出入口的虛擬網(wǎng)關(guān)。

通過將業(yè)務(wù)邏輯從內(nèi)核態(tài)遷移到用戶空間來減少內(nèi)核協(xié)議棧損耗，洛神1.0的虛擬交換機(jī)性能達(dá)到百萬級(jí)PPS，萬兆帶寬，虛擬網(wǎng)關(guān)單機(jī)性能達(dá)到千萬級(jí)PPS，百GB帶寬，能力足以支撐當(dāng)時(shí)的大部分主流應(yīng)用，比如web網(wǎng)站、政務(wù)系統(tǒng)、在線游戲等等。

第一代SDN控制器

洛神的第一代SDN控制器嚴(yán)格遵循了學(xué)術(shù)界將data plane和control plane分離的模式，由一個(gè)純軟件實(shí)現(xiàn)的控制器(Controller)去控制數(shù)據(jù)面的行為。整個(gè)控制器由兩部分組成，Northbound(北向)負(fù)責(zé)管理租戶的實(shí)例，Southbound(南向)負(fù)責(zé)管理虛擬網(wǎng)絡(luò)設(shè)備。

通過這套基于軟件實(shí)現(xiàn)的網(wǎng)絡(luò)控制器，洛神里面所有網(wǎng)絡(luò)配置都統(tǒng)一由它管理，轉(zhuǎn)發(fā)設(shè)備只需要專注于按照規(guī)則和配置去處理報(bào)文。

這種設(shè)計(jì)不僅極大地簡(jiǎn)化了轉(zhuǎn)發(fā)層的設(shè)計(jì)復(fù)雜度，讓轉(zhuǎn)發(fā)能專注提高性能，同時(shí)也讓洛神能更靈活得對(duì)外提供新的產(chǎn)品和功能，也奠定了洛神的整體技術(shù)分層。

04

性能飛躍

洛神1.0伴隨著國內(nèi)云計(jì)算的飛速發(fā)展，時(shí)間來到2016年，阿里云的業(yè)務(wù)已經(jīng)不僅限于國內(nèi)幾大地域，海外客戶的快速增長要求阿里云需要盡快覆蓋全球更多地域，而網(wǎng)絡(luò)則是阿里云拓展邊界的先鋒，洛神需要從一張張數(shù)據(jù)中心網(wǎng)絡(luò)走向全球互聯(lián)的廣域網(wǎng)。

另一個(gè)決定了洛神發(fā)展趨勢(shì)的是云上出現(xiàn)了超大規(guī)模的企業(yè)客戶，最典型的就是阿里巴巴自身的核心業(yè)務(wù)全棧上云。

在洛神1.0時(shí)代一個(gè)VPC內(nèi)通常容納幾百到幾萬臺(tái)虛擬機(jī)，很少客戶擁有十萬級(jí)以上規(guī)模的虛擬機(jī)。但是阿里巴巴核心業(yè)務(wù)上云則直接要求單VPC百萬級(jí)虛擬機(jī)，并且Tb級(jí)的帶寬要求也遠(yuǎn)超之前的中小客戶，這些技術(shù)指標(biāo)是第一代洛神無法提供的。

面對(duì)上面的兩個(gè)變化，阿里云開始了洛神2.0的研發(fā)，也是通過這一代洛神實(shí)現(xiàn)了技術(shù)指標(biāo)的飛躍，在關(guān)鍵性能及規(guī)模指標(biāo)上趕上了國際友商。相比1.0，洛神2.0有三大技術(shù)突破:

·在數(shù)據(jù)面，自研Sailfish：可編程高性能虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層，通過網(wǎng)絡(luò)加速芯片以及可編程交換機(jī)實(shí)現(xiàn)了Tbps的轉(zhuǎn)發(fā)能力，從而突破了性能瓶頸。

·在數(shù)據(jù)面，自研Cyberstar：彈性網(wǎng)元平臺(tái)，基于虛擬機(jī)構(gòu)建了一套NFV轉(zhuǎn)發(fā)平臺(tái)，從而實(shí)現(xiàn)了云網(wǎng)絡(luò)網(wǎng)元技術(shù)的NFV化。

·在管控面，自研第二代阿里云SDN控制器：實(shí)現(xiàn)了十萬級(jí)設(shè)備的秒級(jí)配置下發(fā)，單VPC支持百萬級(jí)虛擬機(jī)，從而突破了規(guī)模瓶頸。

Sailfish：可編程高性能虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)層

網(wǎng)絡(luò)設(shè)備的技術(shù)演進(jìn)始終呈現(xiàn)螺旋上升的發(fā)展態(tài)勢(shì)，圍繞著靈活性和高性能，軟件和硬件在相互融合、相互促進(jìn)。

從最開始的專用硬件轉(zhuǎn)發(fā)設(shè)備，到軟件轉(zhuǎn)發(fā)+通用x86設(shè)備，再到目前硬件卸載的軟硬一體化轉(zhuǎn)發(fā)設(shè)備以及大行其道的可編程轉(zhuǎn)發(fā)設(shè)備。

靈活性和高性能就像一只無形的手，引導(dǎo)著技術(shù)的持續(xù)發(fā)展。而在這方面，云計(jì)算服務(wù)商的驅(qū)動(dòng)力更大，促使云網(wǎng)絡(luò)的研發(fā)走在了業(yè)界的前面。

為了能在進(jìn)一步提升性能的同時(shí)保留軟件的靈活性，洛神2.0通過軟硬件結(jié)合的技術(shù)自研了一套可編程高性能轉(zhuǎn)發(fā)層：Sailfish，其主要部件有負(fù)責(zé)大流量轉(zhuǎn)發(fā)的P4可編程交換芯片，負(fù)責(zé)大表項(xiàng)轉(zhuǎn)發(fā)的自研網(wǎng)卡芯片，負(fù)責(zé)業(yè)務(wù)編排和智能調(diào)度的CPU模塊。

Sailish單機(jī)可以支持Tb級(jí)，不僅為大客戶上云解決了網(wǎng)絡(luò)連通性的問題，更解決了超大帶寬挑戰(zhàn)下的規(guī)模、性能、效率等一系列問題。