騰訊云CHDFS安全便捷的大數(shù)據(jù)訪問體驗(yàn)

一、背景

云HDFS（Cloud HDFS，CHDFS）是騰訊云提供的支持標(biāo)準(zhǔn)HDFS訪問協(xié)議、卓越性能、分層命名空間的分布式文件系統(tǒng)。

CHDFS主要解決大數(shù)據(jù)場(chǎng)景下海量數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析，能夠?yàn)榇髷?shù)據(jù)用戶在無需更改現(xiàn)有代碼的基礎(chǔ)上，將本地自建的HDFS文件系統(tǒng)無縫遷移至具備高可用性、高擴(kuò)展性、低成本、可靠和安全的CHDFS上。以此實(shí)現(xiàn)存算分離，實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)可動(dòng)態(tài)的擴(kuò)縮容。

因此CHDFS主要的用戶群體是大數(shù)據(jù)體系的研發(fā)人員，為了滿足用戶在傳統(tǒng)的Hadoop環(huán)境下的使用習(xí)慣，同時(shí)滿足用戶的權(quán)限需求，CHDFS通過以下措施，提供了安全便捷的大數(shù)據(jù)訪問體驗(yàn)。

二、來源管控

存算分離帶來了存儲(chǔ)的云端托管，使計(jì)算節(jié)點(diǎn)不再依賴本地的存儲(chǔ)，但同時(shí)也帶來了存儲(chǔ)時(shí)延的增加，因此存算分離更適合于同地域同機(jī)房的訪問。CHDFS在設(shè)計(jì)之初，就假定用戶的大數(shù)據(jù)集群運(yùn)行在騰訊云的VPC網(wǎng)絡(luò)(包括CVM和黑石)。

因此用戶只用通過以下三步，即可限制來源:

1、新建權(quán)限組，并在權(quán)限組中指定VPC(必須本賬戶下的VPC)。

2、在權(quán)限組里面添加規(guī)則，授予VPC網(wǎng)段里的某一個(gè)子網(wǎng)段的只讀或者讀寫權(quán)限。同一個(gè)權(quán)限組中的多條規(guī)則，根據(jù)優(yōu)先級(jí)來確定權(quán)限。

3、在文件系統(tǒng)的掛載點(diǎn)中綁定權(quán)限組，一個(gè)文件系統(tǒng)可以綁定多個(gè)權(quán)限組，請(qǐng)求滿足任何一個(gè)權(quán)限組的規(guī)則，即獲得相應(yīng)的訪問權(quán)限。

三、POSIX權(quán)限與超級(jí)用戶

CHDFS兼容HDFS的POSIX的權(quán)限規(guī)則，該權(quán)限規(guī)則和Linux文件系統(tǒng)的的規(guī)則類似。即每一層的目錄和文件都有User，Group與Other權(quán)限(rwx)。整個(gè)權(quán)限規(guī)則可簡(jiǎn)述如下:

1、用戶執(zhí)行Hadoop命令行或者運(yùn)行某個(gè)大數(shù)據(jù)JOB

2、Job運(yùn)行中需要訪問CHDFS的某個(gè)路徑,即以執(zhí)行進(jìn)程的用戶身份與組身份訪問CHDFS的某個(gè)路徑。

3、CHDFS從根據(jù)訪問的路徑，從根目錄開始，層層檢查。如果用戶名匹配文件或者目錄的用戶名，則擁有文件和目錄的User權(quán)限，如果用戶組名匹配，則擁有Group權(quán)限，否則只擁有Other權(quán)限。

4、對(duì)于目錄要進(jìn)入下一層，必須擁有X權(quán)限，對(duì)于目錄下創(chuàng)建刪除文件必須擁有W權(quán)限，對(duì)于列出目錄下的文件，必須有R權(quán)限。

5、對(duì)于讀取文件，必須要有R權(quán)限，對(duì)于修改文件必須有W權(quán)限。

對(duì)于普通用戶，使用以上的權(quán)限規(guī)則進(jìn)行校驗(yàn)，但同時(shí)CHDFS也支持了超級(jí)用戶，超級(jí)用戶擁有對(duì)文件目錄的一切操作權(quán)限，適用于配置管理員。

POSIX的權(quán)限開關(guān)與超級(jí)用戶的設(shè)置，可以在新建文件系統(tǒng)時(shí)，或者在后續(xù)在文件系統(tǒng)屬性下編輯。

四、接入Hadoop Ranger權(quán)限體系

Hadoop Ranger作為一站式的權(quán)限體系解決方案，不僅支持存儲(chǔ)端權(quán)限管控，還支持YARN，Hive等組件權(quán)限管控。因此，為了維持客戶的使用習(xí)慣，我們提供了CHDFS的Ranger接入解決方案，方便客戶使用Ranger來進(jìn)行CHDFS的權(quán)限管控。CHDFS接入Ranger權(quán)限體系的架構(gòu)如下所示

我們?cè)赗anger Admin控制中心，注冊(cè)CHDFS服務(wù)的相關(guān)信息，并配置CHDFS的服務(wù)后，即可配置CHDFS的相關(guān)權(quán)限policy，如下所示。

CHDFS插件端開啟進(jìn)行ranger鑒權(quán)后，即會(huì)把所有訪問CHDFS的請(qǐng)求轉(zhuǎn)發(fā)給COS Ranger Service進(jìn)行鑒權(quán)，COS Ranger Service根據(jù)從Ranger Admin拉取policy，進(jìn)行權(quán)限檢查。有關(guān)CHDFS接入Ranger權(quán)限的配置說明，請(qǐng)參考CHDFS控制臺(tái)文檔。

五、總結(jié)

CHDFS作為云端托管的大數(shù)據(jù)存儲(chǔ)，從設(shè)計(jì)之初，就充分考慮了HDFS用戶的使用習(xí)慣。通過提供限制來源VPC、IP網(wǎng)段、POSIX鑒權(quán)、超級(jí)用戶等特性，并支持接入Hadoop Ranger權(quán)限體系。方便客戶的同時(shí)，也充分的保證了安全性與靈活性。