AWS發(fā)布了Kafka Connect托管集群服務(wù)MSK Connect。AWS適用于Apache Kafka的Amazon Managed Streaming(MSK),是一項(xiàng)完全托管的服務(wù),可以供用戶簡(jiǎn)單地運(yùn)行Apache Kafka以處理流媒體資料。AWS提到,在使用Apache Kafka時(shí),用戶可以從物聯(lián)網(wǎng)設(shè)備、數(shù)據(jù)庫更改事件,和網(wǎng)站點(diǎn)擊流量等來源,截取即時(shí)資料,并將其發(fā)送到數(shù)據(jù)庫和持久存儲(chǔ)。
而Kafka Connect是一個(gè)Apache Kafka開源組件,其提供一個(gè)框架以連接外部系統(tǒng),像是數(shù)據(jù)庫、鍵值存儲(chǔ)、搜索索引和文件系統(tǒng),但是手動(dòng)運(yùn)行Kafka Connect集群,需要用戶自己規(guī)劃和配置基礎(chǔ)設(shè)施,并且處理集群操作,依工作負(fù)載變化對(duì)其進(jìn)行擴(kuò)展。
MSK Connect服務(wù)則能夠持續(xù)監(jiān)控連接器的運(yùn)行狀況和交付狀態(tài),修補(bǔ)并且管理底層硬件,還能自動(dòng)擴(kuò)展連接器,以消化吞吐量的變化,讓用戶可以將資源構(gòu)建在應(yīng)用程序上,而非管理基礎(chǔ)設(shè)施工作。官方強(qiáng)調(diào),MSK Connect和Kafka Connect完全兼容,這代表用戶可以不需要變更程序代碼,就可以搬遷現(xiàn)有連接器。
用戶使用MSK Connect不一定需要使用MSK集群,其支持Amazon MSK、Apache Kafka,還有與Apache Kafka兼容的集群,作為來源和接受器,只要MSK Connect可以連接到集群,這些集群可以是由AWS合作伙伴,或第三方組織自行管理和托管。
MSK Connect已在許多云計(jì)算服務(wù)地區(qū)提供,包括美東、美西、歐盟和加拿大等,而亞洲地區(qū)則可在東京、雪梨、新加坡、首爾和孟買使用。MSK Connect按使用量付費(fèi),連接器使用的資源則根據(jù)工作負(fù)載自動(dòng)擴(kuò)展。