騰訊云原生支撐起14億人項(xiàng)目背后的技術(shù)揭秘

簡述

從2020年11月1日開始，第七次全國人口普查工作進(jìn)入到正式登記階段，700萬普查員走街串巷，他們需要在15天內(nèi)，對近14億人口進(jìn)行入戶登記，完成十年一度的「大國點(diǎn)名」。

與以往不同，本次大國點(diǎn)名全量上云，由騰訊云+企業(yè)微信為14億人服務(wù)。騰訊云從業(yè)務(wù)部署、業(yè)務(wù)測試、壓力測試到最終上線，并提供完善的日志，監(jiān)控服務(wù)，只用了短短數(shù)月的時(shí)間，全程護(hù)航，讓700萬B端用戶，14億C端用戶規(guī)模的服務(wù)穩(wěn)定高效上線。

那么，騰訊云是如何支撐第七次全國人口普查的呢？

背景

十年一度的全國人口普查是我國的重大國情國力調(diào)查，全面查清中國人口數(shù)量、結(jié)構(gòu)、分布、城鄉(xiāng)住房等方面情況，為科學(xué)制定國民經(jīng)濟(jì)和社會(huì)發(fā)展規(guī)劃，推動(dòng)經(jīng)濟(jì)高質(zhì)量發(fā)展，提供科學(xué)準(zhǔn)確的統(tǒng)計(jì)信息支持。

2019年11月，經(jīng)李克強(qiáng)總理簽批，國務(wù)院印發(fā)《關(guān)于開展第七次全國人口普查的通知》，決定于2020年開展第七次全國人口普查。以往的普查登記主要以入戶訪問并填寫普查表的方式進(jìn)行，登記完成后，需要將普查表信息錄入計(jì)算機(jī)，實(shí)現(xiàn)普查信息的電子化。這樣不僅需要投入大量的人力、物力和時(shí)間，還容易在錄入過程中產(chǎn)生誤差，一定程度上影響了數(shù)據(jù)質(zhì)量。

與之前六次普查不同的是，第七次全國人口普查將采取電子化方式開展普查登記。普查員使用PAD或智能手機(jī)入戶登記數(shù)據(jù)直接上報(bào)，也可以由普查對象通過手機(jī)等移動(dòng)終端自行填報(bào)。

項(xiàng)目挑戰(zhàn)

支撐十幾億人口的第七次全國人口普查工作，面臨的最大的挑戰(zhàn)是什么？

在業(yè)務(wù)需求上，普查需要在全國范圍逐戶逐人地進(jìn)行全項(xiàng)調(diào)查登記，搜集人口資料，一方面人跟戶的對應(yīng)關(guān)系要準(zhǔn)確，另一方面，在15天的采集期內(nèi)，人是流動(dòng)的，普查員也是流動(dòng)作業(yè)的，中間會(huì)涉及到大量的數(shù)據(jù)校驗(yàn)、查重。

在組織上，700萬普查員盡管是一個(gè)臨時(shí)組建的隊(duì)伍，但他們實(shí)際上構(gòu)成了一個(gè)百萬員工量級(jí)的企業(yè)組織。這支700萬人的臨時(shí)隊(duì)伍分散在全國各地，如何培訓(xùn)、如何考核、如何讓他們的業(yè)務(wù)動(dòng)作整齊劃一，都是需要解決的現(xiàn)實(shí)問題。

而在技術(shù)上，數(shù)百萬普查員同時(shí)對數(shù)據(jù)進(jìn)行增刪改查，過程中還要確保數(shù)據(jù)安全和服務(wù)穩(wěn)定，今年在疫情防控常態(tài)化下開展人口普查，數(shù)據(jù)維度多，保證人口普查數(shù)據(jù)真實(shí)可靠、準(zhǔn)確完整，是人口普查的核心要求，也是衡量普查成功與否的重要標(biāo)準(zhǔn)。

第七次全國人口普查是第一次全面采用電子化的方式來做數(shù)據(jù)的采集、上報(bào)及處理，如何讓普查服務(wù)安全、高效、平穩(wěn)進(jìn)行，是騰訊面臨的最大挑戰(zhàn)。

解決方案

那么我們是如何面對挑戰(zhàn)，騰訊云原生技術(shù)產(chǎn)品又是如何為第七次全國人口普查項(xiàng)目保駕護(hù)航的呢？

在大規(guī)模容器化落地實(shí)踐方面

騰訊云容器服務(wù)TKE(Tencent Kubernetes Engine)2016年上線，到目前為止，已經(jīng)為上萬企業(yè)客戶提供容器化平臺(tái)，單集群支持上萬個(gè)節(jié)點(diǎn)；并獲得可信云大規(guī)模容器集群性能認(rèn)證。在真實(shí)的生產(chǎn)環(huán)境：如快手2019年春晚紅包活動(dòng)，小紅書，騰訊內(nèi)部等，TKE單集群都超過3000Node,30w pod。

在穩(wěn)定性方面

從TKE集群管理層面的穩(wěn)定性，節(jié)點(diǎn)穩(wěn)定性，業(yè)務(wù)穩(wěn)定性來說：

在集群管理上，TKE master及ETCD等組件默認(rèn)高可用部署，具備跨可用區(qū)容災(zāi)備份能力，嚴(yán)格保障了集群的穩(wěn)定性。

在節(jié)點(diǎn)穩(wěn)定性上：我們在幫助內(nèi)外部客戶做大規(guī)模容器化落地的過程中，遇到并解決了大量的性能及穩(wěn)定性相關(guān)問題，包括ipvs模式高并發(fā)場景下，連接復(fù)用引發(fā)的連接異常問題；容器密集場景下，就是單節(jié)點(diǎn)容器數(shù)量較多，cadvisor讀取memory cgroup陷入內(nèi)核態(tài)過久引發(fā)的網(wǎng)絡(luò)毛刺問題等等；我們也已經(jīng)將這些優(yōu)化集成到官方定制內(nèi)核里；TKE公有云客戶可以直接使用。另外TKE擴(kuò)展了社區(qū)NPD（Node Problem Detector）提供了更多的異常事件；比如文件系統(tǒng)異常，內(nèi)核死鎖，pid,file-max是否達(dá)到最大值的80%等等；用戶可以根據(jù)這些事件方便的定位問題；另外TKE也根據(jù)這些事件做了節(jié)點(diǎn)自愈以及動(dòng)態(tài)調(diào)度的能力，從而保障99.95的節(jié)點(diǎn)可用性。

業(yè)務(wù)穩(wěn)定性方面，在業(yè)務(wù)自身多副本，高可用的基礎(chǔ)上，為了避免一些極端情況下的風(fēng)險(xiǎn)，比如某個(gè)機(jī)房故障或者網(wǎng)絡(luò)中斷，TKE也提供了多集群管理及跨可用區(qū)雙活的解決方案。

在服務(wù)治理方面

騰訊云微服務(wù)平臺(tái)Tencent Service Framework（TSF）,提供上層業(yè)務(wù)的全托管服務(wù)，包括業(yè)務(wù)全生命周期管理、數(shù)據(jù)化運(yùn)維支持，細(xì)粒度服務(wù)治理以及性能監(jiān)控調(diào)優(yōu)支撐等全棧能力

TSF的彈性伸縮機(jī)制，保障了上千個(gè)服務(wù)實(shí)例的穩(wěn)定運(yùn)行，并幫助上層業(yè)務(wù)應(yīng)對服務(wù)的高峰訪問。

TSF的服務(wù)調(diào)用拓?fù)鋱D、調(diào)用鏈路跟蹤、日志聯(lián)動(dòng)、智能告警、服務(wù)運(yùn)行時(shí)監(jiān)控等功能，可以快速的定位服務(wù)瓶頸，為服務(wù)調(diào)優(yōu)提供有效支撐，保障服務(wù)間通信質(zhì)量，同時(shí)滿足每秒幾十萬QPS的高并發(fā)響應(yīng)需要。

TSF通過微服務(wù)網(wǎng)關(guān)、服務(wù)鑒權(quán)、賬戶權(quán)限等安全體系以及微服務(wù)路由等治理手段，有效提升服務(wù)通訊質(zhì)量和安全性。

在開發(fā)效率方面

第七次全國人口普查項(xiàng)目部分模塊使用了云開發(fā)（Tencent Cloud Base）；云開發(fā)包含云托管，云函數(shù)，云數(shù)據(jù)庫，Http訪問服務(wù)，靜態(tài)網(wǎng)站托管等多個(gè)服務(wù)模塊；為用戶提供云原生一體化開發(fā)環(huán)境和工具平臺(tái)，為開發(fā)者提供高可用、自動(dòng)彈性擴(kuò)縮的后端云服務(wù)。其中云托管和云函數(shù)的底層就是容器技術(shù)；使用了騰訊云彈性容器服務(wù)EKS。

正是由于云開發(fā)的助力，讓開發(fā)人員避免了應(yīng)用開發(fā)過程中繁瑣的服務(wù)器環(huán)境搭建及運(yùn)維，只需要專注于業(yè)務(wù)邏輯的實(shí)現(xiàn)，整個(gè)發(fā)開過程簡單又高效。

第七次全國人口普查完全采用云原生解決方案，TKE容器產(chǎn)品提供了穩(wěn)定的運(yùn)行時(shí)支撐，TSF提供完善的微服務(wù)治理能力，TBase提供可靠的數(shù)據(jù)庫服務(wù)，CLB提供公網(wǎng)接入，Waf提供安全保障，微信小程序給終端用戶提供便捷的操作等等，多項(xiàng)產(chǎn)品共同協(xié)作；共同完成了云端人口普查這樣一個(gè)歷史性的項(xiàng)目。

價(jià)值

騰訊的“微信-企業(yè)微信-政務(wù)微信”三端協(xié)同能力，有效連通“民眾-企業(yè)-政府”三大群體，目前已在全國多地廣泛助力政府?dāng)?shù)字化轉(zhuǎn)型。以科技為支撐，以互聯(lián)網(wǎng)為載體，是第七次全國人口普查在信息化時(shí)代的創(chuàng)新之舉，也是一個(gè)國家數(shù)字化水平的有力佐證。而騰訊作為互聯(lián)網(wǎng)領(lǐng)域的先行企業(yè)，通過第七次全國人口普查的大考，進(jìn)一步發(fā)揮企業(yè)技術(shù)生態(tài)能力，助力政府部門不斷提升數(shù)字化政務(wù)服務(wù)能力。