騰訊云原生支撐起14億人項目背后的技術揭秘

簡述

從2020年11月1日開始，第七次全國人口普查工作進入到正式登記階段，700萬普查員走街串巷，他們需要在15天內，對近14億人口進行入戶登記，完成十年一度的「大國點名」。

與以往不同，本次大國點名全量上云，由騰訊云+企業(yè)微信為14億人服務。騰訊云從業(yè)務部署、業(yè)務測試、壓力測試到最終上線，并提供完善的日志，監(jiān)控服務，只用了短短數月的時間，全程護航，讓700萬B端用戶，14億C端用戶規(guī)模的服務穩(wěn)定高效上線。

那么，騰訊云是如何支撐第七次全國人口普查的呢？

背景

十年一度的全國人口普查是我國的重大國情國力調查，全面查清中國人口數量、結構、分布、城鄉(xiāng)住房等方面情況，為科學制定國民經濟和社會發(fā)展規(guī)劃，推動經濟高質量發(fā)展，提供科學準確的統(tǒng)計信息支持。

2019年11月，經李克強總理簽批，國務院印發(fā)《關于開展第七次全國人口普查的通知》，決定于2020年開展第七次全國人口普查。以往的普查登記主要以入戶訪問并填寫普查表的方式進行，登記完成后，需要將普查表信息錄入計算機，實現普查信息的電子化。這樣不僅需要投入大量的人力、物力和時間，還容易在錄入過程中產生誤差，一定程度上影響了數據質量。

與之前六次普查不同的是，第七次全國人口普查將采取電子化方式開展普查登記。普查員使用PAD或智能手機入戶登記數據直接上報，也可以由普查對象通過手機等移動終端自行填報。

項目挑戰(zhàn)

支撐十幾億人口的第七次全國人口普查工作，面臨的最大的挑戰(zhàn)是什么？

在業(yè)務需求上，普查需要在全國范圍逐戶逐人地進行全項調查登記，搜集人口資料，一方面人跟戶的對應關系要準確，另一方面，在15天的采集期內，人是流動的，普查員也是流動作業(yè)的，中間會涉及到大量的數據校驗、查重。

在組織上，700萬普查員盡管是一個臨時組建的隊伍，但他們實際上構成了一個百萬員工量級的企業(yè)組織。這支700萬人的臨時隊伍分散在全國各地，如何培訓、如何考核、如何讓他們的業(yè)務動作整齊劃一，都是需要解決的現實問題。

而在技術上，數百萬普查員同時對數據進行增刪改查，過程中還要確保數據安全和服務穩(wěn)定，今年在疫情防控常態(tài)化下開展人口普查，數據維度多，保證人口普查數據真實可靠、準確完整，是人口普查的核心要求，也是衡量普查成功與否的重要標準。

第七次全國人口普查是第一次全面采用電子化的方式來做數據的采集、上報及處理，如何讓普查服務安全、高效、平穩(wěn)進行，是騰訊面臨的最大挑戰(zhàn)。

解決方案

那么我們是如何面對挑戰(zhàn)，騰訊云原生技術產品又是如何為第七次全國人口普查項目保駕護航的呢？

在大規(guī)模容器化落地實踐方面

騰訊云容器服務TKE(Tencent Kubernetes Engine)2016年上線，到目前為止，已經為上萬企業(yè)客戶提供容器化平臺，單集群支持上萬個節(jié)點；并獲得可信云大規(guī)模容器集群性能認證。在真實的生產環(huán)境：如快手2019年春晚紅包活動，小紅書，騰訊內部等，TKE單集群都超過3000Node,30w pod。

在穩(wěn)定性方面

從TKE集群管理層面的穩(wěn)定性，節(jié)點穩(wěn)定性，業(yè)務穩(wěn)定性來說：

在集群管理上，TKE master及ETCD等組件默認高可用部署，具備跨可用區(qū)容災備份能力，嚴格保障了集群的穩(wěn)定性。

在節(jié)點穩(wěn)定性上：我們在幫助內外部客戶做大規(guī)模容器化落地的過程中，遇到并解決了大量的性能及穩(wěn)定性相關問題，包括ipvs模式高并發(fā)場景下，連接復用引發(fā)的連接異常問題；容器密集場景下，就是單節(jié)點容器數量較多，cadvisor讀取memory cgroup陷入內核態(tài)過久引發(fā)的網絡毛刺問題等等；我們也已經將這些優(yōu)化集成到官方定制內核里；TKE公有云客戶可以直接使用。另外TKE擴展了社區(qū)NPD（Node Problem Detector）提供了更多的異常事件；比如文件系統(tǒng)異常，內核死鎖，pid,file-max是否達到最大值的80%等等；用戶可以根據這些事件方便的定位問題；另外TKE也根據這些事件做了節(jié)點自愈以及動態(tài)調度的能力，從而保障99.95的節(jié)點可用性。

業(yè)務穩(wěn)定性方面，在業(yè)務自身多副本，高可用的基礎上，為了避免一些極端情況下的風險，比如某個機房故障或者網絡中斷，TKE也提供了多集群管理及跨可用區(qū)雙活的解決方案。

在服務治理方面

騰訊云微服務平臺Tencent Service Framework（TSF）,提供上層業(yè)務的全托管服務，包括業(yè)務全生命周期管理、數據化運維支持，細粒度服務治理以及性能監(jiān)控調優(yōu)支撐等全棧能力

TSF的彈性伸縮機制，保障了上千個服務實例的穩(wěn)定運行，并幫助上層業(yè)務應對服務的高峰訪問。

TSF的服務調用拓撲圖、調用鏈路跟蹤、日志聯動、智能告警、服務運行時監(jiān)控等功能，可以快速的定位服務瓶頸，為服務調優(yōu)提供有效支撐，保障服務間通信質量，同時滿足每秒幾十萬QPS的高并發(fā)響應需要。

TSF通過微服務網關、服務鑒權、賬戶權限等安全體系以及微服務路由等治理手段，有效提升服務通訊質量和安全性。

在開發(fā)效率方面

第七次全國人口普查項目部分模塊使用了云開發(fā)（Tencent Cloud Base）；云開發(fā)包含云托管，云函數，云數據庫，Http訪問服務，靜態(tài)網站托管等多個服務模塊；為用戶提供云原生一體化開發(fā)環(huán)境和工具平臺，為開發(fā)者提供高可用、自動彈性擴縮的后端云服務。其中云托管和云函數的底層就是容器技術；使用了騰訊云彈性容器服務EKS。

正是由于云開發(fā)的助力，讓開發(fā)人員避免了應用開發(fā)過程中繁瑣的服務器環(huán)境搭建及運維，只需要專注于業(yè)務邏輯的實現，整個發(fā)開過程簡單又高效。

第七次全國人口普查完全采用云原生解決方案，TKE容器產品提供了穩(wěn)定的運行時支撐，TSF提供完善的微服務治理能力，TBase提供可靠的數據庫服務，CLB提供公網接入，Waf提供安全保障，微信小程序給終端用戶提供便捷的操作等等，多項產品共同協(xié)作；共同完成了云端人口普查這樣一個歷史性的項目。

價值

騰訊的“微信-企業(yè)微信-政務微信”三端協(xié)同能力，有效連通“民眾-企業(yè)-政府”三大群體，目前已在全國多地廣泛助力政府數字化轉型。以科技為支撐，以互聯網為載體，是第七次全國人口普查在信息化時代的創(chuàng)新之舉，也是一個國家數字化水平的有力佐證。而騰訊作為互聯網領域的先行企業(yè)，通過第七次全國人口普查的大考，進一步發(fā)揮企業(yè)技術生態(tài)能力，助力政府部門不斷提升數字化政務服務能力。