騰訊云手把手教你使用容器服務(wù)TKE集群審計排查問題

來源：騰訊云原生

作者：roc 陳鵬

時間：2020-11-10

有時候，集群資源莫名被刪除或修改，有可能是人為誤操作，也有可能是某個應(yīng)用的bug或惡意程序調(diào)用apiserver接口導(dǎo)致，需要找出真兇。這時候，我們需要為集群開啟審計，記錄apiserver的接口調(diào)用，然后根據(jù)條件檢索和分析審計日志來找到原因。

概述

有時候，集群資源莫名被刪除或修改，有可能是人為誤操作，也有可能是某個應(yīng)用的bug或惡意程序調(diào)用apiserver接口導(dǎo)致，需要找出"真兇"。這時候，我們需要為集群開啟審計，記錄apiserver的接口調(diào)用，然后根據(jù)條件檢索和分析審計日志來找到原因。

關(guān)于TKE的集群審計簡介與基礎(chǔ)操作，請參考官方文檔集群審計[1]。因?yàn)榧簩徲嫷臄?shù)據(jù)存儲在日志服務(wù)，所以我們需要在日志服務(wù)控制臺去對審計結(jié)果進(jìn)行檢索和分析，檢索語法請參考日志檢索語法與規(guī)則[2]，要進(jìn)行分析就還需要寫日志服務(wù)所支持的SQL語句，請參考日志服務(wù)分析簡介[3]。

注:本文僅適用于TKE集群

場景示例

下面給出一些集群審計使用場景和查詢的示例。

找出是誰做的操作

如果節(jié)點(diǎn)被封鎖了，不知道是哪個應(yīng)用或人為操作的，需要查出來，可以在開啟集群審計后，使用下面的語句來檢索:

objectRef.resource:nodes AND requestObject:unschedulable

版面設(shè)置可以設(shè)置顯示user.username,requestObject和objectRef.name三個字段，分別表示做操作的用戶、請求內(nèi)容以及節(jié)點(diǎn)名稱:

從上圖可以看出，是10001****958這個子賬號在2020-10-09 16:13:22的時候?qū)ain.63u5qua9.0這臺節(jié)點(diǎn)進(jìn)行了封鎖操作，我們在訪問管理-用戶-用戶列表[4]里可以根據(jù)賬號ID找到關(guān)于這個子賬號的詳細(xì)信息。

如果某個工作負(fù)載被刪除，想知道是誰刪除的，這里以deployments/nginx為例來查詢:

objectRef.resource:deployments AND objectRef.name:"nginx"AND verb:"delete"

查詢結(jié)果:

640 (1).png

揪出導(dǎo)致apiserver限頻的真兇

apiserver會有默認(rèn)的請求頻率限制保護(hù)，避免惡意程序或bug導(dǎo)致對apiserver請求頻率過高，使得apiserver/etcd負(fù)載過高，影響正常請求。如果發(fā)生了限頻，我們可以通過審計來找出到底是誰在發(fā)大量請求。

如果我們通過userAgent來分析統(tǒng)計請求的客戶端，首先需要修改下日志主題的鍵值索引，為userAgent字段開啟統(tǒng)計:

640 (2).png

通過以下SQL語句進(jìn)行統(tǒng)計每種客戶端請求apiserver的QPS大小:

*|SELECT CAST((__TIMESTAMP_US__/1000-__TIMESTAMP_US__/1000%1000)as TIMESTAMP)AS time,COUNT(1)AS qps,userAgent GROUP BY time,userAgent ORDER BY time

切換到圖標(biāo)分析，選擇折線圖，X軸用time，Y軸用qps，聚合列使用userAgent:

640 (3).png

可以看到查到數(shù)據(jù)了，但可能結(jié)果太多，小面板顯示不下，點(diǎn)擊添加到儀表盤，放大顯示:

640 (4).png

此例中可以看到kube-state-metrics這個客戶端對apiserver請求頻率遠(yuǎn)遠(yuǎn)高于其它客戶端，這就找到了"真兇"是kube-state-metrics，查看日志可以發(fā)現(xiàn)是因?yàn)镽BAC權(quán)問題導(dǎo)致kube-state-metrics不停的請求apiserver重試，觸發(fā)了apiserver的限頻:

I1009 13:13:09.760767 1 request.go:538]Throttling request took 1.393921018s,request:GET:https://172.16.252.1:443/api/v1/endpoints?limit=500&resourceVersion=1029843735

E1009 13:13:09.766106 1 reflector.go:156]pkg/mod/k8s.io/client-go v0.0.0-20191109102209-3c0d1af94be5/tools/cache/reflector.go:108:Failed to list*v1.Endpoints:endpoints is forbidden:User"system:serviceaccount:monitoring:kube-state-metrics"cannot list resource"endpoints"in API group""at the cluster scope

同理，如果要使用其它字段來區(qū)分要統(tǒng)計的客戶端，可以根據(jù)需求靈活修改SQL，比如使用user.username來區(qū)分，SQL這樣寫:

*|SELECT CAST((__TIMESTAMP_US__/1000-__TIMESTAMP_US__/1000%1000)as TIMESTAMP)AS time,COUNT(1)AS qps,user.username GROUP BY time,user.username ORDER BY time

顯示效果:

640 (5).png