文档中心

上云无忧 > 文档中心 > 腾讯云容器服务实战教程 - 使用集群审计排查问题
腾讯云
容器服务 TKE
简介/价格/文档
腾讯云容器服务实战教程 - 使用集群审计排查问题

文档简介：
使用场景： 当发生人为误操作、应用出现 bug、恶意程序调用 apiserver 接口，集群资源会被删除或修改。此时可通过集群审计功能记录 apiserver 的接口调用，即可根据条件检索和分析审计日志找到问题原因。本文介绍了集群审计功能的具体使用场景及使用示例，您可参考本文开始使用集群审计功能。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！ 微信咨询
  免费试用、价格特惠

使用场景

当发生人为误操作、应用出现 bug、恶意程序调用 apiserver 接口，集群资源会被删除或修改。此时可通过集群审计功能记录 apiserver 的接口调用，即可根据条件检索和分析审计日志找到问题原因。本文介绍了集群审计功能的具体使用场景及使用示例，您可参考本文开始使用集群审计功能。
注意
本文仅适用于容器服务 TKE 集群。

前提条件

登录容器服务控制台，开启集群审计功能。详情请参见 开启集群审计。

使用示例

获取分析结果

1. 登录 日志服务控制台，选择左侧导航栏中的检索分析。
2. 在检索分析页面，选择待检索的日志集，日志主题以及选择时间范围。
3. 输入分析语句后单击检索分析，即可获得分析结果。

示例1：查询封锁节点的操作者

例如，需查询封锁节点的操作者，则可执行以下命令进行检索： 
		

			objectRef.resource:nodes AND requestObject:unschedulable
在检索分析页面中，版面选择默认配置，查询结果如下图所示：

示例2：查询删除工作负载的操作者

例如，需查询删除工作负载的操作者，则可执行以下命令进行检索： 
		

			objectRef.resource:deployments AND objectRef.name:"nginx" AND verb:"delete"
您可根据检索结果获取此子账号的详细信息。

示例3：定位 apiserver 限频原因

为避免恶意程序或 bug 导致对 apiserver 请求频率过高引发的 apiserver/etcd 负载过高，影响正常请求。apiserver 具备默认请求频率限制保护。如发生限频，可通过审计找到发出大量请求的客户端。
1. 如需通过 userAgent 分析统计请求的客户端，则需在“键值索引”窗口中修改日志主题，为 userAgent 字段开启统计。如下图所示：

2. 执行以下命令，对每种客户端请求 apiserver 的 QPS 大小进行统计： 

		

			* | SELECT histogram( cast(__TIMESTAMP__ as timestamp),interval 1 minute) AS time,
		


		

			 COUNT(1) AS qps,userAgent GROUP BY time,userAgent ORDER BY time

3. 切换到统计图表，选择时序图，可设置基本信息、坐标轴等，如下图所示：

获得数据后，可点击添加到仪表盘，放大显示。如下图所示：

由图可见，kube-state-metrics 客户端对 apiserver 请求频率远远高于其它客户端。查看日志可得，由于 RBAC 权问题导致 kube-state-metrics 不停的请求 apiserver 重试，触发了 apiserver 的限频。日志如下所示： 

		

			I1009 13:13:09.760767 1 request.go:538] Throttling request took 1.393921018s, 
		


		

			request: GET:https://172.16.252.1:443/api/v1/endpoints?limit=500&resourceVersion=1029843735
		


		

			E1009 13:13:09.766106 1 reflector.go:156] pkg/mod/k8s.io
		


		

			/client-go@v0.0.0-20191109102209-3c0d1af94be5/tools/cache/reflector.go:108:
		


		

			 Failed to list *v1.Endpoints: endpoints is forbidden: User "system:servi
		


		

			ceaccount:monitoring:kube-state-metrics" cannot list resource "endpoints" 
		


		

			in API group "" at the cluster scope

同理，如果要使用其它字段来区分要统计的客户端，可以根据需求灵活修改 SQL，例如使用 user.username 来区分。SQL 语句可参考如下示例： 

		

			* | SELECT histogram( cast(__TIMESTAMP__ as timestamp),interval 1 minute) 
		


		

			AS time, COUNT(1) AS qps,user.username GROUP BY time,user.username ORDER BY time

显示效果如下图所示：

相关文档

关于容器服务 TKE 的集群审计简介与基础操作，请参见 集群审计。
集群审计的数据存储在日志服务，若需要在日志服务控制台中对审计结果进行检索和分析，检索语法请参见 日志检索语法与规则。
进行分析需提供日志服务所支持的 SQL 语句，请参见 日志分析简介。
相似文档
  • 腾讯云容器服务实战教程 - 为 TKE Ingress 证书续期
    操作场景： 使用容器服务 TKE 控制台创建的 Ingress 配置的证书，会引用 SSL 证书 中托管的证书，若 Ingress 使用时间较长，证书存在过期的风险。证书过期会对线上业务造成巨大影响，因此需要在证书过期前进行续期，您可参考本文为 Ingress 证书续期。
  • 腾讯云容器服务实战教程 - 使用 cert-manager 签发免费证书
    概述： 随着 HTTPS 不断普及，大多数网站开始由 HTTP 升级到 HTTPS。使用 HTTPS 需要向权威机构申请证书，并且需要付出一定的成本，如果需求数量多，则开支也相对增加。cert-manager 是 Kubernetes 上的全能证书管理工具，支持利用 cert-manager 基于 ACME 协议与 Let's Encrypt 签发免费证书并为证书自动续期，实现永久免费使用证书。
  • 腾讯云容器服务实战教程 - 使用 cert-manager 为 DNSPod 的域名签发免费证书
    概述： 如果您的域名使用腾讯云 DNSPod 管理，并期望在 Kubernetes 上为域名自动签发免费证书，可以使用 cert-manager 来实现。 cert-manager 支持许多 DNS provider，但不支持国内的 DNSPod，不过 cert-manager 提供了 Webhook 机制来扩展 provider，社区也有 DNSPod 的 provider 实现。本文将介绍如何结合 cert-manager 与 cert-manager-webhook-dnspod 来实现为 DNSPod 上的域名自动签发免费证书。
  • 腾讯云容器服务实战教程 - 使用 TKE NPDPlus 插件增强节点的故障自愈能力
    在 Kubernetes 集群运行时，节点有时会因为组件问题、内核死锁、资源不足等原因不可用。Kubelet 默认对节点的 PIDPressure、MemoryPressure、DiskPressure 等资源状态进行监控，但是存在当 Kubelet 上报状态时节点已处于不可用状态的情况，甚至 Kubelet 可能已开始驱逐 Pod。
  • 腾讯云容器服务实战教程 - 使用 kubecm 管理多集群 kubeconfig
    操作场景： Kubernetes 提供 Kubectl 命令行工具用于操作集群，Kubectl 使用 Kubeconfig 作为配置文件（默认路径为 ~/.kube/config），通过其配置多个集群的信息，并管理和操作多个集群。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部