腾讯云容器服务 TKE 标准集群（原生节点） - 故障自愈规则

容器服务 TKE

简介/价格/文档

腾讯云容器服务 TKE 标准集群（原生节点） - 故障自愈规则

文档简介：

功能概述：基础设施的不稳定性、环境的不确定性经常会引发不同纬度的系统故障。为了将工作人员从繁重的运维事务中解放出来，腾讯云容器服务团队自研故障自愈功能来帮助运维人员快速定位问题，并通过预置平台运维经验，针对不同检测项提供最小化的自愈动作。

*此产品及展示信息均由腾讯云官方提供。免费试用咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！微信咨询

免费试用、价格特惠

文档详情

功能概述

基础设施的不稳定性、环境的不确定性经常会引发不同纬度的系统故障。为了将工作人员从繁重的运维事务中解放出来，腾讯云容器服务团队自研故障自愈功能来帮助运维人员快速定位问题，并通过预置平台运维经验，针对不同检测项提供最小化的自愈动作。该能力在 NPD Plus 组件的基础上进一步扩展，具体包含如下特性：

系统实时检测需要人为干预解决的持续性故障。

故障范围涵盖操作系统、K8s 环境、运行时等数十种检测项。

通过预置专家经验（执行修复脚本、重启组件）来对故障进行快速响应。

检测项介绍

检测项	描述	风险等级	自愈动作
FDPressure	Too many open files（查看主机的文件描述符数量是否达到最大值的 90%）	low	-
RuntimeUnhealthy	List containerd task failed	low	RestartRuntime
KubeletUnhealthy	Call kubelet healthz failed	low	RestartKubelet
ReadonlyFilesystem	Filesystem is readonly	high	-
OOMKilling	Process has been oom-killed	high	-
TaskHung	Task blocked more then beyond the threshold	high	-
UnregisterNetDevice	Net device unregister	high	-
KernelOopsDivideError	Kernel oops with divide error	high	-
KernelOopsNULLPointer	Kernel oops with NULL pointer	high	-
Ext4Error	Ext4 filesystem error	high	-
Ext4Warning	Ext4 filesystem warning	high	-
IOError	IOError	high	-
MemoryError	MemoryError	high	-
DockerHung	Task blocked more then beyond the threshold	high	-
KubeletRestart	Kubelet restart	low	-

为节点开启故障自愈功能

通过控制台操作

1. 登录容器服务控制台，选择左侧导航栏中的集群。

2. 在集群列表页中，单击集群 ID，进入该集群详情页。

3. 选择左侧菜单栏中的节点管理 > 节点配置 > 故障自愈，进入故障自愈规则页面。

4. 单击新建故障自愈规则，创建新的故障自愈规则。如下图所示：

5. 创建完成后，返回节点池列表页。

6. 单击节点池 ID，进入节点池详情页。

7. 在节点池详情页的“运维信息”模块，单击编辑为节点池开启故障自愈能力。如下图所示：

8. 开启后，可以在“运维记录”中查看实时故障检测详情，状态为“失败”则代表该检测项未通过。

通过 YAML 操作

1. 新建故障自愈规则

根据命令kubectl create -f demo-HealthCheckPolicy.yaml集群中创建自愈规则，YAML 配置如下：

				
			apiVersion: config.tke.cloud.tencent.com/v1
		
			kind: HealthCheckPolicy
		
			metadata:
		
			 name: test-all
		
			 namespace: cls-xxxxxxxx（集群 id）
		
			spec:
		
			 machineSetSelector:
		
			 matchLabels:
		
			 key: fake-label
		
			 rules:
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: FDPressure
		
			 - action: RestartKubelet
		
			 autoRepairEnabled: true
		
			 enabled: true
		
			 name: RuntimeUnhealthy
		
			 - action: RestartKubelet
		
			 autoRepairEnabled: true
		
			 enabled: true
		
			 name: KubeletUnhealthy
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: ReadonlyFilesystem
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: OOMKilling
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: TaskHung
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: UnregisterNetDevice
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: KernelOopsDivideError
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: KernelOopsNULLPointer
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: Ext4Error
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: Ext4Warning
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: IOError
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: MemoryError
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: DockerHung
		
			 - action: RestartKubelet
		
			 enabled: true
		
			 name: KubeletRestart

2. 开启自愈开关

在 MachineSet 中指定字段 healthCheckPolicyName: test-all，YAML 配置如下：

				
			apiVersion: node.tke.cloud.tencent.com/v1beta1
		
			kind: MachineSet
		
			spec:
		
			 type: Hosted
		
			 displayName: demo-machineset
		
			 replicas: 2
		
			 autoRepair: true
		
			 deletePolicy: Random
		
			 healthCheckPolicyName: test-all
		
			 instanceTypes:
		
			 - C3.LARGE8
		
			 subnetIDs:
		
			 - subnet-xxxxxxxx
		
			 - subnet-yyyyyyyy
		
			......

相似文档

腾讯云容器服务 TKE 标准集群（原生节点） - 声明式操作实践
kubectl 支持操作： MachineSet：创建原生节点池： kubectl create -f machineset-demo.yaml 查看原生节点池列表： kubectl get machineset 查看原生节点池 YAML 详情： kubectl describe ms machineset-name
腾讯云容器服务 TKE 标准集群（原生节点） - 原生节点扩缩容
使用说明：原生节点的自动伸缩功能由容器平台自研实现，普通节点的自动伸缩功能依赖云产品弹性伸缩 AS。原生节点池未开启自动伸缩：初始化节点数量取决于设置的节点数（字段名：replicas）。用户可以手动调整期望节点数，节点数上限受限于后台默认值 500 和容器子网 IP 数。
腾讯云容器服务 TKE 标准集群（原生节点） - Pod 原地升降配
概述：根据 Kubernetes 的设计规范，Pod 运行过程中若需要临时修改容器参数，只能更新 PodSpec 后重新提交，这种方式会触发 Pod 删除重建，很难满足业务侧应对流量突发时无损变配诉求。
腾讯云容器服务 TKE 标准集群（原生节点） - 原生节点开启公网访问
说明：传统账户类型不支持为原生节点开启公网访问，详情请参见账户类型说明，您可以提交工单进行升级。本文主要介绍如何通过控制台和 YAML 为节点绑定弹性公网 IP（Elastic IP，EIP）并开启公网访问。
腾讯云容器服务 TKE 标准集群（原生节点） - Management 参数介绍
功能概览： Management 参数为节点常用自定义配置提供了统一的入口，您可通过该入口为原生节点底层的内核参数 KernelArgs 进行调优，同时支持设置 Kubelet\Nameservers\Hosts 来满足业务部署的环境要求。

文档中心

全民上云·上云补贴申领

免费试用（限企业）