文档中心

上云无忧 > 文档中心 > 腾讯云容器服务实战教程 - 在 TKE 上部署 Nginx Ingress
腾讯云
容器服务 TKE
简介/价格/文档
腾讯云容器服务实战教程 - 在 TKE 上部署 Nginx Ingress

文档简介：
概述： Nginx Ingress 功能强大且性能极高，有多种部署方式。本文将介绍 Nginx Ingress 在腾讯云容器服务（Tencent Kubernetes Engine，TKE）上 Deployment + LB、Daemonset + HostNetwork + LB 和 Deployment + LB 直通 Pod 三种部署方案及其部署方法。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！ 微信咨询
  免费试用、价格特惠

概述

Nginx Ingress 功能强大且性能极高，有多种部署方式。本文将介绍 Nginx Ingress 在腾讯云容器服务（Tencent Kubernetes Engine，TKE）上 Deployment + LB、Daemonset + HostNetwork + LB 和 Deployment + LB 直通 Pod 三种部署方案及其部署方法。

Nginx Ingress 简介

Nginx Ingress 是 Kubernetes Ingress 的一种实现。它通过 watch Kubernetes 集群的 Ingress 资源，将 Ingress 规则转换成 Nginx 的配置，让 Nginx 进行7层的流量转发。如下图所示：

Nginx Ingress 有以下两种实现方式，本文重点对 Kubernetes 开源社区的实现进行介绍：
Kubernetes 开源社区的实现
Nginx 官方的实现

部署方案选型建议

对 Nginx Ingress 在 TKE 上部署的三种方案进行比较，本文向您提出以下选型建议：
1. Deployment + LB：较为简单通用，但在大规模和高并发场景存在性能问题。如果对性能要求低，可以考虑使用此方案。
2. Daemonset + HostNetwork + LB：使用 hostNetwork 性能好，但需要手动维护 CLB 和 Nginx Ingress 节点，也无法实现自动扩缩容，不太建议用此方案。
3. Deployment + LB 直通 Pod：性能好，而且不需要手动维护 CLB，是理想解决方案。但在此方案中需要集群支持 VPC-CNI，如果已有集群本身用的 VPC-CNI 网络插件，或者用的 Global Router 网络插件并开启了 VPC-CNI 的支持（两种模式混用），建议使用此方案。

方案1：Deployment + LB

在 TKE 上部署 Nginx Ingress 最简单的方式是将 Nginx Ingress Controller 以 Deployment 的方式部署，

并且为其创建 LoadBalancer 类型的 Service（自动创建负载均衡 CLB 或绑定已有 CLB），

使 CLB 接收外部流量，再转发到 Nginx Ingress 内部。如下图所示：


当前 TKE 上 LoadBalancer 类型的 Service 默认实现是基于 NodePort：CLB 会绑定各节点的 NodePort 作为后端 RS（Real Server），将流量转发到节点的 NodePort，节点再通过 Iptables 或 IPVS 将请求路由到 Service 对应的后端 Pod（即 Nginx Ingress Controller 的 Pod）。后续如有节点的增删，CLB 也会自动更新节点 NodePort 的绑定。执行以下命令安装 Nginx Ingress： 
		

			kubectl create ns nginx-ingress
		



		

			kubectl apply -f https://raw.githubusercontent.com/TencentCloudContainerTeam/manifest
		


		

			/master/nginx-ingress/nginx-ingress-deployment.yaml -n nginx-ingress

方案2：Daemonset + HostNetwork + LB

在方案1中，流量会经过一层 NodePort，会多一层转发。因此存在以下问题：
转发路径较长，流量到 NodePort 后会再经过 Kubernetes 内部 LB，通过 Iptables 或 IPVS 转发到 Nginx，会增加网络耗时。
经过 NodePort 必然发生 SNAT，如果流量过于集中则容易导致源端口耗尽或 conntrack 插入冲突导致丢包，引发部分流量异常。
每个节点的 NodePort 也充当一个负载均衡器，CLB 如果绑定大量节点的 NodePort，LB 的状态就分散在每个节点上，容易导致全局负载不均。
CLB 会对 NodePort 进行健康探测，探测包最终会被转发到 Nginx Ingress 的 Pod，如果 CLB 绑定的节点多，而 Nginx Ingress 的 Pod 少，会导致探测包对 Nginx Ingress 造成较大的压力。
在方案2中，提出以下解决方法： 让 Nginx Ingress 使用 hostNetwork，CLB 直接绑节点 IP + 端口（80,443），不用经过 NodePort。由于使用 hostNetwork，Nginx Ingress 的 pod 就不能被调度到同一节点，为避免端口监听冲突，可提前选取部分节点作为边缘节点，专门用于部署 Nginx Ingress，并为这些节点打上 label，然后 Nginx Ingress 以 DaemonSet 方式部署在这些节点上。架构如下图所示：

如需安装 Nginx Ingress，请执行以下步骤：
1. 执行以下命令，将规划好的用于部署 Nginx Ingress 的节点打上 label（注意替换节点名称）： 
		

			kubectl label node 10.0.0.3 nginx-ingress=true
2. 执行以下命令，将 Nginx Ingress 部署在这些节点上: 
		

			kubectl create ns nginx-ingress
		



		

			kubectl apply -f https://raw.githubusercontent.com/TencentCloudContainerTe
		


		

			am/manifest/master/nginx-ingress/nginx-ingress-daemonset-hostnetwork.yaml -n nginx-ingress

3. 手动创建 CLB，及创建80和443端口的 TCP 监听器，分别绑定已部署 Nginx Ingress 节点的80和443端口。

方案3：Deployment + LB 直通 Pod

方案2相比方案1更有优势，但仍存在以下问题：
提高了手动维护 CLB 和 Nginx Ingress 节点的运维成本。
需要提前规划好 Nginx Ingress 的节点，增删 Nginx Ingress 节点时需要手动在 CLB 控制台绑定和解绑节点。
无法支持自动扩、缩容。
在方案3中，提出以下解决方法：

若网络模式是 VPC-CNI，且所有的 Pod 都使用弹性网卡，您可以使用 CLB 直接绑定弹性网卡的 Pod，

即绕过 NodePort，不用手动管理 CLB且支持自动扩、缩容。如下图所示：


若网络模式是 Global Router，您可以在集群信息页 为集群开启 VPC-CNI 支持，即两种网络模式混用。如下图所示：

确保集群支持 VPC-CNI 之后，依次执行以下命令，即可安装 Nginx Ingress： 
		

			kubectl create ns nginx-ingress
		



		

			kubectl apply -f https://raw.githubusercontent.com/TencentCloudContainerTeam/manifest/
		


		

			master/nginx-ingress/nginx-ingress-deployment-eni.yaml -n nginx-ingress

常见问题

如何支持内网 Ingress ?

方案2：Daemonset + HostNetwork + LB 是手动管理 CLB，在自行创建 CLB 时可以选择用公网或内网。

方案1：Deployment + LB 和 方案3：Deployment + LB 直通 Pod 默认创建公网 CLB。如果要用内网，

可以重新部署 YAML，给 nginx-ingress-controller 中的 Service 添加 key，例如 service.kubernetes.io

/qcloud-loadbalancer-internal-subnetid，value 为内网 CLB 创建的子网 id 的 annotation。请参考以下代码： 

		

			apiVersion: v1
		


		

			kind: Service
		


		

			metadata:
		


		

			 annotations:
		


		

			 service.kubernetes.io/qcloud-loadbalancer-internal-subnetid: subnet-xxxxxx 
		


		

			# value 替换为集群所在 vpc 的其中一个子网 id
		


		

			 labels:
		


		

			 app: nginx-ingress
		


		

			 component: controller
		


		

			 name: nginx-ingress-controller

如何复用已有 LB ?

方案1：Deployment + LB 和 方案3：Deployment + LB 直通 Pod 默认自动创建新的 CLB，

Ingress 的流量入口地址取决于新创建 CLB 的 IP 地址。如果业务对入口地址有依赖，

可以让 Nginx Ingress 绑定已有的 CLB。操作方法为重新部署 YAML，

给 nginx-ingress-controller 中的 Service 添加 key，例如 service.kubernetes.io/tke-existed-lbid，

value 为 CLB ID 的 annotation。请参考以下代码： 

		

			apiVersion: v1
		


		

			kind: Service
		


		

			metadata:
		


		

			 annotations:
		


		

			 service.kubernetes.io/tke-existed-lbid: lb-6swtxxxx # value 替换为 CLB 的 ID
		


		

			 labels:
		


		

			 app: nginx-ingress
		


		

			 component: controller
		


		

			 name: nginx-ingress-controller

Nginx Ingress 公网带宽有多大？

腾讯云账号有标准账户和传统账户两种类型：
注意
您可参考文档 区分腾讯云账户类型 来区分自己账号的类型。

标准账户类型：指带宽上移到 CLB 或 IP 上管理。当您的账号是标准账户类型时，

Nginx Ingress 的带宽等于已购 CLB 的带宽，默认是 10Mbps（按量计费），可按需调整。

传统账户类型：指带宽在云服务器（CVM）上管理。 当您的账号是传统账户类型时

，Nginx Ingress 使用公网 CLB，Nginx Ingress 的公网带宽是 CLB 所绑定的 TKE

 节点的带宽之和。如果使用 方案3：Deployment + LB 直通 Pod，CLB 直通 Pod，

即 CLB 直接绑定弹性网卡，那么此时 Nginx Ingress 的公网带宽是所有

 Nginx Ingress Controller Pod 被调度到的节点上的带宽之和。

如何创建 Ingress?

当您在 TKE 上自行部署 Nginx Ingress，需使用 Nginx Ingress 管理 Ingress 时，

在容器服务控制台上无法创建 Ingress 时，可通过 YAML 的方式来创建

 Ingress 并且需要给每个 Ingress 都指定 Ingress Class 的 annotation。请参考以下代码： 

		

			apiVersion: networking.k8s.io/v1beta1
		


		

			kind: Ingress
		


		

			metadata:
		


		

			 name: test-ingress
		


		

			 annotations:
		


		

			 kubernetes.io/ingress.class: nginx # 这里是重点
		


		

			spec:
		


		

			 rules:
		


		

			 - host: *
		


		

			 http:
		


		

			 paths:
		


		

			 - path: /
		


		

			 backend:
		


		

			 serviceName: nginx-v1
		


		

			 servicePort: 80

如何监控？

通过 如何创建 Ingress 安装的 Nginx Ingress，已经暴露了 metrics 端口，

可以被 Prometheus 采集。如果集群内安装了 prometheus-operator，

可以使用 ServiceMonitor 来采集 Nginx Ingress 的监控数据。请参考以下代码： 

		

			apiVersion: monitoring.coreos.com/v1
		


		

			kind: ServiceMonitor
		


		

			metadata:
		


		

			 name: nginx-ingress-controller
		


		

			 namespace: nginx-ingress
		


		

			 labels:
		


		

			 app: nginx-ingress
		


		

			 component: controller
		


		

			spec:
		


		

			 endpoints:
		


		

			 - port: metrics
		


		

			 interval: 10s
		


		

			 namespaceSelector:
		


		

			 matchNames:
		


		

			 - nginx-ingress
		


		

			 selector:
		


		

			 matchLabels:
		


		

			 app: nginx-ingress
		


		

			 component: controller
原生 Prometheus 配置请参考以下代码： 
		

			 - job_name: nginx-ingress
		


		

			 scrape_interval: 5s
		


		

			 kubernetes_sd_configs:
		


		

			 - role: endpoints
		


		

			 namespaces:
		


		

			 names:
		


		

			 - nginx-ingress
		


		

			 relabel_configs:
		


		

			 - action: keep
		


		

			 source_labels:
		


		

			 - __meta_kubernetes_service_label_app
		


		

			 - __meta_kubernetes_service_label_component
		


		

			 regex: nginx-ingress;controller
		


		

			 - action: keep
		


		

			 source_labels:
		


		

			 - __meta_kubernetes_endpoint_port_name
		


		

			 regex: metrics
采集监控数据后，可为 grafana 配置 Nginx Ingress 社区提供的面板，并展示数据。实际操作中，直接复制 json 导入 grafana，即可导入面板。其中，nginx.json 是展示 Nginx Ingress 各种常规监控的面板。如下图所示：

request-handling-performance.json 是展示 Nginx Ingress 性能方面的监控面板。如下图所示：

参考资料

TKE Service YAML 示例
TKE Service 使用已有 CLB
区分腾讯云账户类型
相似文档
  • 腾讯云容器服务实战教程 - Nginx 升级最佳实践
    由于 Nginx Controller 各个版本支持的 Kubernetes 版本范围比较窄，所以用户会遇到 Nginx Controller 升级的相关问题。本文向您介绍通过新建实例实现过渡的方案，以帮助您顺利升级 Nginx Controller。
  • 腾讯云容器服务实战教程 - Nginx Ingress 高并发实践
    概述： Nginx Ingress Controller 基于 Nginx 实现 Kubernetes Ingress API。Nginx 是一款高性能网关，在实际生产环境运行时，需要对参数进行调优，以保证其充分发挥高性能的优势。在 TKE 上部署 Nginx Ingress 中的部署 YAML 已经包含 Nginx 部分性能方面的参数优化。本文将介绍针对 Nginx Ingress 全局配置与内核参数调优的方法及其原理，让 Nginx Ingress 更好的适配高并发业务场景。
  • 腾讯云容器服务实战教程 - Nginx Ingress 最佳实践
    操作场景： 容器服务 TKE 支持安装 Nginx-ingress 扩展组件，可通过 Nginx-ingress 接入 Ingress 流量。关于 Nginx-ingress 组件的更多介绍，请参见 Nginx-ingress 说明。本文将为您介绍 Nginx-ingress 组件常见最佳实践操作指引。
  • 腾讯云容器服务实战教程 - 在 TKE 上对 Pod 进行带宽限速
    操作场景： 腾讯云容器服务 TKE 暂不支持 Pod 限速，但可通过修改 CNI 插件来支持此功能。本文档介绍如何在 TKE 上实现对 Pod 的带宽限速，您可结合实际场景进行操作。
  • 腾讯云容器服务实战教程 - TKE 基于弹性网卡直连 Pod 的网络负载均衡
    概述： Kubernetes 在集群接入层设计并提供了 Service 及 Ingress 两种原生资源，分别负责四层和七层的网络接入层配置。传统方案是创建 Ingress 或 LoadBalancer 类型的 Service 来绑定腾讯云负载均衡，将服务对外暴露。此方式将用户流量负载至用户节点的 NodePort 上，再通过 KubeProxy 组件转发到容器网络中，此方案在业务性能和能力方面的支持会有所局限。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部