目下部署在 Kubernetes 中的工作，通过 Calico BGP 将 Service 与集群外鸠合买通，并在外部的 nginx 中成立 Service 地址对外进行工作深远。经过一段时分的不雅察，发目下 Deployment 革新更新中及之后一段时分，偶现工作访谒 502 的问题。
[[418415]]
问题配景和炫耀刻下 Kuberntes 集群使用 Calico 看成 CNI 组件，并使用 BGP 模式将 Pod IP 和 Service IP 与集群外鸠合买通，通过集群外的 Nginx 作反向代理对外提供工作，运用王人是以 Deployment 景观部署。通过一段时分的不雅察，部分运用响应，在运用发布后一段时天职，工作有一定几率出现 502 报错。
问题排查最径直的揣度，是否问题只发生在革新更新经由中，即运用莫得作念好查验检测的成立，导致工作莫得真的可用，Pod 却照旧处于 ready 景象。
小程序开发简短的测试后很快摒除这个可能，对成立了灵验健康查验探针的 Deployment 进行革新更新，并使用 ab 通过 Nginx 成立的域名进行络续申请(此时无并发)，发目下运用革新更新竣事后，并通过 pod IP 东说念主工证据了工作莫得问题，仍有概率出现 502 造作，且出现造作的炫耀会络续几分钟致使十几分钟的时分，显豁远远跨越了革新更新所需时分。
上头的初步测试的炫耀，摒除了运用本人的问题。下一个怀疑的方针指向了 Nginx。既然炫耀是通过 Nginx 代理访谒产生的，那么径直申请 Service 有莫得问题呢，由于刻下集群 Service 地址和外部鸠合作念了买通，测试起来很便捷，我准备了如下的测试：
ab 络续申请域名通过 Nginx 访谒工作，并触发革新更新(ab -r -v 2 -n 50000 http://service.domain.com/test) ab 络续申请 serviceIP:port 访谒工作，并触发革新更新(ab -r -v 2 -n 50000 http://10.255.10.101/test)经过测试，案例 1 出现了 502 造作，案例 2 未出现。是以，问题是在 Nginx 嘛?
找到负责 Nginx 的共事进行分析，论断是 Nginx 似乎不会形成雷同的问题。那为什么上头测试中只须案例1 复现了问题呢?于是我决定再行进行测试，此次在 ab 申请的时候加上了并发(-c 10)，恶果，两个案例王人出现了 502 的造作。这么，问题似乎又回到了 Kubernetes 集群本人，而且似乎在申请量较大的情况下才会出现。
这时，我驱动怀疑是否可能是因为某种原因，革新发布后的一段时分里，一些申请会造作的被分发到照旧被杀掉的老得 podIP 上。为了考证这一揣度，我进行了如下实验：
创建一个测试的 Deployment，副本数为 1，提供简短的 http 工作，并在招揽到申请时输出日记，并创建对应 Service。 使用 ab 并发申请该工作 Service 地址。 使用 kubectl patch 修改 Pod 的 label，使其和 Deployment 不一致，触发 Deployment 自动拉起一个新的 Pod。 跟踪新的 Pod 和老的 Pod 的日记，不雅察申请进来的情况。第三步 patch pod 的 label，是为了保留蓝本的 pod 实例，以便不雅察申请是否会分发到老的 Pod。(patch Pod 的 label 不会使 Pod 重启或退出，但是调动了 label，会使 Pod 脱离原 Deployment 的末端，因此触发 Deployment 新建一个 Pod)。
恶果和预期一致，当新的 Pod 照旧 ready，Endpoint 照旧出现了新的 Pod 的 IP，申请仍然会进到蓝本的 Pod 中。
基于以上的恶果，又通过屡次实验，不雅察 Kubernetes 节点上的 IPVS 轨则，发目下革新更新及之后一段时分，老的 podIP 还会出目下 IPVS 轨则中，不外 weight 为 0，手动删除后 weight 为 0 的 rs 后，问题就不再出现。到此，找到问题地点是 IPVS，但是为什么会这么呢，在搜索了关联的著作后，卤莽找到了原因。
诡异的 No route to host，讲到了 IPVS 的一个脾气：
也即是 IPVS 模块处理报文的主要进口，发现它会先在腹地会聚转发表看这个包是否照旧有对应的会聚了(匹配五元组)，若是有就说明它不是新会聚也就不会调整，径直发给这个会聚对应的之前照旧调整过的 rs(也不会判断权重);若是没匹配到说明这个包是新的会聚，就会走到调整这里 (rr，wrr 等调整计谋)。即：五元组(源IP地址、方针IP地址、合同号、源端口、方针端口)一致的情况下，IPVS 有可能不经过权重判断，径直将新的会聚当成存量会聚，转发到蓝本的 real server(即 PodIP)上。表面上这种情况在单一客户端大批申请的场景下，才有可能触发，这亦然诡异的 No route to host一文中模拟出的场景，即：
不同申请的源 IP 耐久是交流的，关键点在于源端口是否可能交流。由于 ServiceA 向 ServiceB 发起大批短会聚，ServiceA 地点节点就会有大批 TIME_WAIT 景象的会聚，需要等 2 分钟(2*MSL)才会算帐，企业物联网软件开发外包而由于会聚量太大，每次发起的会聚王人会占用一个源端口，当源端口不够用了，就会重用 TIME_WAIT 景象会聚的源端口，这个时候当报文干与 IPVS 模块，检测到它的五元组跟腹地会聚转发表中的某个会聚一致(TIME_WAIT 景象)，就合计它是一个存量会聚，然后径直将报文转发给这个会聚之前对应的 rs 上，但是这个 rs 对应的 Pod 早已焚烧，是以合手包看到的炫耀是将 SYN 发给了旧 Pod，而且无法收到 ACK，伴跟着复返 ICMP 奉告这个 IP 弗成达，也被运用诠释为 “No route to host”。
原因分析这里分析一下之前的测试中为何会出现两种不同的恶果。我一共进行了两次对比实验。
第一次，未加并发，通过 Nginx 和 通过 Service IP 进行访谒并对比。这组实验中，通过 Nginx 访谒复现了问题，而通过 Service IP 莫得，这个恶果也几乎将排查引入邪途。而目下分析一下，原因是因为目下的 Kubernetes 工作访谒进口的狡计，是集群外 Nginx 为系数这个词 Kubernetes 集群共用，是以 Nginx 的访谒量很高，这也导致 Nginx 向后端的 upstream(即 Service IP)发起会聚时，表面上源端口重用的概率较高(事实上经过合手包不雅察，如实几分钟内就会不雅察到屡次端口重用的炫耀)，因而更容易出现五元组叠加的情况。
第二次，一样的对比，此次加了并发，双方的案例王人复现了问题。这么，和上头著作中的场景雷同，由于加了并发，发布 ab 申请的机器，也出现了源端口不及而重用的情况，因此也复现了问题。
而认真环境出现的问题响应，和我第一次实验通过 Nginx 访谒得到复现，是团结个原因，天然单个运用的申请量远莫得达到能够触发五元组叠加的量级，但是集群中的系数运用申请量加起来，就会触发此问题。
搞定决策几种搞定决策，上头援用的著作中也王人提到，另外可参考isuue 81775，对这一问题及关联的搞定方式有许多的商讨。
鉴于目下咱们的工夫才和洽集群边界，暂时无法也无需进行 linux 内核级别的功能修改和考证，而且调研了业务运用，绝大部分以短会聚为主，咱们接受了一种简短径直的方式，在一定程度上幸免该问题。斥地一个自界说的程度，并以 Daemonset 的方式部署在每个 Kubernetes 的每个节点上。该程度通过 informer 机制监听集群 Endpoint 的变化，一朝监听到事件，便取得 Endpoint 过甚对应 Service 的信息，并由此找到其在本节点上对应产生的 IPVS 轨则，若是发目下 Virtual Service 下有 weight 为 0 的 Real Service，则立即删除此 Real Service。但是这一搞定方式，弗成幸免的捐躯了部分优雅退出的脾气。但是在概括了业务运用的脾气衡量之后，这如实是目下可接受的一种搞定方式(天然极其不优雅)。
想考是否应该如斯使用 Service?
回参谋题的原因，在咱们单一业务的申请量远未达到会触发五元组叠加这种小概率事件的瓶颈时，过早的碰到这一问题，和咱们对 Kubernetes 工作的进口网关的狡计有很大干系，买通 Service 和编造机的鸠合，使用外部 Nginx 看成进口网关，这种用法，在 Kubernetes 的现实中应该算瑕瑜常绝顶(致使可称为仙葩)，但是这一狡计，亦然由于目下业务的实例，存在大批编造机和容器混布的场景。教会是，在奉行和建造 Kubernetes 这种复杂系统时，尽量紧靠社区及大厂公开的坐褥最好现实，减少仅凭资历的或机械延用的方式进行架构狡计，不然很容易踩坑，事倍功半。
大小分析：最近5期大号表现活跃，开出了53枚，上期大号走热，开出了11枚，本期适当关注小 号回补，参考大小比10：10。
福彩快乐8第2024175期(上周三)回顾：07 09 12 15 17 19 32 33 40 47 48 49 55 58 62 65 66 69 70 73，其中奖号首尾间距为66，和值为846，最大间距为13，尾数分布为：尾数1、4包含0个号码物联网软件开发价格，尾数6包含1个号码，尾数0、3、8包含2个号码，尾数2、5、7包含3个号码，尾数9包含4个号码。