1 kubectl apply无法移除annotation

我平时喜欢用yaml进行部署应用，最近使用kubectl apply发现一个问题。我使用kubectl rollout restart重启应用，kubectl会在spec.template.metadata.annotations添加kubectl.kubernetes.io/restartedAt: <current time>。然后我再更新yaml文件进行kubectl apply后，并没有将annotation里kubectl.kubernetes.io/restartedAt: "2022-07-26T11:44:32+08:00"删除掉。

首先感谢karmada社区提供的kubeCon票，并在现场遇到了zhen chang、hongcai Ren、Wei jiang等karmada的核心贡献和维护者。

往年参加技术大会，如雁过无痕，没有留下深刻印象，没有收到收获。这次强迫自己记录一下，加深映像总结收获。

由于对在离线混部感兴趣，所以听的分享基本都跟这个有关系。

更新：kubecon china 2023的所有视频录像已经出来了，YouTube地址，微信公众号文章

PPT地址：https://kccncosschn2023.sched.com/?iframe=no

istioCon china 2023 PPT：https://istioconchina2023.sched.com/ https://github.com/cloudnativeto/academy/tree/master/istiocon-china-2023

dns服务器作为基础设施，一般很少变更。如果dns服务器ip发生变化了，怎么更换kubernetes节点的dns配置？

1 平常操作方法

更换节点步骤，直接替换/etc/resolv.conf文件里的dns服务器ip。

1 karmada是什么？

karmada是一个kubernetes多集群管理系统，它可以保持原有使用apiserver的方式，将资源分布到多个集群中。提供了跨云多集群多模式管理、多策略的多集群调度、应用的跨集群故障转移、全局统一资源视图、多集群的服务发现和FederatedHPA能力。它的设计思路继承了集群联邦v2，目前是cncf的sandbox开源项目。

1 背景：

使用kubebuilder来开发vpa相关的operator，这个operator会watch集群里的所有的vpa创建和删除和更新，controller-runtime提供了predictate来过滤调不需要的事件，使用predicate.GenerationChangedPredicate过滤掉vpa更新status。但是却发现vpa的status更新（由vpa-recommender更新推荐值）也触发了Reconcile。

遇到奇怪的现象：spark生成的job pod大概率都调度到同一节点，即不同的job的pod都会调度到同一节点，pod过于集中在某个节点上，出现调度不均衡现象。节点没有任何污点，节点资源空闲程度差不多。job没有任何nodeSelector、nodeAffinity、nodeName、PodTopologySpread。

vpa介绍

vpa全称Vertical Pod Autoscaler ，它是google论文Autopilot: Workload Autoscaling at Google Scale的开源实现。它根据pod里的container的历史监控数据来推荐container的request资源，即vpa扩容是直接修改pod里的resource的request、limit（可以在vpa资源里配置只修改request或limit和request都修改）。