Kubernetes operator（一）client-go篇

云原生学习路线导航页（持续更新中）

  • 本文是 Kubernetes operator学习 系列第一篇，主要对client-go进行学习，从源码阅读角度，学习client-go各个组件的实现原理、如何协同工作等
  • 参考视频：Bilibili 2022年最新k8s编程operator篇，UP主：白丁云原生
  • 本文引用声明
    • 部分内容来自 白丁云原生 所提供 资料:链接: https://pan.baidu.com/s/1BibLAishAFJLeTyYCLnlbA 提取码: en2p
    • 部分来自：https://zhuanlan.zhihu.com/p/573982128
    • 并根据个人理解进行了汇总和修改

在这里插入图片描述

1.为什么要学习 Client-go

  • 为了适应更多的业务场景，k8s提供了很多的扩展点，用于满足更复杂的需求
  • K8s的扩展点如下：
    在这里插入图片描述
  • ① kubectl
    • 用户通过kubectl与ApiServer进行交互，kubectl提供了插件，可以扩展kubectl的行为，但是这些插件只能影响用户本地的环境
  • ② API Server
    • 处理所有的请求，可以对用户请求进行 身份认证、基于其内容阻止请求、编辑请求内容、处理删除操作等等。
    • 这个扩展点应该说的是：用户可以 自定义 API Server
  • ③ k8s提供的内置资源
    • 我们无法修改，只能通过 annotation、label 控制他们
  • ④ CRD
    • 自定义资源，配合 自定义控制器Custom Controller，扩展k8s的特定业务场景
  • ⑤ scheduler
    • 调度器，决定k8s把Pod放到哪个节点执行。k8s提供了多种方式扩展调度行为
  • ⑥ Controller Manager
    • 实际上也是k8s的一个客户端，通过与API Server交互。k8s的每种资源都有对应的控制器，都属于ControllerManager
    • client-go本质上就是一个与apiserver交互的库，所以Controller Manager也是通过 client-go 库与 API Server交互的
  • ⑦ Custom Controller
    • 自定义控制器，可以控制 内置资源，也可以控制自定义资源CRD
  • ⑧ kubelet
    • 使用CNI：使得k8s可以使用不同技术，连接Pod网络
    • 使用CSI：使得k8s可以支持不同的存储类型
    • 使用CRI：使得k8s可以支持不同的容器运行时
  • ⑨ client-go
    • 一个通用的Golang库，用于和 apiserver 交互
    • 不管是k8s的各个组件，还是我们自己为CRD开发Custom Controller，都需要使用 client-go 与 API Server 进行通信

综上所述，要想学习 Operator，使用 CRD + Custom Controller 扩展kubernetes功能，必须先学习 Client-go 库，学会如何与APIServer进行交互

2.client-go架构

2.1.client-go 源代码目录介绍

  • github地址：https://github.com/kubernetes/client-go
    在这里插入图片描述
  • discovery：用于发现API Server都是支持哪些API。kubectl apiversions使用了同样的机制
  • dynamic：包含了kubernetes dynamic client的逻辑，可以操作任意的k8s资源API对象，包括内置的、自定义的资源对象
  • informers：包含了所有内置资源的informer，便于操作k8s的资源对象
  • kubernetes：包含了访问Kubernetes API的 所有ClientSet
  • listers：包含了所有内置资源的lister，用于读取缓存中k8s资源对象的信息
  • plugin/pkg/client/auth：包含所有可选的认证插件，用于从外部获取credential（凭证）
  • tools：包含一系列工具，编写控制器时会用到很多里面的工具方法
  • transport：包含了创建连接、认证的逻辑，会被上层的ClientSet使用

2.2.client-go 架构

图片参考来源：https://zhuanlan.zhihu.com/p/573982128
在这里插入图片描述
下面先介绍各组件整体的运转流程，然后对 client-go 和 一个 CRDController 应该包含哪些组件进行详细介绍。

  • 整体流程简介：
    • Reflector会持续监听k8s集群中指定资源类型的API，当发现变动和更新时，就会创建一个发生变动的 对象副本，并将其添加到队列DeltaFIFO中
    • Informer监听DeltaFIFO队列，取出对象，做两件事：
      • （1）将对象加入Indexer，Indexer 会将 [对象key, 对象] 存入一个线程安全的Cache中
      • （2）根据对象的 资源类型和操作，找到对应 Controller 预先提供的 Resource Event Handler，调用Handler，将对象的Key加入该 Controller 的 Workqueue
    • Controller 的循环函数 ProcessItem，监听到 Workqueue 有数据了，就会取出一个key，交给处理函数Worker，Worker 会根据 Key，使用 Indexer reference 从 Cache 中 获取 该key对应的 真实对象。然后就可以进行调谐了。
    • 注意点
      • DeltaFIFO 中 存的是 对象副本
      • Cache 中 存的是 [对象key, 对象] 的映射
      • Workqueue 中存的是 对象Key
      • CRDController 中，使用Informer对象，是为了向其中添加一些 Resource Event Handlers
      • CRDController 中，使用Indexer对象，是为了根据对象Key，获取对象实例
  • client-go组件
    • Reflector
      • reflector会一直监听kubernetes中指定资源类型的API，实现监听的函数就是ListAndWatch。这种监听机制既适用于k8s的内建资源，也适用于自定义资源。
      • 当reflector通过监听API发现资源对象实例存在新的 notification 时，它就会使用 listing API 获取这个新的实例对象，并将其放入 watchHandler 函数内的 DeltaFIFO 中；
    • Informer
      • Informer 会从 Delta FIFO 中取出对象。实现这个功能的方法对应源码中的 processLoop；
      • Informer 取出对象后，根据Resource类型，调用对应的 Resource Event Handler 回调函数，该函数实际上由某个具体的 Controller 提供，函数中会获取对象的 key，并将 key 放入到 该Controller 内部的 Workqueue 中，等候处理。
    • Indexer 和 Thread Safe Store
      • Indexer 会提供对象的索引功能，通常是基于对象Key来创建索引。默认索引函数是MetaNamespaceKeyFunc， 它生成的索引键为/格式。
      • Indexer 维护着一个线程安全的 Cache，即 Thread Safe Store。存储的是[对象key, 对象]，用对象Key可以进行获取对象实例。
    • Resource Event Handlers reference
      • 这实际上是所有Controller的Resource Event Handlers的引用。
      • 这些 handlers 由具体的Controller提供，就是 Informer 的回调函数。Informer 会根据资源的类型，调用对应Controller的 handler 方法
      • handler 通常都是用于将资源对象的key放入到 该Controller 内部的 Workqueue 中，等候处理。
  • 自定义控制器组件
    • Informer reference
      • Informer reference 是 Informer 实例对象的引用，用于操作和处理自定义资源对象
      • 我们编写自定义控制器时，需要引用自己需要的Informer，向其中加入一系列 Resource Event Handlers
    • Indexer reference
      • Indexer reference 是 Indexer实例对象的引用，用于根据对象Key索引资源对象
      • 我们编写自定义控制器时，应该创建Indexer的引用，将对象Key传给它，就可以获取想要处理的对象
      • NewIndexerInformer函数
        • client-go中的基本控制器提供了 NewIndexerInformer 函数，用于创建Informer和Indexer。
        • 可以直接使用NewIndexerInformer 函数，或者也可以使用工厂方法来创建Informer
    • Resource Event Handlers
      • 由具体的 Controller 给 Client-go 的Informer 提供的回调函数，获取待处理对象的key，并将key放入到Workqueue中。
    • Workqueue
      • 此队列是 具体的Controller 内部创建的队列，用于暂时存储从Resource event handler 中 传递过来的，待处理对象的Key。
      • Resource event handler 函数通常会获取待处理对象的key，并将key放入到这个workqueue中。
    • Process Item
      • 这个函数为循环函数，它不断从 Work queue 中取出对象的key，并使用 Indexer Reference 获取这个key对应的具体资源对象，然后根据资源的变化，做具体的调谐 Reconcile 动作。

2.3.使用client-go编写Controller的步骤

  • 根据2.2中所述，编写一个 自定义Controller，需要实现如下功能。
    • 先从client-go中获取对应资源的 Informer
    • 提供 一系列的 Resource event handlers，并加入对应的Informer，供该informer回调
    • 提供一个 Workqueue 队列，存储待处理的对象的Key
    • 提供一个 循环函数 ProcessItem，不断从 Workqueue 中取出对象的key，交给 处理函数 Worker
      • 提供一个 处理函数 Worker，根据对象Key，使用对应资源的Indexer，获取到该对象的实例，根据对象的属性变化，做真正的调谐过程。