5.5. 基于 Helm 的 Operator

流程

1. 创建一个项目。

   1. 创建您的项目目录：

      $ mkdir nginx-operator

   2. 切换到项目所在的目录：

      $ cd nginx-operator

   3. 使用 helm 插件运行 operator-sdk init 命令以初始化项目：

      $ operator-sdk init \
          --plugins=helm

2. 创建 API。

   创建简单的 Nginx API：

   $ operator-sdk create api \
       --group demo \
       --version v1 \
       --kind Nginx

   此 API 使用 helm create 命令的内置 Helm Chart 网卡。

3. 构建并推送 Operator 镜像。

   使用默认的 Makefile 目标来构建和推送 Operator。使用镜像的 pull spec 设置 IMG，该 spec 使用您可推送到的 registry：

   $ make docker-build docker-push IMG=<registry>/<user>/<image_name>:<tag>

4. 运行 Operator。

   1. 安装 CRD：

      $ make install

   2. 将项目部署到集群中。将 IMG 设置为您推送的镜像：

      $ make deploy IMG=<registry>/<user>/<image_name>:<tag>

5. 添加安全性上下文约束(SCC)。

   Nginx 服务帐户需要特权访问权限才能在 OpenShift Container Platform 中运行。将以下 SCC 添加到 nginx-sample pod 的服务帐户中：

   $ oc adm policy add-scc-to-user \
       anyuid system:serviceaccount:nginx-operator-system:nginx-sample

6. 创建示例自定义资源（CR）。

   1. 创建一个示例 CR：

      $ oc apply -f config/samples/demo_v1_nginx.yaml \
          -n nginx-operator-system

   2. 查看 CR 协调 Operator：

      $ oc logs deployment.apps/nginx-operator-controller-manager \
          -c manager \
          -n nginx-operator-system

7. 删除 CR

   运行以下命令来删除 CR：

   $ oc delete -f config/samples/demo_v1_nginx.yaml -n nginx-operator-system

8. 清理。

   运行以下命令清理在此流程中创建的资源：

   $ make undeploy

流程

1. 为项目创建一个目录：

   $ mkdir -p $HOME/projects/nginx-operator

2. 进入该目录：

   $ cd $HOME/projects/nginx-operator

3. 使用 helm 插件运行 operator-sdk init 命令以初始化项目：

   $ operator-sdk init \
       --plugins=helm \
       --domain=example.com \
       --group=demo \
       --version=v1 \
       --kind=Nginx

   注意

   默认情况下，helm 插件使用样板 Helm Chart 初始化项目。您可以使用其他标记（如 --helm-chart 标志）使用现有 Helm chart 初始化项目。

   init 命令创建 nginx-operator 项目，专门用于监视 API 版本为 example.com/v1 和 kind Nginx 的资源。

4. 对于基于 Helm 的项目，init 命令根据 chart 的默认清单部署的资源，在 config/rbac/role.yaml 文件中生成 RBAC 规则。验证此文件生成的规则是否满足 Operator 的权限要求。

流程

1. 通过添加 overrideValues 字段来编辑 watches.yaml 文件，使其包含基于环境变量的覆盖：

   ...
   - group: demo.example.com
     version: v1alpha1
     kind: Nginx
     chart: helm-charts/nginx
     overrideValues:
       proxy.http: $HTTP_PROXY
   ...

2. 在 helm-charts/nginx/values.yaml 文件中添加 proxy.http 值：

   ...
   proxy:
     http: ""
     https: ""
     no_proxy: ""

3. 要确保 Chart 模板支持使用变量，请编辑 helm-charts/nginx/templates/deployment.yaml 文件中的 chart 模板，使其包含以下内容：

   containers:
     - name: {{ .Chart.Name }}
       securityContext:
         - toYaml {{ .Values.securityContext | nindent 12 }}
       image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"
       imagePullPolicy: {{ .Values.image.pullPolicy }}
       env:
         - name: http_proxy
           value: "{{ .Values.proxy.http }}"

4. 通过在 config/manager/manager.yaml 文件中添加以下内容来设置 Operator 部署上的环境变量：

   containers:
    - args:
      - --leader-elect
      - --leader-election-id=ansible-proxy-demo
      image: controller:latest
      name: manager
      env:
        - name: "HTTP_PROXY"
          value: "http_proxy_test"

流程

1. 切换到安装 Operator 的命名空间。例如，如果使用 make deploy 命令部署 Operator：

   $ oc project nginx-operator-system

2. 编辑 config/samples/demo_v1_nginx.yaml 中的 Nginx CR 清单示例，使其包含以下规格：

   apiVersion: demo.example.com/v1
   kind: Nginx
   metadata:
     name: nginx-sample
   ...
   spec:
   ...
     replicaCount: 3

3. Nginx 服务帐户需要特权访问权限才能在 OpenShift Container Platform 中运行。将以下安全性上下文约束 (SCC) 添加到 nginx-sample pod 的服务帐户中：

   $ oc adm policy add-scc-to-user \
       anyuid system:serviceaccount:nginx-operator-system:nginx-sample

4. 创建 CR:

   $ oc apply -f config/samples/demo_v1_nginx.yaml

5. 确保 Nginx Operator 为示例 CR 创建部署，其大小正确：

   $ oc get deployments

   输出示例

   NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
   nginx-operator-controller-manager       1/1     1            1           8m
   nginx-sample                            3/3     3            3           1m

6. 检查 pod 和 CR 状态，以确认其状态是否使用 Nginx pod 名称更新。

   1. 检查 pod:

      $ oc get pods

      输出示例

      NAME                                  READY     STATUS    RESTARTS   AGE
      nginx-sample-6fd7c98d8-7dqdr          1/1       Running   0          1m
      nginx-sample-6fd7c98d8-g5k7v          1/1       Running   0          1m
      nginx-sample-6fd7c98d8-m7vn7          1/1       Running   0          1m

   2. 检查 CR 状态：

      $ oc get nginx/nginx-sample -o yaml

      输出示例

      apiVersion: demo.example.com/v1
      kind: Nginx
      metadata:
      ...
        name: nginx-sample
      ...
      spec:
        replicaCount: 3
      status:
        nodes:
        - nginx-sample-6fd7c98d8-7dqdr
        - nginx-sample-6fd7c98d8-g5k7v
        - nginx-sample-6fd7c98d8-m7vn7

7. 更新部署大小。

   1. 更新 config/samples/demo_v1_nginx.yaml 文件，将 Nginx CR 中的 spec.size 字段从 3 改为 5：

      $ oc patch nginx nginx-sample \
          -p '{"spec":{"replicaCount": 5}}' \
          --type=merge

   2. 确认 Operator 已更改部署大小：

      $ oc get deployments

      输出示例

      NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
      nginx-operator-controller-manager       1/1     1            1           10m
      nginx-sample                            5/5     5            5           3m

8. 运行以下命令来删除 CR：

   $ oc delete -f config/samples/demo_v1_nginx.yaml

9. 清理本教程中创建的资源。

   • 如果使用 make deploy 命令来测试 Operator，请运行以下命令：

     $ make undeploy

   • 如果使用 operator-sdk run bundle 命令来测试 Operator，请运行以下命令：

     $ operator-sdk cleanup <project_name>

流程

1. 对 config/default/manager_auth_proxy_patch.yaml 文件进行以下更改：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: controller-manager
     namespace: system
   spec:
     template:
       spec:
         containers:
         - name: kube-rbac-proxy
           image: registry.redhat.io/openshift4/ose-kube-rbac-proxy:v4.12 1
           args:
           - "--secure-listen-address=0.0.0.0:8443"
           - "--upstream=http://127.0.0.1:8080/"
           - "--logtostderr=true"
           - "--v=0"
   ...

   1

   将标签版本从 v4.11 更新至 v4.12。

2. 对 Makefile 进行以下更改：

   1. 要启用多架构构建支持，请将 docker-buildx 目标添加到项目的 Makefile 中：

      Makefile示例

      # PLATFORMS defines the target platforms for  the manager image be build to provide support to multiple
      # architectures. (i.e. make docker-buildx IMG=myregistry/mypoperator:0.0.1). To use this option you need to:
      # - able to use docker buildx . More info: https://docs.docker.com/build/buildx/
      # - have enable BuildKit, More info: https://docs.docker.com/develop/develop-images/build_enhancements/
      # - be able to push the image for your registry (i.e. if you do not inform a valid value via IMG=<myregistry/image:<tag>> than the export will fail)
      # To properly provided solutions that supports more than one platform you should use this option.
      PLATFORMS ?= linux/arm64,linux/amd64,linux/s390x,linux/ppc64le
      .PHONY: docker-buildx
      docker-buildx: test ## Build and push docker image for the manager for cross-platform support
      	# copy existing Dockerfile and insert --platform=${BUILDPLATFORM} into Dockerfile.cross, and preserve the original Dockerfile
      	sed -e '1 s/\(^FROM\)/FROM --platform=\$$\{BUILDPLATFORM\}/; t' -e ' 1,// s//FROM --platform=\$$\{BUILDPLATFORM\}/' Dockerfile > Dockerfile.cross
      	- docker buildx create --name project-v3-builder
      	docker buildx use project-v3-builder
      	- docker buildx build --push --platform=$(PLATFORMS) --tag ${IMG} -f Dockerfile.cross
      	- docker buildx rm project-v3-builder
      	rm Dockerfile.cross

   2. 要在 Operator 项目中启用对 64 位 ARM 架构的支持，请对 Makefile 进行以下更改：

      旧 Makefile

      OS := $(shell uname -s | tr '[:upper:]' '[:lower:]')
      ARCH := $(shell uname -m | sed 's/x86_64/amd64/')

      新的 Makefile

      OS := $(shell uname -s | tr '[:upper:]' '[:lower:]')
      ARCH := $(shell uname -m | sed 's/x86_64/amd64/' |  sed 's/aarch64/arm64/')

   3. 将 Kustomize 版本更新至 v4.5.5，如下例所示：

      旧 Makefile

      .PHONY: kustomize
      KUSTOMIZE = $(shell pwd)/bin/kustomize
      kustomize: ## Download kustomize locally if necessary.
      ifeq (,$(wildcard $(KUSTOMIZE)))
      ifeq (,$(shell which kustomize 2>/dev/null))
      	@{ \
      	set -e ;\
      	mkdir -p $(dir $(KUSTOMIZE)) ;\
      	curl -sSLo - https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize/v3.8.7/kustomize_v3.8.7_$(OS)_$(ARCH).tar.gz | \
      	tar xzf - -C bin/ ;\
      	}
      else

      新的 Makefile

      .PHONY: kustomize
      KUSTOMIZE = $(shell pwd)/bin/kustomize
      kustomize: ## Download kustomize locally if necessary.
      ifeq (,$(wildcard $(KUSTOMIZE)))
      ifeq (,$(shell which kustomize 2>/dev/null))
      	@{ \
      	set -e ;\
      	mkdir -p $(dir $(KUSTOMIZE)) ;\
      	curl -sSLo - https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize/v4.5.5/kustomize_v4.5.5_$(OS)_$(ARCH).tar.gz | \ 1
      	tar xzf - -C bin/ ;\
      	}
      else

      1

      将版本 v3.8.7 更新至 v4.5.5。

      重要

      Kustomize 版本 4.0.0 删除了 go-getter 插件，并引入了破坏与早期版本不向后兼容的更改。依赖于较旧版本的 Kustomize 的 Operator 项目可能无法与较新的版本一起使用。

   4. 要将更改应用到 Makefile 并重建 Operator，请输入以下命令：

      $ make

3. 更新 Operator Dockerfile 中的镜像标签，如下例所示：

   Dockerfile 示例

   FROM registry.redhat.io/openshift4/ose-helm-operator:v4.12 1

   1

   将 version 标签更新至 v4.12。

4. 更新 config/default/kustomizations.yaml 文件，如下例所示：

   kustomizations.yaml 文件示例

   # Adds namespace to all resources.
   namespace: memcached-operator-system
   # Value of this field is prepended to the
   # names of all resources, e.g. a deployment named
   # "wordpress" becomes "alices-wordpress".
   # Note that it should also match with the prefix (text before '-') of the namespace
   # field above.
   namePrefix: memcached-operator-
   
   # Labels to add to all resources and selectors.
   #labels: 1
   #- includeSelectors: true 2
   #  pairs:
   #    someName: someValue
   
   resources: 3
   - ../crd
   - ../rbac
   - ../manager

   1

   将 commonLabels 字段替换为 labels 字段。

   2

   添加 includeSelectors: true。

   3

   将 bases 字段替换为 resources 字段。

流程

1. 为项目创建一个目录：

   $ mkdir -p $HOME/github.com/example/memcached-operator

2. 进入该目录：

   $ cd $HOME/github.com/example/memcached-operator

3. 运行 operator-sdk init 命令以初始化项目。使用域 example.com，所有 API 组都为 <group>.example.com:

   $ operator-sdk init \
       --plugins=hybrid.helm.sdk.operatorframework.io \
       --project-version="3" \
       --domain example.com \
       --repo=github.com/example/memcached-operator

   init 命令根据 chart 的默认清单部署的资源，在 config/rbac/role.yaml 文件中生成 RBAC 规则。验证 config/rbac/role.yaml 文件中生成的规则是否满足您的 Operator 的权限要求。

流程

1. 运行以下命令，使用组 cache、版本 v1 和 kind MemcachedBackup 创建 Go API：

   $ operator-sdk create api \
       --group=cache \
       --version v1 \
       --kind MemcachedBackup \
       --resource \
       --controller \
       --plugins=go/v3

2. 提示时，输入 y 来创建资源和控制器：

   $ Create Resource [y/n]
   y
   Create Controller [y/n]
   y

流程

1. 运行以下 make 命令来构建和推送 Operator 镜像。在以下步骤中修改 IMG 参数来引用您可访问的库。您可以获取在存储库站点（如 Quay.io）存储容器的帐户。

   1. 构建镜像：

      $ make docker-build IMG=<registry>/<user>/<image_name>:<tag>

      注意

      由 SDK 为 Operator 生成的 Dockerfile 需要为 go build 明确引用 GOARCH=amd64。这可以在非 AMD64 构架中使用 GOARCH=$TARGETARCH。Docker 自动将环境变量设置为 -platform 指定的值。对于 Buildah，需要使用 -build-arg 来实现这一目的。如需更多信息，请参阅多个架构。

   2. 将镜像推送到存储库：

      $ make docker-push IMG=<registry>/<user>/<image_name>:<tag>

      注意

      镜像的名称和标签，如 IMG=<registry> /<user> /<image_name>:<tag>，在两个命令中都可在您的 Makefile 中设置。修改 IMG ?= controller:latest 值来设置您的默认镜像名称。

2. 运行以下命令来部署 Operator：

   $ make deploy IMG=<registry>/<user>/<image_name>:<tag>

   默认情况下，这个命令会创建一个带有 Operator 项目名称的命名空间，格式为 <project_name>-system，用于部署。此命令还从 config/rbac 安装 RBAC 清单。

3. 运行以下命令验证 Operator 是否正在运行：

   $ oc get deployment -n <project_name>-system

   输出示例

   NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
   <project_name>-controller-manager       1/1     1            1           8m

流程

1. 切换到安装 Operator 的命名空间：

   $ oc project <project_name>-system

2. 通过将 replicaCount 字段更新为 3，更新 config/samples/cache_v1_memcached.yaml 文件中的 Memcached CR 清单示例：

   例 5.7. config/samples/cache_v1_memcached.yaml 文件示例

   apiVersion: cache.my.domain/v1
   kind: Memcached
   metadata:
     name: memcached-sample
   spec:
     # Default values copied from <project_dir>/helm-charts/memcached/values.yaml
     affinity: {}
     autoscaling:
       enabled: false
       maxReplicas: 100
       minReplicas: 1
       targetCPUUtilizationPercentage: 80
     fullnameOverride: ""
     image:
       pullPolicy: IfNotPresent
       repository: nginx
       tag: ""
     imagePullSecrets: []
     ingress:
       annotations: {}
       className: ""
       enabled: false
       hosts:
       - host: chart-example.local
         paths:
         - path: /
           pathType: ImplementationSpecific
       tls: []
     nameOverride: ""
     nodeSelector: {}
     podAnnotations: {}
     podSecurityContext: {}
     replicaCount: 3
     resources: {}
     securityContext: {}
     service:
       port: 80
       type: ClusterIP
     serviceAccount:
       annotations: {}
       create: true
       name: ""
     tolerations: []

3. 创建 Memcached CR：

   $ oc apply -f config/samples/cache_v1_memcached.yaml

4. 确保 Memcached Operator 为示例 CR 创建部署，其大小正确：

   $ oc get pods

   输出示例

   NAME                                  READY     STATUS    RESTARTS   AGE
   memcached-sample-6fd7c98d8-7dqdr      1/1       Running   0          18m
   memcached-sample-6fd7c98d8-g5k7v      1/1       Running   0          18m
   memcached-sample-6fd7c98d8-m7vn7      1/1       Running   0          18m

5. 通过将 size 更新至 2，更新 config/samples/cache_v1_memcachedbackup.yaml 文件中的 MemcachedBackup CR 清单示例：

   例 5.8. config/samples/cache_v1_memcachedbackup.yaml 文件示例

   apiVersion: cache.my.domain/v1
   kind: MemcachedBackup
   metadata:
     name: memcachedbackup-sample
   spec:
     size: 2

6. 创建 MemcachedBackup CR：

   $ oc apply -f config/samples/cache_v1_memcachedbackup.yaml

7. 确保 memcachedbackup pod 的数量与 CR 中指定的相同：

   $ oc get pods

   输出示例

   NAME                                        READY     STATUS    RESTARTS   AGE
   memcachedbackup-sample-8649699989-4bbzg     1/1       Running   0          22m
   memcachedbackup-sample-8649699989-mq6mx     1/1       Running   0          22m

8. 您可以更新以上每个 CR 中的 spec，然后再次应用它们。控制器再次进行协调，并确保按照相应 CR 的 spec 中指定 pod 的大小。

9. 清理本教程中创建的资源：

   1. 删除 Memcached 资源：

      $ oc delete -f config/samples/cache_v1_memcached.yaml

   2. 删除 MemcachedBackup 资源：

      $ oc delete -f config/samples/cache_v1_memcachedbackup.yaml

   3. 如果使用 make deploy 命令来测试 Operator，请运行以下命令：

      $ make undeploy

流程

1. 对 config/default/manager_auth_proxy_patch.yaml 文件进行以下更改：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: controller-manager
     namespace: system
   spec:
     template:
       spec:
         containers:
         - name: kube-rbac-proxy
           image: registry.redhat.io/openshift4/ose-kube-rbac-proxy:v4.12 1
           args:
           - "--secure-listen-address=0.0.0.0:8443"
           - "--upstream=http://127.0.0.1:8080/"
           - "--logtostderr=true"
           - "--v=0"
   ...

   1

   将标签版本从 v4.11 更新至 v4.12。

2. 对 Makefile 进行以下更改：

   1. 要启用多架构构建支持，请将 docker-buildx 目标添加到项目的 Makefile 中：

      Makefile示例

      # PLATFORMS defines the target platforms for  the manager image be build to provide support to multiple
      # architectures. (i.e. make docker-buildx IMG=myregistry/mypoperator:0.0.1). To use this option you need to:
      # - able to use docker buildx . More info: https://docs.docker.com/build/buildx/
      # - have enable BuildKit, More info: https://docs.docker.com/develop/develop-images/build_enhancements/
      # - be able to push the image for your registry (i.e. if you do not inform a valid value via IMG=<myregistry/image:<tag>> than the export will fail)
      # To properly provided solutions that supports more than one platform you should use this option.
      PLATFORMS ?= linux/arm64,linux/amd64,linux/s390x,linux/ppc64le
      .PHONY: docker-buildx
      docker-buildx: test ## Build and push docker image for the manager for cross-platform support
      	# copy existing Dockerfile and insert --platform=${BUILDPLATFORM} into Dockerfile.cross, and preserve the original Dockerfile
      	sed -e '1 s/\(^FROM\)/FROM --platform=\$$\{BUILDPLATFORM\}/; t' -e ' 1,// s//FROM --platform=\$$\{BUILDPLATFORM\}/' Dockerfile > Dockerfile.cross
      	- docker buildx create --name project-v3-builder
      	docker buildx use project-v3-builder
      	- docker buildx build --push --platform=$(PLATFORMS) --tag ${IMG} -f Dockerfile.cross
      	- docker buildx rm project-v3-builder
      	rm Dockerfile.cross

   2. 要将更改应用到 Makefile 并重建 Operator，请输入以下命令：

      $ make

3. 要更新 Go 及其依赖项，请对 go.mod 文件进行以下更改：

   go 1.19 1
   
   require (
     github.com/onsi/ginkgo/v2 v2.1.4 2
     github.com/onsi/gomega v1.19.0 3
     k8s.io/api v0.25.0 4
     k8s.io/apimachinery v0.25.0 5
     k8s.io/client-go v0.25.0 6
     sigs.k8s.io/controller-runtime v0.13.0 7
   )

   1

   将版本 1.18 更新至 1.19。

   2

   将版本 v1.16.5 更新至 v2.1.4。

   3

   将版本 v1.18.1 更新至 v1.19.0。

   4

   将版本 v0.24.0 更新至 v0.25.0。

   5

   将版本 v0.24.0 更新至 v0.25.0。

   6

   将版本 v0.24.0 更新至 v0.25.0。

   7

   将版本 v0.12.1 更新至 v0.13.0。

4. 要下载更新的版本，清理依赖项并应用 go.mod 文件中的更改，请运行以下命令：

   $ go mod tidy