devops-4:Jenkins基于k8s cloud和docker cloud动态增减节点

2022-08-04

Jenkins管理动态节点

上文介绍Jenkins增加静态agent的步骤,除了静态增加外,还有动态管理的功能,两者最大的差异在于动态可以在有job运行时,临时加入一个agent到jenkins master,然后等job执行完毕之后,所加入的agent再自动删除掉,达到一个动态的增删节点效果,使所有的job都在远端的某个集群中执行。

目前执行动态扩缩节点的方式有docker cloud和k8s cloud。

docker cloud配置

  1. 首先需要安装docker插件,系统管理—>插件管理—>可选插件—>搜索docker,主要的有Docker 、docker pipeline插件,其他插件可以酌情下载。

  2. 配置docker守护进程,使其可以通过主机ip+端口的形式访问:

    vi /etc/systemd/system/docker.service

    ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:8376
    

    添加此配置后,重新启动docker,主机便会暴露8376端口,供客户端访问,需要注意安全问题,可以通过防火墙等安全设备对端口进行限制,也可以为此端口指定证书,必须有此端口证书和私钥才可以访问成功。

  3. 在Jenkins端配置docker cloud,系统管理—>节点管理—>Configure Clouds—>Add a new cloud—>Docker

  4. 配置Docker Cloud details,主要是配置地址+端口,如果有证书则也配置上证书。

    配置完成后,点击后边的Test Connection,显示出docker version 和 Api version后,表示连接成功。

  5. 配置Docker Agent templates,要修改的主要配置为以下几点:

    • Labels:agent的label,用于指定匹配该cloud
    • Name:用于加入Jenkins slave的名字前缀
    • Docker Image:用于创建临时节点的镜像,相当于有job要执行时,会docker run此镜像,然后以slave节点的方式加入到Jenkins Master,并将job在此slave节点执行,执行完毕后,会直接docker rm掉
    • Remote File System Root:临时节点的家目录
    • Connect method:节点的加入方式,一般选用Attach Docker container即可,jenkins master会直接将slave所需的代码复制到此节点中,并用容器内的java启动,所以使用此方式要满足两条硬条件:必须有java环境和container的CMD必须是/bin/bash或者为空

    其他一些不是特别重要的参数,例如:Pull timeout拉取超时时间、Pull strategy拉取策略等可以进行相应的调整。

测试使用docker cloud运行一个Pipeline

以上步骤全部完成之后,docker cloud就可以正常使用,下边创建一个测试流水线:

pipeline {
    agent {
        label 'java-maven-app'
    }
    options {
        buildDiscarder(logRotator(numToKeepStr: '10')) 
    }
    tools {
        maven 'apache-maven-3.8.6' 
    }
    stages {
        stage('mvn version') {
            steps {
                sh 'mvn -v'
            }
        }
        stage('java version') {
            steps {
                sh 'java -version'
            }
            post {
                always {
                    sh 'echo "test complete"'
                }
            }
        }
    }
}

开始执行流水线:

可见此流水线在名称为 java-maven-app-001ocj3t66f69 的节点中运行,再去查看节点列表,发现多了一个叫这个名字的节点:

再查看docker容器,发现刚刚运行了一个jenkins/agent的容器:

Pipeline执行完毕后,容器被摧毁,节点也被剔除,实现了动态的docker cloud管理。

Kubernetes Cloud配置

  1. 系统管理->插件管理->可选插件,搜索kubernetes直接安装

  2. k8s插件安装完毕后,开始添加云节点:系统管理—>节点管理—>Configure Clouds—>Add a new cloud—>Kubernetes

  3. 配置Kubernetes Cloud details,主要配置名称、k8s apiserver地址、jenkins地址、k8s服务证书以及加密成.pfx类型的证书key:

    apiserver地址和jenkins地址不用强调,都知道怎么填,重点需要强调两个证书:

    • Kubernetes 服务证书 key:这个实际就是你k8s集群的ca.crt证书,一般在/etc/kubernetes/pki/ca.crt,直接copy过来即可
    • 第二个主要是因为k8s apiserver是https的通信方式,所以要将其集群证书的公私钥打包成.pfx类型,然后提供给jenkins来访问

    这里需要手动生成第二个.pfx类型的证书

    (1)首先需要安装证书生成工具:

    # curl -s -L -o /usr/local/bin/cfssl https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 
    # curl -s -L -o /usr/local/bin/cfssljson https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 
    # curl -s -L -o /usr/local/bin/cfssl-certinfo https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 
    
    # chmod +x /usr/local/bin/cfssl*
    

    (2)然后准备证书签名请求

    vi jenkins-csr.json

    {
      "CN": "admin",
      "hosts": [],
      "key": {
        "algo": "rsa",
        "size": 2048
      },
      "names": [
        {
          "C": "CN",
          "ST": "BeiJing",
          "L": "XS",
          "O": "system:masters",
          "OU": "System"
        }
      ]
    }
    

    证书请求中的O 指定该证书的 Group 为 system:masters,而 RBAC 预定义的 ClusterRoleBinding 将 Group system:masters 与 ClusterRole cluster-admin 绑定,这就赋予了该证书具有所有集群权限 。

    (3)创建admin证书和私钥

    # cfssl gencert -ca=/etc/kubernetes/pki/ca.crt -ca-key=/etc/kubernetes/pki/ca.key --profile=kubernetes jenkins-csr.json | cfssljson -bare admin
    
    # ls
    admin-key.pem  admin.pem  jenkins-csr.json
    

    生成证书与key

    (4)生成.pfx类型证书

    # openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:jenkins
    # ls
    jenkins-admin.pfx 
    

    指定admin的公钥私钥生成jenkins-admin.pfx,并设置密码为jenkins

    (5)将证书添加至jenkins凭证中

    (6)最终再应用到k8s cloud中

    测试连接出现版本号即连接成功

  4. 配置Pod Templates

    主要配置标签和用法以及pod的出事YAML,其他像volume、network或secret等都可以再yaml中提前编写

    有kubernetes-agent标签的job会匹配到此agent

    定义的一个基础YAML模板,可以在里边定义更多的配置

    再就是要定义一下workspace采取什么形式,分别有这几种:

    根据自己需求,需不需要持久化来决定使用哪种方式

  5. 至此基本配置已经完成,还有一点需要注意,当有job要执行时,生成的pod中会有自己定义的一个容器和jenkins用于提供agent连接的容器,共两个,默认情况jenkins agent生成的容器会拉取jenkins/inbound-agent:4.11-1-jdk11这个镜像,可以提前下载下来,或者重新指定一个镜像:

编辑流水线测试使用Kubernetes cloud

新建任务—>pipeline—>拉到最下边选择Pipeline script form SCM—>SCM选择Git—>填写项目的URL及认证

—>指定分支—>指定脚本的路径

这个就表示会直接从你指定的代码仓库中去拉取代码,并根据仓库中指定的Jenkinsfile进行构建,代码仓库结构如下:

指定的Jenkinsfile文件内容如下:

pipeline {
    agent {
      kubernetes {
        cloud 'kubernetes-internal' //指定k8s cloud的名称
        label 'kubernetes-agent' //指定label
        defaultContainer 'example.com:5000/jenkins/agent:latest'  //可以指定运行的镜像,不指定会默认使用配置k8s cloud时的默认镜像
        inheritFrom 'jenkins-agent' //指定所用的podTemplate,其实是多余的,因为就算不指定,也会用配置k8s cloud时,配置的pod Template
        namespace 'default'
      }
    tools {
        maven 'apache-maven-3.8.6' 
    }
    options {
        buildDiscarder(logRotator(numToKeepStr: '10')) 
    }
    stages {
        stage('Build') {
            steps {
                sh 'mvn -B -DskipTests clean package'
            }
        }
        stage('Test') {
            steps {
                sh 'mvn test'
            }
            post {
                always {
                    junit 'target/surefire-reports/*.xml'
                }
            }
        }
        stage('Deliver') {
            steps {
                sh './jenkins/scripts/deliver.sh'
            }
        }
    }
}

执行结果:

以k8s pod为agent的临时节点已经加入:

k8s中pod也已经启动,Pipeline执行结束后,自动摧毁。