linuxea:gitlab和jenkins自动和手动触发构建(6)
登录
标签搜索
侧边栏壁纸
博主昵称
marksugar

  • 累计撰写 690 篇文章
  • 累计收到 139 条评论
gitops

linuxea:gitlab和jenkins自动和手动触发构建(6)

marksugar
marksugar
2022-07-01 / 0 评论 / 1,859 阅读 / 正在检测是否收录...

在前面几章里面，我们配置了基本的组件，围绕java构建配置了nexus3，配置了skywalking，能够打包和构建镜像，但是我们需要将这些串联起来，组成一个流水线，并且需要将skywalking的agent打包在镜像内，并配置必要的参数。

与此同时，我们使用一个简单的实现方式用作在jenkins上，那就是pipeline和部分groovy语法的函数，至少来完成一下场景。

场景1： A方希望提交代码或者打TAG来触发jenkins构建，在构建之前使用sonarqube进行代码扫描，并且配置简单的阈值。而后去上述的流水线整合。

按道理，sonarqube的配置是有一些讲究的，处于整体考虑sonarqube只用作流水线管道的一部分，本次不去考虑sonarqube的代码扫描策略，也不会将扫描结果关联到gitlab，只是仅仅将文件反馈到Jenkins。这些在后面如果有时间在进行配置

在本次中我只仅仅使用pipeline，并不是共享库。

阅读此篇，你将了解如下列表中简单的实现方式：

  • jenkins和gitlab触发(本章实现)
  • jenkins凭据使用(本章实现)
  • juit配置
  • sonarqube简单扫描
  • 配置docker中构建docker
  • 打包基于java的skywalking agent(本章实现)
  • 基于gitlab来管理kustomize的k8s配置清单
  • kubectl部署
  • kubeclt deployment的状态跟踪
  • 钉钉消息的构建状态推送

拓扑如下图：
image-20220629231142134.png

1.添加skywalking agent

此前在基于nexus3代码构建和harbor镜像打包(3)一骗你中，我们已经有了一个java-hello-world的包，提供了一个8086的端口，并且我们将Dockerfile之类的都已准备妥当，此时延续此前的流程继续走。如果没有，在此页面克隆。

1.现在我们下载一个skywaling的agent(8.11.0)端来到Dockerfile中，要实现，需要下载包到jenkins服务器上，或者打在镜像内。

https://www.apache.org/dyn/closer.cgi/skywalking/java-agent/8.11.0/apache-skywalking-java-agent-8.11.0.tgz

2.gitlab上创建一个java组，创建一个java-demo的项目，将代码和代码中的Dockerfile推送到gitlab仓库中

3.在Dockerfile中添加COPY agent，并在启动的时候添加到启动命令中，如下

docker-compose中映射关系中，/data/jenkins-latest/package:/usr/local/package。于是我们将skywalking包存放在/data/jenkins-latest/package下，而后在Dockerfile中/usr/local/package的路径即可

COPY /usr/local/package/skywalking-agent /skywalking-agent

而后启动的时候引入到启动命令中

 -javaagent:/skywalking-agent/skywalking-agent.jar
CMD java ${JAVA_OPTS} -javaagent:/skywalking-agent/skywalking-agent.jar -jar *.jar

Dockerfile如下

我们需要修改下目录 结构，提前创建/skywalking-agent/logs并且授权
并且，skywalking-agent目录需要提前在流水线中复制到当前目录中来
FROM registry.cn-hangzhou.aliyuncs.com/marksugar/jdk:8u202
MAINTAINER by mark

ENV JAVA_OPTS="\
    -server \
    -Xms2048m \
    -Xmx2048m \
    -Xmn512m \
    -Xss256k \
    -XX:+UseConcMarkSweepGC \
    -XX:+UseCMSInitiatingOccupancyOnly \
    -XX:CMSInitiatingOccupancyFraction=70 \
    -XX:+HeapDumpOnOutOfMemoryError \
    -XX:HeapDumpPath=/data/logs" \
    MY_USER=linuxea \
    MY_USER_ID=316

RUN addgroup -g ${MY_USER_ID} -S ${MY_USER} \
    && adduser -u ${MY_USER_ID} -S -H -s /sbin/nologin -g 'java' -G ${MY_USER} ${MY_USER} \
    && mkdir /data/logs /skywalking-agent -p

COPY target/*.jar /data/
COPY skywalking-agent /skywalking-agent/

RUN chown -R 316.316 /skywalking-agent
WORKDIR /data
USER linuxea

CMD java ${JAVA_OPTS} -javaagent:/skywalking-agent/skywalking-agent.jar -jar *.jar

注意事项

匹配规则遵循 Ant Path 匹配风格，如 /path/、/path/*、/path/?。
将apm-trace-ignore-plugin-x.jar复制到agent/plugins，重启agent即可生效插件。

于是，我们将这个插件复制到plugins下

tar xf apache-skywalking-java-agent-8.11.0.tar.gz 
cd skywalking-agent/
cp optional-plugins/apm-trace-ignore-plugin-8.11.0.jar plugins/
  • 忽略参数(忽略参数在k8syaml中进行配置)

有两种方法可以配置忽略模式。通过系统环境设置具有更高的优先级。

1.系统环境变量设置，需要在系统变量中添加skywalking.trace.ignore_path，值为需要忽略的路径，多条路径之间用,分隔
2.将/agent/optional-plugins/apm-trace-ignore-plugin/apm-trace-ignore-plugin.config 复制到/agent/config/ 目录下，并添加过滤跟踪的规则
trace.ignore_path=/your/path/1/,/your/path/2/

4.将gitlab的java-demo项目拉到本地后，将java-helo-word项目文件移动到私有gitlab，并且将Dockerfile放入

[root@Node-172_16_100_48 /data]# git clone git@172.16.100.47:java/java-demo.git
Cloning into 'java-demo'...
remote: Enumerating objects: 3, done.
remote: Total 3 (delta 0), reused 0 (delta 0), pack-reused 3
Receiving objects: 100% (3/3), done.
[root@Node-172_16_100_48 /data]# mv java-helo-word/* java-demo/
[root@Node-172_16_100_48 /data]# tree java-demo/linuxea/
java-demo/
├── bbin.png
├── cn-site-service.iml
├── Dockerfile
..........

23 directories, 26 files

放入完成后的Dockerfile的内容如下

FROM registry.cn-hangzhou.aliyuncs.com/marksugar/jdk:8u202
MAINTAINER by mark

ENV JAVA_OPTS="\
    -server \
    -Xms2048m \
    -Xmx2048m \
    -Xmn512m \
    -Xss256k \
    -XX:+UseConcMarkSweepGC \
    -XX:+UseCMSInitiatingOccupancyOnly \
    -XX:CMSInitiatingOccupancyFraction=70 \
    -XX:+HeapDumpOnOutOfMemoryError \
    -XX:HeapDumpPath=/data/logs" \
    MY_USER=linuxea \
    MY_USER_ID=316

RUN addgroup -g ${MY_USER_ID} -S ${MY_USER} \
    && adduser -u ${MY_USER_ID} -S -H -s /sbin/nologin -g 'java' -G ${MY_USER} ${MY_USER} \
    && mkdir /data/logs /skywalking-agent -p

COPY target/*.jar /data/
COPY skywalking-agent /skywalking-agent/

RUN chown -R 316.316 /skywalking-agent
WORKDIR /data
USER linuxea

CMD java ${JAVA_OPTS} -javaagent:/skywalking-agent/skywalking-agent.jar -jar *.jar

Dockerfile添加skywalking到此完成。

[root@linuxea-48 /data/java-demo]# git add . && git commit -m "first commit" && git push -u origin main
[main 2f6d866] first commit
 25 files changed, 545 insertions(+)
 create mode 100644 Dockerfile
 create mode 100644 bbin.png
 create mode 100644 cn-site-service.iml
 create mode 100644 fenghuang.png
 create mode 100644 index.html
 create mode 100644 pom.xml
 create mode 100644 src/main/java/com/dt/info/InfoSiteServiceApplication.java
 create mode 100644 src/main/java/com/dt/info/controller/HelloController.java
 create mode 100644 src/main/resources/account.properties
 create mode 100644 src/main/resources/application.yml
 create mode 100644 src/main/resources/log4j.properties
...........
remote: 
remote: To create a merge request for main, visit:
remote:   http://172.16.100.47/java/java-demo/-/merge_requests/new?merge_request%5Bsource_branch%5D=main
remote: 
To git@172.16.100.47:java/java-demo.git
 * [new branch]      main -> main
Branch main set up to track remote branch main from origin.

代码上传到gitlab后开始配置jenkins

image-20220630001656263.png

B.new jar

你也可以生成一个空的java包来测试

准备一个jar包，可以是一个java已有的程序或者下载一个空的，如下

在https://start.spring.io/页面默认选择，选择java 8，而后点击CENERATE下载demo包，解压这个包将代码推送到gitlab

将项目拉到本地后在上传demo包

Administrator@DESKTOP-RD8S1SJ MINGW64 /h/k8s-1.20.2/gitops
$ git clone git@172.16.100.47:pipeline-ops/2022-test.git
Cloning into '2022-test'...
remote: Enumerating objects: 3, done.
remote: Counting objects: 100% (3/3), done.
remote: Total 3 (delta 0), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (3/3), done.

Administrator@DESKTOP-RD8S1SJ MINGW64 /h/k8s-1.20.2/gitops
$ unzip demo.zip -d 2022-test
$ git add . && git commit -m "first commit" && git push

2.关联jenkins和gitlab

为了能够实现gitlab自动触发，我们需要配置一个webhook，并且jenkins安装插件来完成。

首先我们需要插件，并且在gitlab配置一个webhook，一旦gitlab发生事件后就会触发到jenkins，jenkins启动流水线作业。我将会在流水线作业来判断作业被触发是通过gitlab还是其他的。

2.1 jenkins插件

安装Generic Webhook Trigger插件，而后点击新建imtes->输入一个名称—>选择pipeline

例如，创建了一个Linuxea-2022的项目，勾选了Generic Webhook Trigger，并且在下方的token，输入了一个marksugar

image-20220617225657490.png

测试pipeline

pipeline{
    //指定运行此流水线的节点
    agent any
    
    //管道运行选项
    options {
        skipStagesAfterUnstable()
    }
    //流水线的阶段
    stages{
        //阶段1 获取代码
        stage("CheckOut"){
            steps{
                script{
                    println("获取代码")
                }
            }
        }
        stage("Build"){
            steps{
                script{
                    println("运行构建")
                }
            }
        }
    }
    post {
        always{
            script{
                println("流水线结束后，经常做的事情")
            }
        }
        
        success{
            script{
                println("流水线成功后，要做的事情")
            }
        
        }
        failure{
            script{
                println("流水线失败后，要做的事情")
            }
        }        
        aborted{
            script{
                println("流水线取消后，要做的事情")
            }
        
        }
    }
}

手动触发测试

curl --location --request GET 'http://172.16.100.48:58080/generic-webhook-trigger/invoke/?token=marksugar'

运行一次

[root@linuxea-47 ~]# curl --location --request GET 'http://172.16.100.48:58080/generic-webhook-trigger/invoke/?token=marksugar'
{"jobs":{"linuxea-2022":{"regexpFilterExpression":"","triggered":true,"resolvedVariables":{},"regexpFilterText":"","id":4,"url":"queue/item/4/"}},"message":"Triggered jobs."}You have new mail in /var/spool/mail/root

image-20220617231537277.png

2.2 配置gitlab webhook

1.在右上角的preferences中的最下方Localization选择简体中文保存

2.管理元->设置->网络->下拉菜单中的“出战请求”

  • 勾选 允许来自 web hooks 和服务对本地网络的请求

回到gitlab

首先进入项目后选择settings->webhooks->url

url输入

http://172.16.100.48:58080/generic-webhook-trigger/invoke/?token=marksugar
?marksugar, 问号后面为设置的token

而后选中push events和tag push events和最下面的ssl verfication : Enable SSL verification兵点击Add webhook

image-20220617231721926.png

测试

在最下方 -> test下拉菜单中选择一个被我们选中过的事件，而后点击。模拟一次push

image-20220617231820982.png

在edit中 -> 最下方 View details 查看Request body，Request body就是发送的内容，这些内容可以被获取到并且解析

image-20220617232019754.png

回到jenkins，查看已经开始构建

image-20220617232047892.png

3.1 自动与手动关联

在上面已经配置了自动触发jenkins构建，但是这还不够，我们想在jenkins上体现出来，那一次是自动构建，那一次是手动点击，于是我们添加try和catch

因此，我们配置try，并且在现有的阶段添加两个必要的环境变量来应对手动触发

3.2 添加手动参数

  • branch: 分支

image-20220630172627935.png

  • BASEURL：git地址

image-20220701213231636.png

3.2 配置识别try语法

我们需要获取请求过来的数据，因此我们获取所有的json请求，配置如下

image-20220630173209524.png

自动触发而后获取的变量方式解析后，我将必要的值进行拼接后如下

println("Trigger User: ${info_user_username}")
println("Trigger Branch: ${info_ref}" )
println("Trigger event: ${info_event_name}")
println("Trigger application: ${info_project_name}")
println("Trigger version number: ${info_checkout_sha}")
println("Trigger commit message: ${info_commits_0_message}")
println("Trigger commit time: ${info_commits_0_timestamp}")

而我们只需要部分，因此就变成了如下这般

try {
    println("Trigger Branch: ${info_ref}")
    RefName="${info_ref.split("/")[-1]}"
    //自定义显示名称
    currentBuild.displayName = "#${info_event_name}-${RefName}-${info_checkout_sha}"
    //自定义描述
    currentBuild.description = "Trigger by user ${info_user_username} 非gitlab自动触发 \n branch: ${RefName} \n commit message: ${info_commits_0_message}"
    BUILD_TRIGGER_BY="${info_user_username}"
    BASEURL="${info_project_git_http_url}"    
}catch(e){
    BUILD_TRIGGER_BY="${currentBuild.getBuildCauses()[0].userId}"
    currentBuild.description = "Trigger by user ${BUILD_TRIGGER_BY} 手动触发 \n branch: ${branch} \n git url: ${BASEURL}"
}
pipeline{
    //指定运行此流水线的节点
    agent any
    
    //管道运行选项
    options {
        skipDefaultCheckout true
        skipStagesAfterUnstable()
        buildDiscarder(logRotator(numToKeepStr: '2'))         
    }
    //流水线的阶段
    stages{
        //阶段1 获取代码
        stage("env"){
            steps{
                script{
                    println("${BASEURL}")
                }
            }      
        }
    }
}

一旦被触发后，如下图

image-20220630173517183.png

3.3 判断gitlab

但这还没玩，尽管此时已经能够识别自动触发了，但是我们无法识别到底是从哪里来的自动触发。

但是，我们只需要知道那些是gitlab来的请求和不是gitlab来的请求即可。

简单来说，就是需要一个参数来判断触发这次构建的来源。于是，我们配置请求参数来识别判断

在Request parameters-> 输入onerun

  • onerun： 用来判断的参数

image-20220630174431103.png

而后在gitlab的url中添加上传递参数

http://172.16.100.48:58080/generic-webhook-trigger/invoke/?onerun=gitlabs&token=marksugar

这里的onerun=gitlabs，如下

image-20220701213501266.png

我们在try中进行判断即可

  • onerun=gitlabs
try {
    if ( "${onerun}" == "gitlabs"){
         println("从带有gitlabs请求来的构建")
    } 
}catch(e){
         println("从没有带有gitlabs请求来的构建")
}

在本次中，配置如下

try {
    if ( "${onerun}" == "gitlabs"){
        println("Trigger Branch: ${info_ref}")
        RefName="${info_ref.split("/")[-1]}"
        //自定义显示名称
        currentBuild.displayName = "#${info_event_name}-${RefName}-${info_checkout_sha}"
        //自定义描述
        currentBuild.description = "Trigger by user ${info_user_username} 自动触发 \n branch: ${RefName} \n commit message: ${info_commits_0_message}"
        BUILD_TRIGGER_BY="${info_user_username}"
        BASEURL="${info_project_git_http_url}"
    } 
}catch(e){
    BUILD_TRIGGER_BY="${currentBuild.getBuildCauses()[0].userId}"
    currentBuild.description = "Trigger by user ${BUILD_TRIGGER_BY} 非自动触发 \n branch: ${branch} \ngit: ${BASEURL}"
}
pipeline{
    //指定运行此流水线的节点
    agent any
    
    //管道运行选项
    options {  
        skipDefaultCheckout true
        skipStagesAfterUnstable()
        buildDiscarder(logRotator(numToKeepStr: '2'))
    }
    //流水线的阶段
    stages{
        //阶段1 获取代码
        stage("env"){
            steps{
                script{
                    println("${BASEURL}")
                }
            }      
        }
    }
}

手动构建一次

image-20220701213705748.png

通过命令构建

[root@linuxea-48 ~]# curl --location --request GET 'http://172.16.100.48:58080/generic-webhook-trigger/invoke/?onerun=gitlabs&token=marksugar' && echo
{"jobs":{"linuxea-2022":{"regexpFilterExpression":"","triggered":true,"resolvedVariables":{"info":"","onerun":"gitlabs","onerun_0":"gitlabs"},"regexpFilterText":"","id":14,"url":"queue/item/14/"}},"message":"Triggered jobs."}

如下
image-20220701213837273.png

通过这样的配置，我们至少能从jenkins上看到构建的触发类型而已。

0
gitops
版权属于： marksugar
本文链接： https://www.linuxea.com/2911.html
作品采用： 《 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 》许可协议授权
相关推荐
linuxea: 使用tekton构建镜像(2)
linuxea: 使用tekton构建镜像(2)
 linuxea:jenkins基于钉钉的构建通知(11)
linuxea:jenkins基于钉钉的构建通知(11)
 linuxea:基于kustomize的argocd发布实现(10)
linuxea:基于kustomize的argocd发布实现(10)
 linuxea:基于jenkins的kustomize配置发布(9)
linuxea:基于jenkins的kustomize配置发布(9)

评论

博主关闭了所有页面的评论