Bazel

tech2022-11-04  117

bazel:是一个可以快速构建和测试任意规模软件的编译工具,能够用来编译大部分语言。Bazel使用分布式缓存和增量构建方法,使得编译更加快速。

Bazel 主要文件 使用 Bazel 管理的项目一般包含以下几种 Bazel 相关的文件:WORKSPACE,BUILD(.bazel),.bzl 和 .bazelrc 等。其中 WORKSPACE 和 .bazelrc 放置于项目的根目录下,BUILD.bazel 放项目中的每个文件夹中(包括根目录), .bzl 文件可以根据用户喜好自由放置,一般可放在项目根目录下的某个专用文件夹(比如 build)中。

WORKSPACE

1.定义项目根目录和项目名。 2.加载 Bazel 工具和 rules 集。 3.管理项目外部依赖库。 # 加载bazel标准库中的函数http_archive load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive") # 调用http_archive下载rules_go http_archive( name = "io_bazel_rules_go", # 下面两项需要根据官方的最近版本来修改 urls = ["https://github.com/bazelbuild/rules_go/releases/download/0.16.1/rules_go-0.16.1.tar.gz"], sha256 = "f87fa87475ea107b3c69196f39c82b7bbf58fe27c62a338684c20ca17d1d8613", ) # 获取gazelle http_archive( name = "bazel_gazelle", # 同样需要根据官方最新版本修改 urls = ["https://github.com/bazelbuild/bazel-gazelle/releases/download/0.15.0/bazel-gazelle-0.15.0.tar.gz"], sha256 = "6e875ab4b6bf64a38c352887760f21203ab054676d9c1b274963907e0768740d", ) # 从rules_go中加载go_rules_dependencies,go_register_toolchains load("@io_bazel_rules_go//go:def.bzl", "go_rules_dependencies", "go_register_toolchains") # 加载rules_go依赖 go_rules_dependencies() # 加载rules_go工具 go_register_toolchains() # 从gazelle中加载gazelle_dependencies load("@bazel_gazelle//:deps.bzl", "gazelle_dependencies") # 加载gazelle依赖 gazelle_dependencies()

BUILD.(bazel) 该文件主要针对其所在文件夹进行依赖解析(label)和目标定义(bazel target)。拿 go 来说,构建目标可以是 go_binary、go_test、go_library 等。

Bazel 的之前版本用的文件名是 BUILD ,但是在一些大小写不区分的系统上,它很容易跟 build 文件混淆,因此后来改为了显式的 BUILD.bazel 。如果项目中同时存在两者,Bazel 更倾向于使用后者。对于所有的新项目,都推荐使用显式的 BUILD.bazel。

为了引用一个依赖,Bazel 使用 label 语法对所有的包进行唯一标识,其格式如下:

@workerspace_name//path/of/package:target

比如,go 中常用的一个日志库 logrus 的 label 为:

@com_github_sirupsen_logrus//:go_default_library

如果是本项目中的包路径,可以将 // 之前的 workspace 名字省去。

自定义 rule (*.bzl) 如果你的项目有一些复杂构造逻辑、或者一些需要复用的构造逻辑,那么可以将这些逻辑以函数形式保存在 .bzl 文件,供 WORKSPACE 或者 BUILD 文件调用。其语法跟 Python 类似:

def third_party_http_deps(): http_archive( name = "xxxx", ... ) http_archive( name = "yyyy", ... )

配置项 .bazelrc 其中 rc 后缀的命名方式是个计算机中经典的小习俗,感兴趣可以看看 StackOverflow 这个回答。简单的说,该文件用来配置对应的命令运行时的一些参数。常见的如 .vimrc,.bashrc 等。

对于 Bazel 来说,如果某些构建动作都需要某个参数,就可以将其写在此配置中,从而省去每次敲命令都重复输入该参数。举个 Go 的例子:由于国情在此,构建、测试和运行时可能都需要 GOPROXY,则可以配置如下:

# set GOPROXY test --action_env=GOPROXY=https://goproxy.io build --action_env=GOPROXY=https://goproxy.io run --action_env=GOPROXY=https://goproxy.io

Bazel 构建 golang 项目

在有了上面 Bazel 的基础知识后,构建 golang 项目还需要了解两个概念:rules_go 和 bazel gazelle。 rules_go rules_go 是一个 Bazel 的扩展包,Bazel 可以编译 Go。它由一系列的 rule 构成,包括 go_libray\go_binary\go_test,支持 vendor、交叉编译;可以方便集成 protobuf 、cgo 、gogo、nogo等工具。

它会在 Bazel 的沙箱中进行编译,不依赖本地 GOROOT/GOPATH,而是自动下载对应 Go 版本,从而可以在不同平台上进行一致性的编译。

bazel gazelle Gazelle 是一个自动生成 Bazel 编译文件工具,包括给 WORKSPACE 添加外部依赖、扫描源文件依赖自动生成 BUILD.bazel 文件等。Gazelle 原生支持 Go 和 protobuf,当然可以通过扩展来支持其他语言和规则。Gazelle 可以使用 bazel 命令结合 gazelle rule 运行,也可以下载使用单独的 Gazelle 的命令行工具。

自动添加外部依赖 用 bazel run //:gazelle update-repos repo-uri 可以从 go.mod 导入对应依赖包。 比如想要往项目中增加 Kafka 的 segmentio 的 go client 包,只需要在项目根目录下执行命令: bazel run //:gazelle update-repos github.com/segmentio/kafka-g Gazelle 便会自动增加一条依赖到 WORKSPACE 文件: go_repository( name = "com_github_segmentio_kafka_go", importpath = "github.com/segmentio/kafka-go", sum = "h1:Mv9AcnCgU14/cU6Vd0wuRdG1FBO0HzXQLnjBduDLy70=", version = "v0.3.4", ) 自动生成构建文件 Gazelle 能够自动生成每个目录下的 BUILD.bazel 文件,只需要简单的两步: (1)在项目根目录的 BUILD.bazel 中配置加载并配置 Gazelle: load("@bazel_gazelle//:def.bzl", "gazelle") # gazelle:prefix your/project/url gazelle(name = "gazelle")

需要注意的是 # 后面的内容对于 Bazel 而言是注释,对于 Gazelle 来说却是一种语法,会被 Gazelle 运行时所使用。当然 Gazelle 除了可以通过 bazel rule 运行,也可以单独在命令行中执行。

(2)在根目录下执行 bazel run //:gazelle

一些实践 Bazel 有一些比较实用的实践,比如使用 http_archive 下载确定版本的外部依赖包、使用 stamp 变量注入、打包和发布等等。可以多去一些有很好的 Bazel 构建项目实践的开源项目中去看看:

github.com/kubernetes/test-infra(go 语言项目最佳实践,比较全面的 bazel 深度使用) github.com/kubernetes/repo-infra(go 语言项目最佳实践,配置和脚本非常精妙)

1. 创建工作空间WORKSPACE和BUILD.bazel: 在使用bazel的时候,需要先创建一个WORKSPACE文件在你的项目根目录,表示这是bazel的工作空间,后续所有的配置都是基于这个目录来的。 要在当前 project 的根目录下创建 WORKSPACE 和 BUILD.bazel 文件。其中 WORKSPACE 文件用于设置加载 Bazel 环境(包括rules)和相关依赖。 创建一个WORKSPACE文件 添加以下内容:

load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive") http_archive( name = "io_bazel_rules_go", urls = [ "https://storage.googleapis.com/bazel-mirror/github.com/bazelbuild/rules_go/releases/download/0.19.0/rules_go-0.19.0.tar.gz", "https://github.com/bazelbuild/rules_go/releases/download/0.19.0/rules_go-0.19.0.tar.gz", ], sha256 = "9fb16af4d4836c8222142e54c9efa0bb5fc562ffc893ce2abeac3e25daead144", ) load("@io_bazel_rules_go//go:deps.bzl", "go_rules_dependencies", "go_register_toolchains") go_rules_dependencies() go_register_toolchains()

这里面的内容不需要手写啊,你去https://github.com/bazelbuild/rules_go/releases 复制过来就好了。

然后创建一个BUILD.bazel文件,添加一下内容:

load("@io_bazel_rules_go//go:def.bzl", "go_binary") go_binary( name = "go_default_library", srcs = ["main.go"], importpath = "test", visibility = ["//visibility:private"], )

2. 编写main.go 配置了上面的东西之后,我们在项目目录下创建一个main.go的文件,内容如下:

package main import "fmt" func main() { fmt.Println("hello go!!!!") }

当前的目录结构: 非常简单,只有3个文件,然后我们看下怎么用bazel来运行这个go程序。

在项目的根目录下执行一下命令:

bazel run //:go_default_library

如果你是第一次跑的话可能会需要一点时间:

3. 使用gazelle自动生成BUILD.bazel文件 上面看到了,我们需要手写BUILD.bazel?那如果大项目包很多的话,不是要写到吐血?下面就来说下,怎么用gazelle这个工具来自动给每个包生成一个BUILD.bazel的文件。

需要添加gazelle这个工具到我们的WORKSPACE文件中。

# 加载bazel标准库中的函数 http_archive load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive") # 调用http_archive下载rules_go http_archive( name = "io_bazel_rules_go", # 下面两项需要根据官方的最近版本来修改 urls = ["https://github.com/bazelbuild/rules_go/releases/download/0.16.1/rules_go-0.16.1.tar.gz"], sha256 = "f87fa87475ea107b3c69196f39c82b7bbf58fe27c62a338684c20ca17d1d8613", ) # 获取gazelle http_archive( name = "bazel_gazelle", # 同样需要根据官方最新版本修改 urls = ["https://github.com/bazelbuild/bazel-gazelle/releases/download/0.15.0/bazel-gazelle-0.15.0.tar.gz"], sha256 = "6e875ab4b6bf64a38c352887760f21203ab054676d9c1b274963907e0768740d", ) # 从rules_go中加载go_rules_dependencies,go_register_toolchains load("@io_bazel_rules_go//go:def.bzl", "go_rules_dependencies", "go_register_toolchains") # 加载rules_go依赖 go_rules_dependencies() # 加载rules_go工具 go_register_toolchains() # 从gazelle中加载gazelle_dependencies load("@bazel_gazelle//:deps.bzl", "gazelle_dependencies") # 加载gazelle依赖 gazelle_dependencies()

然后修改跟目录下的BUILD.bazel文件内容如下:

load("@bazel_gazelle//:def.bzl", "gazelle") # gazelle:prefix your_project_name gazelle(name = "gazelle")

然后运行以下命令:

bazel run //:gazelle

构建 1.使用gazelle生成build文件 2.使用生成的build文件构建项目代码

使用gazelle自动生成build文件 bazel run //:gazelle #使用生成的build文件构建 #构建根目录下所有target bazel build //... #构建特定taget bazel build //path/of/target:target_name

Golang项目bazel指北: https://zhuanlan.zhihu.com/p/52155083 使用bazel编译go项目 https://juejin.im/post/6844903892757528590 使用 Bazel 构建 Golang 项目 https://blog.didiyun.com/index.php/2019/03/27/bazel-golang/ Bazel 构建 golang 项目 https://zhuanlan.zhihu.com/p/95998597

最新回复(0)