bazel rules_go: связывание идет бинарно со статической библиотекой C++ (файл.a), созданной другой целью в рабочей области

Я использую библиотеку confluent-kafka-go внутри моего двоичного файла go, и эту библиотеку нужно связать с librdkafka. Другие цели в моем проекте используют librdkakfa, поэтому я создал статические librdkafka.a и librdkafka++. A, используя правило cmake_external rules_foreign_cc:

   //this is my "third_party/kafka/BUILD" file:

load("@rules_foreign_cc//tools/build_defs:cmake.bzl", "cmake_external")

    cmake_external(
        name = "librdkafka",
        cache_entries = {
            "RDKAFKA_BUILD_STATIC": "ON",
            "WITH_ZSTD": "OFF",
            "WITH_SSL": "OFF",
            "WITH_SASL": "OFF",
            "ENABLE_LZ4_EXT": "OFF",
            "WITH_LIBDL": "OFF",
        },
        lib_source = "@kafka//:all",
        static_libraries = [
            "librdkafka++.a",
            "librdkafka.a",
        ],
        visibility = ["//visibility:public"],
    )

Который производит библиотеки и заголовки librdkafka просто отлично:

 $ bazel build //third_party/kafka:librdkafka 
INFO: Analysed target //third_party/kafka:librdkafka (0 packages loaded, 0 targets configured).
INFO: Found 1 target...
Target //third_party/kafka:librdkafka up-to-date:
  bazel-genfiles/third_party/kafka/librdkafka/include
  bazel-genfiles/third_party/kafka/librdkafka/lib/librdkafka++.a
  bazel-genfiles/third_party/kafka/librdkafka/lib/librdkafka.a
  bazel-genfiles/third_party/kafka/copy_librdkafka/librdkafka
  bazel-genfiles/third_party/kafka/librdkafka/logs/CMake_script.sh
  bazel-genfiles/third_party/kafka/librdkafka/logs/CMake.log
  bazel-genfiles/third_party/kafka/librdkafka/logs/wrapper_script.sh
INFO: Elapsed time: 0.187s, Critical Path: 0.00s
INFO: 0 processes.
INFO: Build completed successfully, 1 total action

Теперь я пытаюсь создать ссылку на librdkafka.a (мне не нужен файл librdkafka++. A, только версия c) внутри правила go_binary:

    go_binary(
        name = "foo",
        srcs = ["foo.go"],
        cdeps = [
            "//third_party/kafka:librdkafka",
        ],
        cgo = "True",
        static = "on",
        visibility = ["//visibility:public"],
        deps = [
            ":ox_go_proto",
  "@com_github_confluentinc_confluent_kafka_go//kafka:go_default_library",
  "@com_github_golang_protobuf//proto:go_default_library",
        ],
    )

но я получаю сотни неопределенных ссылок rdkafka при запуске bazel build //foo:foo (мой бинарный)

unction _cgo_52d112b951a8_Cfunc_rd_kafka_AdminOptions_destroy: error: undefined reference to 'rd_kafka_AdminOptions_destroy'
bazel-out/k8-fastbuild/bin/external/com_github_confluentinc_confluent_kafka_go/kafka/_objs/go_default_library%linux_amd64%cgo_c_lib/adminapi.cgo2.pic.o:adminapi.cgo2.c:function _cgo_52d112b951a8_Cfunc_rd_kafka_AlterConfigs: error: undefined reference to 'rd_kafka_AlterConfigs'
bazel-out/k8-fastbuild/bin/external/com_github_confluentinc_confluent_kafka_go/kafka/_objs/go_default_library%linux_amd64%cgo_c_lib/adminapi.cgo2.pic.o:adminapi.cgo2.c:function _cgo_52d112b951a8_Cfunc_rd_kafka_AlterConfigs_result_resources: error: undefined reference to 'rd_kafka_AlterConfigs_result_resources'
bazel-out/k8-fastbuild/bin/external/com_github_confluentinc_confluent_kafka_go/kafka/_objs/go_default_library%linux_amd64%cgo_c_lib/adminapi.cgo2.pic.o:adminapi.cgo2.c:function _cgo_52d112b951a8_Cfunc_rd_kafka_ConfigEntry_is_read_only: error: undefined reference to 'rd_kafka_ConfigEntry_is_read_only'
bazel-out/k8-fastbuild/bin/external/com_github_confluentinc_confluent_kafka_go/kafka/_objs/go_default_library%linux_amd64%cgo_c_lib/adminapi.cgo2.pic.o:adminapi.cgo2.c:function _cgo_52d112b951a8_Cfunc_rd_kafka_ConfigEntry_is_sensitive: error: undefined reference to 'rd_kafka_ConfigEntry_is_sensitive'
bazel-out/k8-fastbuild/bin/external/com_github_confluentinc_confluent_kafka_go/kafka/_objs/go_default_library%linux_amd64%cgo_c_lib/adminapi.cgo2.pic.o:adminapi.cgo2.c:function _cgo_52d112b951a8_Cfunc_rd_kafka_ConfigEntry_is_synonym: error: undefined reference to 'rd_kafka_ConfigEntry_is_synonym'
bazel-out/k8-
Источник

2 ответа

Вы близки, но вам нужно добавить cdeps в объединенную библиотеку Kafka go, а не в вашу цель go_binary. Я предполагаю, что вы используете Gazelle и rules_go для извлечения внешних зависимостей. Вам необходимо использовать атрибут "patch" go_repository, чтобы передать файл исправления, чтобы отсортировать его в сгенерированном файле BUILD.

Я задокументировал это в недавнем сообщении в блоге:

https://rotemtam.com/2020/10/30/bazel-building-cgo-bindings/

Источник

Я последовал за ответом @Rotem Tamir. Мне пришлось внести несколько изменений, чтобы он работал в последней версии. Мне пришлось изменить файл патча следующим образом и поместить его в определенный каталог:external/com_github_confluentinc_confluent_kafka_go_v2.patch.

      --- kafka/BUILD.bazel
+++ kafka/BUILD.bazel
@@ -32,75 +32,76 @@
         "select_rdkafka.h",
         "time.go",
     ],
+    cdeps = ["@librdkafka//:librdkafka", "@zlib//:zlib"],
     cgo = True,
     clinkopts = select({
         "@io_bazel_rules_go//go/platform:windows": [
-            "kafka/librdkafka_vendor/librdkafka_windows.a -lws2_32 -lsecur32 -lcrypt32",
+            "-lws2_32 -lsecur32 -lcrypt32",
         ],
         "//conditions:default": [],
     }) + select({
         "@io_bazel_rules_go//go/platform:android_amd64": [
-            "kafka/librdkafka_vendor/librdkafka_glibc_linux_amd64.a -lm -ldl -lpthread -lrt",
+            "-lm -ldl -lpthread -lrt",
         ],
         "@io_bazel_rules_go//go/platform:android_arm64": [
-            "kafka/librdkafka_vendor/librdkafka_glibc_linux_arm64.a -lm -ldl -lpthread -lrt",
+            "-lm -ldl -lpthread -lrt",
         ],
         "@io_bazel_rules_go//go/platform:darwin_amd64": [
-            "kafka/librdkafka_vendor/librdkafka_darwin_amd64.a -lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
+            "-lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
         ],
         "@io_bazel_rules_go//go/platform:darwin_arm64": [
-            "kafka/librdkafka_vendor/librdkafka_darwin_arm64.a -lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
+            "-lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
         ],
         "@io_bazel_rules_go//go/platform:ios_amd64": [
-            "kafka/librdkafka_vendor/librdkafka_darwin_amd64.a -lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
+            "-lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
         ],
         "@io_bazel_rules_go//go/platform:ios_arm64": [
-            "kafka/librdkafka_vendor/librdkafka_darwin_arm64.a -lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
+            "-lm -lsasl2 -ldl -lpthread -framework CoreFoundation -framework SystemConfiguration",
         ],
         "@io_bazel_rules_go//go/platform:linux_amd64": [
-            "kafka/librdkafka_vendor/librdkafka_glibc_linux_amd64.a -lm -ldl -lpthread -lrt",
+            "-lm -ldl -lpthread -lrt",
         ],
         "@io_bazel_rules_go//go/platform:linux_arm64": [
-            "kafka/librdkafka_vendor/librdkafka_glibc_linux_arm64.a -lm -ldl -lpthread -lrt",
+            "-lm -ldl -lpthread -lrt",
         ],
         "//conditions:default": [],
     }),
     copts = select({
         "@io_bazel_rules_go//go/platform:android_amd64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:android_arm64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:darwin_amd64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:darwin_arm64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:ios_amd64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:ios_arm64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:linux_amd64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:linux_arm64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:windows_386": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:windows_amd64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:windows_arm": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "@io_bazel_rules_go//go/platform:windows_arm64": [
-            "-DUSE_VENDORED_LIBRDKAFKA -DLIBRDKAFKA_STATICLIB",
+            "-DLIBRDKAFKA_STATICLIB",
         ],
         "//conditions:default": [],
     }),
Источник
Другие вопросы по тегам