Описание тега google-cloud-pubsub
Connect your services with reliable, many-to-many, asynchronous messaging hosted on Google's infrastructure. Cloud Pub/Sub automatically scales as you need it and provides a foundation for building your own robust, global services.
1
ответ
Как непрерывно прослушивать сообщения Pub/Sub в приложении ASP.NET Core?
Я хотел бы реализовать ASP.NET Core API, который не отвечает на HTTP-запросы, но при запуске начинает прослушивать сообщения Google Cloud Pub/Sub, и он продолжает прослушивать бесконечно на протяжении всей своей жизни. Каков предпочтительный способ …
17 окт '17 в 12:23
1
ответ
Уведомление Pub/Sub для GCS - фильтр событий не работает
Я хотел, чтобы каждый раз (и только когда) файл создавался в GCS, моя подписка на публикацию / подписку может получать уведомление. Итак, я сделал это: gsutil notification create -t projects/[my-project-id]/topics/new-raw-file -f none -m eventType:O…
24 апр '17 в 13:16
2
ответа
Запись в Google Cloud Storage из PubSub с использованием облачного потока данных с использованием DoFn
Я пытаюсь написать сообщения Google PubSub в Google Cloud Storage, используя Google Cloud Dataflow. Я знаю, что TextIO/AvroIO не поддерживают потоковые конвейеры. Тем не менее, я прочитал в [1], что можно записывать в GCS в потоковом конвейере из Pa…
08 апр '16 в 20:48
1
ответ
Pubsub не возвращает журналы при доступе с новой подпиской
Я новичок в GCP. Мы отправляем журналы в тему Pubsub и создали для них подписку по запросу. Когда я использовал команду glcoud и прочитал эту подписку, она вернула журналы, как и ожидалось. (кто-то еще создал тему и первую подписку. Однако я являюсь…
23 авг '16 в 18:47
2
ответа
Как пометить сообщение как "в процессе", чтобы другие работники не работали над ним
Я пытаюсь использовать очередь извлечения для создания очереди задач обработки изображений, которая может занять больше времени, чем ограничение acktimeout, равное 10 минутам. Я использую API.js node.js, и мне интересно, как можно было бы, чтобы раб…
10 май '16 в 23:17
3
ответа
Установить число потоков подписчика Python Pub/Sub для асинхронных подписчиков
Я реализовал асинхронный пул подписчик, используя Python. Это основной код def receive_messages(project, subscription_name): subscriber = pubsub_v1.SubscriberClient() subscription_path = subscriber.subscription_path( project, subscription_name) def …
28 дек '17 в 15:15
2
ответа
Проблема задержки извлечения сообщения в пабе Google Pub. С клиентом.Net
Я постоянно получаю сообщения из Google PubSub. Все идет хорошо, за исключением того, что время, необходимое для получения сообщения, составляет от 12 до 15 секунд, и в нашем случае это неприемлемо. Ниже приведены мои настройки CallTiming: public Ca…
27 фев '17 в 06:52
1
ответ
Как Сбой / Остановка Публикации / Переполнения Данных DataFlow на Ошибка Вставки BigQuery
Я ищу способ сделать так, чтобы задание Google DataFlow перестало поступать из Pub/Sub при возникновении (определенного) исключения. События из Pub/Sub читаются через JSON PubsubIO.Read.Bound<TableRow> с помощью TableRowJsonCoder и напрямую тр…
09 июн '17 в 16:17
3
ответа
Google Cloud Pubsub клиент node.js не совместим с облачными функциями Google
Архитектура: У нас есть архитектура, использующая две пары pubsub theme / subscription: Тема T1 периодически запускается cronjob (например, каждые 5 минут). Подписка S1 является триггером для нашей облачной функции. Тема T2 служит очередью для фоно…
05 фев '18 в 13:44
1
ответ
gcloud alpha pubsub подписки метод поиска не найден исключение
У меня большое количество недоставленных сообщений для одной подписки на Google Cloud Pub/Sub. Я бы предпочел не обрабатывать каждое сообщение, чтобы его поймать, и я не могу удалить подписку вручную, потому что она была создана с использованием обл…
11 ноя '16 в 18:29
1
ответ
Google Pub/Sub в GAE
Использование клиентских библиотек pub/sub java в приложении GAE не работает, я получаю исключение Caused by: java.security.AccessControlException: access denied ("java.lang.RuntimePermission" "shutdownHooks") at java.security.AccessControlContext.c…
14 июн '17 в 08:45
1
ответ
Триггер окна Cloud Dataflow перезаписывает значение из закрытого окна
Я пишу поток данных (Beam SDK 2.0.0), который читает из Pub/Sub, подсчитывает элементы в окне, а затем сохраняет их в BigTable в качестве временных рядов. Окна фиксируются на продолжительности 1 минуты. Мое намерение состояло в том, чтобы обновлять …
15 июн '17 в 20:16
1
ответ
Сообщения Google Cloud PubSub, не обработанные обратным вызовом
Я пытаюсь использовать Google PubSub для передачи и получения сообщений между двумя службами. Однако некоторые из отправленных сообщений, по-видимому, отбрасываются случайным образом и не обрабатываются методом обратного вызова подписчика. При отпра…
05 сен '18 в 14:20
1
ответ
Как исправить неизвестный путь импорта модуля Go 1.11, не удается найти модуль, предоставляющий пакет?
Я создаю стандартную службу движка приложений Go 1.11. Это не под GOPATH вот я и побежал go mod init а также go mod tidy, Я могу построить простой веб-сервис, используя go build и развернуть и протестировать, используя gcloud app deploy, Я сейчас пы…
20 дек '18 в 13:58
0
ответов
Как обрабатывать недопустимые / ошибочные сообщения JSON, поступающие от PubSub для загрузки таблиц CloudSQL
Я читаю сообщение JSON, опубликованное в теме PubSub, и загружаю таблицы CloudSQL, используя JDBCIO.write() метод в потоке данных. Я должен обработать сценарии сообщений об ошибках / недействительных JSON-сообщениях (например, InvalidSchema, Invalid…
25 янв '19 в 11:10
1
ответ
Объект в ByteString \ Byte Array
Новичок в GooglePubSub и пытается использовать его функцию в приложении.net Framework. Я пытаюсь опубликовать один из объектов C# через шину pubsub с помощью API Publishasync ( https://googleapis.github.io/google-cloud-dotnet/docs/Google.Cloud.PubSu…
08 дек '18 в 08:28
0
ответов
GCP: где планировать подписчика PubSub, который пишет в BigQuery
Мне нужно написать в BigQuery из PubSub в Python. Я проверил некоторый асинхронный код подписчика, и он работает нормально. Но это должно выполняться постоянно, и я не уверен на 100%, где это можно запланировать. Я использовал Cloud Composer (Airflo…
25 ноя '18 в 11:31
0
ответов
PubsubIO.readStrings() выбрасывает java.lang.NoSuchMethodError в Apache Beam v2.0.0
В приведенном ниже коде создается исключение: PCollection<String> pCol = pBegin .apply(String.format("Read from %s", this.subscriptionId), PubsubIO.readStrings().fromSubscription(this.subscriptionId)); Это исключение: Caused by: java.lang.NoSu…
24 май '17 в 12:14
1
ответ
Как вернуть ответ подписчику обратно продюсеру
Я реализовал модель, используя google pubsub, где производитель отправляет сообщение, а подписчик обрабатывает сообщение и отправляет ответ на подписку. Но как мне сопоставить ответ издателю, который отправил запрос? Существуют ли какие-либо фильтры…
23 фев '18 в 18:56
0
ответов
Запуск google pub/sub под Java 7 получает ALPN ClassNotFoundException
Я пытаюсь запустить небольшую тестовую программу, используя Google Cloud Pub/Sub (версии от 0.32.0 до 0.39.0) под Java 7. Код Google Cloud предположительно совместим с Java 7, но я обнаружил, что получаю Следующее исключение при запуске с 7. Java 8 …
19 мар '18 в 13:09