Описание тега bigtable

Bigtable - это распределенная система хранения (созданная Google) для управления структурированными данными, которая предназначена для масштабирования до очень большого размера: петабайтов данных на тысячах обычных серверов.
1 ответ

Данные не отображаются периодически в пользовательском интерфейсе OpenTSDB

Мы запускаем несколько тестов большого объема, передавая метрики в OpenTSDB (2.3.0) с помощью BigTable, и время от времени появляется любопытная проблема. Для некоторых показателей час данных перестает отображаться в веб-интерфейсе при выполнении за…
06 июл '17 в 17:45
1 ответ

Класс не найден в Cloud Bigtable SDK

Я установил Google Cloud Bigtable Java SDK, и он не может найти следующий класс: TableName is not a member of package org.apache.hadoop.hbase, Я использовал ссылку на версию, как описано на GitHub: <dependency> <groupId>com.google.cloud.…
16 фев '16 в 16:00
1 ответ

Существует ли какая-либо асинхронная библиотека Python для Google BigTable

Я использую Google BigTable и, похоже, Google официально не поддерживает асинхронный способ вставки данных в BigTable. что-то вроде await client.mutate([data])
1 ответ

Не удается подключиться к Bigtable из приложения Spring Boot

У меня есть отдельное приложение, которое отлично работает с Bigtable при создании соединения, как это: Connection connection = BigtableConfiguration.connect(PROJECT_ID, INSTANCE_ID) и используя следующие зависимости: <dependency> <groupId&…
3 ответа

Вставьте тысячи объектов в разумное время в BigTable

У меня возникают некоторые проблемы, когда я пытаюсь вставить 36k французских городов в BigTable. Я анализирую файл CSV и помещаю каждую строку в хранилище данных, используя этот фрагмент кода: import csv from databaseModel import * from google.appe…
15 июн '11 в 20:26
3 ответа

В чем разница между BigQuery и BigTable?

Есть ли причина, по которой кто-то будет использовать BigTable вместо BigQuery? Похоже, что оба поддерживают операции чтения и записи, причем последний предлагает также расширенные операции "запрос". Мне нужно разработать партнерскую сеть (таким обр…
2 ответа

Большой анализ данных в веб-приложениях

Допустим, у меня есть очень большие данные временных рядов. Я храню эти очень большие данные, например, в таком хранилище, как Google BigTable. Я могу запросить и очень быстро получить данные из хранилища. Так что я могу справиться с проблемой хране…
1 ответ

Поддерживает ли стандартный (негибкий) Google App Engine Google Cloud Bigtable?

Есть ли официальная страница, где ответ на этот вопрос? В ноябре 2016 года я пытаюсь запустить некоторый код Java Bigtable, и он не работает как на локальном сервере dev, так и на реальном удаленном экземпляре. Я пробовал разные версии обеих библиот…
1 ответ

Чтение BigTable и преобразование в общие записи с использованием GCP Cloud DataFlow

Я пытаюсь преобразовать данные таблицы BigTable в родовую запись, используя поток данных. После того, как преобразование сделано, мне нужно сравнить с другими наборами данных в корзине. Ниже мой псевдокод, для конвейера я использовал pipeline .apply…
07 янв '19 в 20:10
3 ответа

Механизм приложения автоматически кеширует частые запросы?

Кажется, я помню, что где-то читал, что механизм приложений Google автоматически кэширует результаты очень частых запросов в память, чтобы они быстрее извлекались. Это правильно? Если да, есть ли плата за чтение хранилища данных по этим запросам?
13 мар '12 в 18:06
1 ответ

В нереляционной СУБД (BigTable в AppEngine), как я должен настроить сущности для системы массового обмена сообщениями?

Представьте себе, например, что у меня много пользователей. Каждый раз, когда пользователь что-то сообщает, он / она может отправить это в список других пользователей (аналогично массовой рассылке). Тем не менее, я просто хочу сохранить сообщение од…
1 ответ

App Engine - Импорт данных

Я не уверен в хорошем способе импорта данных из старого приложения на основе SQL в механизм приложений (большая таблица). Я очень смущен, хотя я уверен, что упускаю что-то простое. Данные - это не просто электронная таблица. Он состоит из клиентов, …
28 сен '10 в 00:21
1 ответ

Как физически хранятся данные в Bigtable

Давайте возьмем стол test cf:a cf:b yy:a kk:cat "com.cnn.news" zubrava10 sobaka foobar "ch.main.users" - - - purrpurr И первая ячейка ("zubrava") имеет 10 версий (10 отметок времени) ("zubrava1", "zubrava2"...) Как данные этой таблицы будут хранитьс…
29 май '17 в 09:52
1 ответ

Нет связей данных в базах данных больших таблиц?

Если отношения между данными так же важны, как и сами данные (например, расчеты расстояния или пути), не используйте базу данных семейства столбцов / больших таблиц. (Цитируется из статьи " Большие горести данных: какую базу данных мне следует испол…
14 янв '14 в 09:02
2 ответа

Тесты БД: Кассандра против BigTable против Hadoop(s)

Я хочу оценить возможность использования Cassandra, BigTable или Hadoop-решения. Есть ли места, где бы проводилось современное сравнение того, как эти три сравниваются и выполняют набор тестов? Я нашел несколько из, возможно, пять лет назад, но я хо…
10 янв '17 в 22:06
1 ответ

Почему у BigTable есть семейства столбцов?

Почему BigTable структурирован как двухуровневая иерархия "семья: квалификатор"? В частности, почему это принудительно, а не просто наличие столбцов и, скажем, рекомендация, чтобы пользователи называли свои квалификаторы "вертикальный: столбец"? Мен…
21 окт '17 в 02:17
1 ответ

Ошибка региона при попытке доступа к Google Cloud Bigtable с помощью Spark из ноутбука Jupyter

Я пытаюсь запустить параллельный доступ к Google Cloud Bigtable из Jupyter Notebook с ядром PySpark. Я взял пример с http://ec2-54-66-129-240.ap-southeast-2.compute.amazonaws.com/httrack/docs/cloud.google.com/dataproc/examples/cloud-bigtable-example…
28 сен '17 в 13:30
3 ответа

Дизайн базы данных - Google App Engine

Я работаю с Google App Engine и использую Java-API низкого уровня для доступа к Big Table. Я создаю приложение SAAS с 4 слоями: Клиентский веб-браузер Уровень ресурсов RESTful Бизнес уровень Уровень доступа к данным Я создаю приложение, которое помо…
3 ответа

Хранение вложенного HashMap в HBase

Прошу прощения за мое невежество, но я относительно новичок в HBase и не могу этого понять. Я хочу хранить следующие вложенные HashMap в HBase: Map<String, Map<String, Map<String, Double>>> Я не могу понять схему таблицы HBase. Инд…
28 сен '16 в 17:38
1 ответ

Как применяется крайний срок 60-х годов для извлечения appengine .run и.fetch?

Документы appengine утверждают, что по умолчанию крайний срок для.run() и.fetch() составляет 60 секунд. Я хотел бы точно понять, как применяется этот крайний срок, особенно в контексте задачи или задания cron, где весь процесс может выполняться в те…
23 дек '14 в 12:26