Описание тега bulkloader
2
ответа
Как использовать sstableloader с CQL 3.0
Я пытаюсь использовать sstableloader для таблицы, созданной с помощью CQL 3.0. Я создал таблицу в Cassandra с CQL 3 следующим образом: CREATE TABLE users1 ( id text PRIMARY KEY, firstname text, lastname text, ) WITH compaction={'class': 'SizeTieredC…
23 июл '13 в 06:29
2
ответа
Где находятся объекты после загрузки данных?
Я пытаюсь импортировать мой CSV-файл в хранилище данных appengine, и не получаю никаких ошибок, но где сущности? Я не мог видеть это в моей консоли appengine в разделе хранилища данных. models.py: from google.appengine.ext import db class Glyph(db.M…
06 июл '14 в 17:44
0
ответов
Массовая загрузка документов "search api" в appengine?
Мы хотели бы за один раз загрузить около 30 тыс. Сущностей в хранилище данных, одновременно создавая документы из строк, связанных с этими сущностями. Это делается для частичного поиска строк, для которых хранилище данных не подходит. Однако нам не …
23 июн '14 в 17:51
1
ответ
Специальные символы в CSV-файле для загрузки в базу данных MySQL
У меня есть скрипт, который импортирует данные из файла CSV в базу данных mysql; CSV имеет такие строки somethingcô-SOMETHING увидеть ô, теперь, когда я импортирую это в БД, он сохраняет только часть "что-то". Я пробовал много вещей, htmleitities, m…
03 фев '13 в 06:29
3
ответа
Сортировать Гильберта по алгоритму "разделяй и властвуй"?
Я пытаюсь отсортировать d-мерные векторы данных по их порядку Гильберта для массовой загрузки пространственного индекса. Однако я не хочу явно вычислять значение Гильберта для каждой точки, что, в частности, требует установки определенной точности. …
10 дек '11 в 20:18
1
ответ
Gaebar и Bulkloader Экспорт данных хранилища
Я пытаюсь найти способ, которым я могу загрузить все свое хранилище данных в файл и загрузить его обратно в хранилище данных, чтобы не потерять информацию. Поэтому я провел некоторое исследование по этому поводу и обнаружил, что существует два спосо…
07 мар '11 в 09:25
2
ответа
Как я могу использовать загрузчик движков Google App для резервного копирования всех моих данных?
Документы говорят appcfg.py --dump --app_id=<app-id> \ --url=http://<appname>.appspot.com/remote_api \ --filename=<data-filename> Сама вещь гадюка Usage: appcfg.py [options] <action> appcfg.py: error: no such option: --dump …
31 май '10 в 23:02
2
ответа
Проблема с загрузчиком Google App Engine при использовании автоматически созданной конфигурации yaml и объектов с числовым идентификатором
Мое приложение использует Django non-rel. У меня нет доступа к модели. У меня есть мой bulkloader.yaml файл автоматически сгенерирован appcfg.py create_bulkloader_config, Проблема в том, что числовые идентификаторы сущностей импортируются как имена …
27 июн '10 в 23:26
1
ответ
Массовая загрузка данных Apache Phoenix - не может использовать имя таблицы маленькой буквой
У меня есть таблица Phoenix abc, я хочу массовую загрузку данных через MapReduce, а затем использовал следующую команду для загрузки файла CSV Jadoop Jar /root/Phoenix/apache-phoenix-4.8.0-HBase-0.98-bin/phoenix-4.8.0-HBase-0.98-client.jar org.apach…
16 дек '16 в 08:38
1
ответ
Обновление данных с помощью Bulloader
Я использую скрипт на Python и загружаю некоторые данные в серверную часть своего движка. Вот это определение в bulkloader.yaml - kind: Subcategory connector: csv connector_options: encoding: utf-8 property_map: - property: __key__ external_name: id…
13 сен '14 в 15:43
1
ответ
Как загрузить текущую дату / время в App Engine с помощью инструмента Bulkloader?
Как я могу добавить свойство последнего измененного времени к моему виду сущности, которое обновляется во время массовой загрузки? В настоящее время я использую appcfg upload_data, чтобы загрузить CSV в мое хранилище данных с высокой репликацией. Я …
27 май '11 в 07:41
1
ответ
Как загрузить дату с помощью оптового загрузчика?
У меня есть следующий код в bulkloader.yaml: - property: dismissal_date external_name: dismissal_date import_transform: "lambda x: None if x is None or x=='' else datetime.datetime.strptime(x, '%d.%m.%Y').date()" models.py: class Employee(ndb.Model)…
21 июл '12 в 13:10
1
ответ
Как я могу ускорить загрузчик App Engine?
Я пытаюсь использовать загрузчик App Engine для загрузки сущностей из хранилища данных (с высокой степенью репликации, если это имеет значение). Это работает, но довольно медленно (85 КБ / с). Есть ли какой-то волшебный набор параметров, которые я м…
07 окт '11 в 19:21
0
ответов
CsvBulkLoader для объектов SiteTree
Я пытаюсь использовать пользовательский загрузчик CsvBulkLoader для создания страниц, однако загрузчик не работает должным образом. Если я использую подкласс SiteTree, он говорит мне, что метод parent() недоступен в классе. Я попытался записать напр…
15 фев '16 в 05:28
0
ответов
Сравните peformance массовый загрузчик с загрузкой данных infile MySQL
Я строю C# приложение, которое нужно вставить 200К записей в MySQL, я нашел bulkloader а также load data infileИтак, мой вопрос о выполнении их. Какой путь быстрее или они одинаковые?
09 июн '15 в 03:18
2
ответа
(Google App Engine) При загрузке Bulkloader создаются новые записи вместо обновления существующих.
Для своего проекта я использую хранилище данных GAE для хранения данных. В целях резервного копирования я решил использовать массовый загрузчик, который прекрасно загружает все данные в CSV-файл. Также загрузка загружает данные в порядке без ошибок.…
19 апр '11 в 07:41
1
ответ
Установить ключ с новым загрузчиком
Я конвертирую скрипт для использования нового загрузчика. (Что было не так с оригинальным загрузчиком? - Я предпочитаю писать Python для редактирования файлов конфигурации...) В любом случае, я хочу предотвратить дублирование, назначив комбинацию св…
13 окт '10 в 01:14
1
ответ
Где находятся справочные страницы трансформации загрузчика Google App Engine?
Из пустого хранилища данных я смог автоматически сгенерировать bulkloader.yaml файл. Он содержит только python_preamble, но transformers раздел был пуст. python_preamble: - import: google.appengine.ext.bulkload.transform - import: google.appengine.e…
25 июл '11 в 14:24
1
ответ
Google App Engine BadValueError даже после import_transform: db.Text
Попытка импортировать TextProperty, аналогично другому вопросу переполнения стека (http://stackru.com/questions/3434090/app-engine-badvalueerror-on-bulk-data-upload-textproperty-being-construed-as-s) После добавления import_transform: db.Text я все …
16 окт '11 в 11:52
1
ответ
Поведение BulkLoader при загрузке из Интернета
Я использую BulkLoader для загрузки изображений, SWF-файлов, XML и т. Д. В игру. При работе на местном content собственность на LoadingItem всегда хорошо в зависимости от типа актива: Bitmap если это изображение, MovieClip если это SWF и т. д. Когда…
19 янв '12 в 11:39