https://developer.marklogic.com/products/mlcp

Гид пользователя

https://docs.marklogic.com/guide/mlcp

особенности

Content Pump может:

• Массовая загрузка миллиардов локальных файлов
• Разделение и загрузка больших агрегированных файлов XML или текста с разделителями
• Массовая загрузка миллиардов троек или четверок из файлов RDF
• Архивировать и восстанавливать содержимое базы данных в разных средах
• Копирование подмножеств данных между базами данных
• Загружать документы из HDFS, включая Hadoop SequenceFiles

Источники данных и места назначения

Content Pump поддерживает перемещение данных между базой данных MarkLogic и любым из следующего:

• Локальная файловая система
• HDFS
• MarkLogic архив
• Другая база данных MarkLogic

Форматы

Content Pump поддерживает

• XML, JSON, текстовые, двоичные файлы
• RDF, закодированный в форматах сериализации RDF/XML, Turtle, RDF/JSON, N3, N-Triples, N-Quads или TriG
• Сжатые файлы и архивы (ZIP, GZIP)
• Архив MarkLogic, который включает как контент, так и метаданные (например, разрешения и свойства)
• Текст с разделителями (например, CSV) (только импорт)
• Временные документы
• Файлы последовательности Hadoop

Начало работы с MLCP

Вы можете найти этот бесплатный онлайн-курс обучения полезным.

Чтобы начать перенос данных с помощью mlcp, загрузите и распакуйте двоичные файлы. Для тех, кто хочет взломать или посмотреть на внутреннее устройство, вы также можете загрузить лицензионный исходный код Apache 2.0.

Чтобы создать свой первый скрипт импорта, убедитесь, что у вас есть сервер XDBC, подключенный к вашей базе данных (работающий на порту 8006, например, ниже). Из командной строки запустите следующее, подставив свои данные.