Есть ли способ загрузить CSV-файлы в Vectorwise с помощью Python?

Я хочу написать скрипт Python, который помог бы мне перемещать некоторые объекты (таблицы) из одной базы данных Vectorwise в другую. Они довольно большие, и многие из них (~50 миллионов записей каждая), и, очевидно, было бы невозможно записать их в файл данных pandas, а затем записать в базу данных.

На данный момент я использую SQL-запросы к базе данных через Python, это jaydebeapi и joblib для их распараллеливания. Я хотел бы сделать что-то подобное с некоторой массовой вставкой, если есть метод, чтобы сделать это с jaydebeapi? Может быть, загрузка нескольких CSV будет работать, но не может найти, если jaydebeapi имеет функцию записи CSV в базу данных. Альтернативные предложения, которые используют Python, очень приветствуются.

0 ответов

Другие вопросы по тегам