Использование odo для переноса данных в SQL

Question

У меня большой CSV-файл объемом 3 ГБ, и я хотел бы использовать Blaze для исследования данных, выбрать те данные, которые мне интересны при анализе, с возможной целью перенести эти данные в подходящий вычислительный бэкэнд, такой как SQlite., PostgresSQL и т. Д. Я могу получить эти данные в Blaze и нормально с ними работать, но у меня возникли проблемы:

db = odo(bdata, 'sqlite:///report.db::report')`

Я не уверен, как правильно создать файл БД, чтобы открыть с помощью sqlite.

Answer 1

Вы можете перейти непосредственно от CSV к sqlite, используя указания, перечисленные здесь. http://odo.pydata.org/en/latest/perf.html?highlight=sqlite Я думаю, что вы пропустили имена столбцов, о чем здесь сказано: http: //odo.pydata. орг / о / последняя / sql.html? изюминка = SQLite

dshape = discover(resource('report_2015.csv'))
t = odo('report_2015.csv', 'sqlite:///report.db::report', dshape=dshape)