Наиболее эффективная настройка ввода / вывода между Stata и Python (Pandas)
Я использую Stata для обработки некоторых данных, экспорта данных в CSV-файл и загрузки их в Python с помощью функции pandas read_csv.
Проблема в том, что все так медленно. Экспорт из Stata в CSV-файл занимает много времени (экспорт в формате dta Stata намного быстрее), а загрузка данных через read_csv также очень медленная. Использование функции read_stata pandas еще хуже.
Интересно, есть ли другие варианты? Как экспорт в формате, отличном от CSV? Мой набор данных CSV составляет около 6-7 ГБ.
Любая помощь приветствуется
Спасибо