Как выбрать столбцы для загрузки в Kedro CSVLocalDataSet?

Question

У меня есть csv файл, который выглядит как

a,b,c,d
1,2,3,4
5,6,7,8

и я хочу загрузить его как Кедро CSVLocalDataSet, но я не хочу читать весь файл. Мне нужно всего несколько столбцов (скажем,a а также b например).

Есть ли способ указать список столбцов для чтения / загрузки?

Answer 1

CSVLocalDataSet использует pandas.read_csv, который принимает параметр usecols. Его можно легко проксировать, используяload_args параметр набора данных (все наборы данных поддерживают передачу дополнительных параметров через load_args а также save_args):

my_cool_data:
  type: CSVLocalDataSet
  filepath: data/path.csv
  load_args: 
    usecols: ['a', 'b']

Также обратите внимание, что те же параметры будут работать для любого набора данных на основе панд.