SQL Loader - несколько файлов и захват имен файлов
У меня есть папка с более чем 400K текстовых файлов.
С именами вроде
deID.RESUL_12433287659.txt_234323456.txt
deID.RESUL_34534563649.txt_345353567.txt
deID.RESUL_44235345636.txt_537967875.txt
deID.RESUL_35234663456.txt_423452545.txt
Я хочу хранить все файлы и их содержимое следующим образом:
file_name file_content
deID.RESUL_12433287659.txt_234323456.txt Content 1
deID.RESUL_34534563649.txt_345353567.txt Content 2
deID.RESUL_44235345636.txt_537967875.txt Content 3
deID.RESUL_35234663456.txt_423452545.txt Content 4
Я попытался создать контрольный файл, используя:
LOAD
DATA
INFILE 'deID.RESUL_12433287659.txt_234323456.txt'
INFILE 'deID.RESUL_34534563649.txt_345353567.txt'
INFILE 'deID.RESUL_44235345636.txt_537967875.txt'
INFILE 'deID.RESUL_35234663456.txt_423452545.txt'
APPEND INTO TABLE TBL_DATA
EVALUATE CHECK_CONSTRAINTS
REENABLE DISABLED_CONSTRAINTS
EXCEPTIONS EXCEPTION_TABLE
FIELDS TERMINATED BY ""
OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
FILE_NAME
)
Есть ли способ, которым я могу динамически захватывать имена файлов и указывать подстановочный знак в INFILE, чтобы мне не приходилось упоминать 400К файлы один за другим в моем контрольном файле?
1 ответ
Решение
1) Создать таблицу для хранения данных / файлов
create table TBL_DATA(file_name varchar2(4000), file_content clob);
2) Создать load_all.ctl
LOAD DATA
INFILE file_list.txt
INSERT INTO TABLE TBL_DATA
APPEND
FIELDS TERMINATED BY ","
OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
file_name char(4000)
, file_content LOBFILE(file_name) TERMINATED BY EOF
)
3) Перенаправить список файлов в один file_list.txtls -1 *.txt > file_list.txt
4) Беги sqlldr user/pass@db control=load_all.ctl
5) load_all.ctl,file_list.txt
и исходные файлы должны быть в той же папке.