Скручивание байт файла при загрузке в hadoop с использованием httpfs
Я пытаюсь загрузить tar-файл в Hadoop Cloudera, используя curl httpfs: ниже приведена команда, которую я использую:/mounts/cleo/tmp/curl-7.56.0/src/curl -i -k -b cookie.jar -format -H "Передача-Кодировка: чанкированная" --max-time 180 -H "Тип контента: application / octet-stream" -L -X PUT -T /mounts/cleo/data/hdfs/filestest.tar --negotiate -u: " https://usdhdphttpfs.rxcorp.com:14000/webhdfs/v1/development/gem/data/cleo/filestest.tar?op=CREATE&data=true"
Однако, когда я загружаю файл в индикатор выполнения, отображается размер файла: % Всего% Получено% Xferd Средняя скорость Время Время Время Текущая загрузка Загрузка Всего израсходовано Левая скорость 0 406M 0 0 0 0 0 0 -: -: - -: -: - -: -: - 0 100 406M 0 0 100 406M 0 4622k 0:01:29 0:01:30 -: -: - 4522k
Хотя фактический размер файла: -rw-rw-r-- 1 cleo cleo 407M 29 ноября, 12:17 filestest.tar
Я также выполнил трассировку сети и обнаружил, что начальные 16372 обрезаются или теряются во время загрузки. Также, когда на получающем конце hadoop я пытаюсь распаковать файл, я получаю следующую ошибку: $ tar tvf filestest.tar |wc -l tar: Это не похоже на архив tar tar: переход к следующему заголовку tar: выход с ошибкой статус из-за предыдущих ошибок