Размер буфера Cloudconnect CSV

Question

Когда я пытаюсь загрузить большой CSV из zip-файла, журнал выполнения выдает мне следующую ошибку:

----------------------------------------- Error details ------------------------------------------
  Component [Clientes:CLIENTES1] finished with status ERROR.
   The size of data buffer is only 100663296. Set appropriate parameter in defaultProperties file.
--------------------------------------------------------------------------------------------------

Как я могу установить соответствующий параметр в файле defaultProperties?

Я попробовал эту ссылку, но моя страница настроек запуска cloudconnect отличается от ссылки:

Я создал файл параметров и заполнил дополнительные параметры правильными значениями, такими как учебник (код ниже) и та же ошибка появляется на экране.

Name: -config; Value: new_buffer_size.txt

Содержимое new_buffer_size.txt содержит только эту строку:DEFAULT_INTERNAL_IO_BUFFER_SIZE = 200000000

Как я могу решить эту проблему? Мне нужно решить это до того, как мир взорвется.

Answer 1

CloudConnect предназначен для разработки ETL, которые могут работать на облачных рабочих средах GoodData, и поэтому некоторые настройки более низкого уровня превышаются, как в этом случае. Единственный законный способ - изменить ETL так, чтобы он мог обрабатывать данные с текущими настройками. Что касается документов, ссылка на статью устарела. GoodData docs команда знает, если это, и они готовят рефакторинг документов.

Примечание. Как вы, вероятно, заметили, CloudConnect работает на базе Clover ETL от Javlin, поэтому не стесняйтесь проверять их форумы, поскольку вы найдете там, как решить проблему на более низком уровне (без пользовательского интерфейса), но это будет работать только для данных. обработка на локальной машине.