Запись файлов в Amazon S3 с использованием Informatica BDM
Сценарий: я новичок в AWS и Informatica Developer. Я читаю файлы из Amazon S3 с помощью Informatica Developer и делаю маскирование данных в определенных столбцах. Я читаю каждую запись из файла как одну строку (Чтение записи в один порт). Итак, я разделяю запись заголовка и все остальные записи данных. После разделения я завершаю маскирование данных для определенных столбцов в записях данных, затем делаю запись Union of Header и записи данных, чтобы записать их обратно в Amazon S3. Я использую Spark Engine для запуска сопоставлений.
Проблема: проблема, с которой я сталкиваюсь сейчас, заключается в том, что при чтении и записи данных обратно в Amazon S3 с помощью Informatica Developer. Заголовок и данные разделены и записаны как два разных файла, хотя я объединяю заголовок и записи данных в отображении. Я работаю над записью файла в Unix и перемещением его в Amazon S3. Я знаю без API, я не могу Concat файлы напрямую в Amazon S3.
Я хотел бы получить это как один файл в результате. Кто-нибудь сталкивался с этой проблемой. Не могли бы вы посоветовать какой-нибудь способ обойти эту проблему?