Время ожидания putObject() для файлов размером более ~1 МБ

Question

При попытке загрузить файл CSV в мое ведро S3 с помощью putObject() функция, это будет время ожидания, если файл больше, чем около 1 МБ. Самый большой CSV-файл, который мне удалось успешно загрузить, составляет 1048 КБ (25500 строк), и он был успешным только четыре из 6 раз, когда я пытался загрузить его. Любой файл размером менее 1 МБ загружается очень быстро без каких-либо сбоев. Что может привести к зависанию функции и превышению времени ожидания, когда она достигнет порога ~1 МБ?

Соответствующий код ниже:

function writeToS3(){
    var params = {
        Bucket: bucketName,
        Key: fileName,
        Body: fs.createReadStream(fileName)
    }
      
    s3.putObject(params, function(err, data){
        if(err){
            console.log('Error uploading data to S3 bucket: ' + err);
            throw err;
        } else{
            console.log("Data uploaded to S3 bucket: ", util.inspect(data));
        }
    });
}

Ниже приведено сообщение об ошибке:

 Error uploading data to S3 bucket: TimeoutError: Connection timed out after 120000ms
    C:\Users\426782\documents\workspace-sts\lf-rti-file-copier-sql\node_modules\aws-sdk-proxy\node_modules\aws-sdk\lib\request.js:31
                throw err;
                ^

    TimeoutError: Connection timed out after 120000ms
        at ClientRequest.<anonymous> (C:\Users\426782\documents\workspace-sts\lf-rti-file-copier-sql\node_modules\aws-sdk-proxy\node_modules\aws-sdk\lib\http\node.js:83:34)
        at ClientRequest.g (events.js:292:16)
        at emitNone (events.js:86:13)
        at ClientRequest.emit (events.js:185:7)
        at Socket.emitTimeout (_http_client.js:630:10)
        at Socket.g (events.js:292:16)
        at emitNone (events.js:86:13)
        at Socket.emit (events.js:185:7)
        at Socket._onTimeout (net.js:338:8)
        at ontimeout (timers.js:386:11)
        at tryOnTimeout (timers.js:250:5)
        at Timer.listOnTimeout (timers.js:214:5)

    npm ERR! Windows_NT 10.0.14393
    npm ERR! argv "C:\\Program Files\\nodejs\\node.exe" "C:\\Program Files\\nodejs\\node_modules\\npm\\bin\\npm-cli.js" "run" "test" "65056"
    npm ERR! node v6.11.4
    npm ERR! npm  v3.10.10
    npm ERR! code ELIFECYCLE
    npm ERR! lf-rti-file-copier@1.0.0 test: `serverless invoke local -f dataRefresh -s dev -d  "65056"`
    npm ERR! Exit status 1
    npm ERR!
    npm ERR! Failed at the lf-rti-file-copier@1.0.0 test script 'serverless invoke local -f dataRefresh -s dev -d  "65056"'.
    npm ERR! Make sure you have the latest version of node.js and npm installed.
    npm ERR! If you do, this is most likely a problem with the lf-rti-file-copier package,
    npm ERR! not with npm itself.
    npm ERR! Tell the author that this fails on your system:
    npm ERR!     serverless invoke local -f dataRefresh -s dev -d  "65056"
    npm ERR! You can get information on how to open an issue for this project with:
    npm ERR!     npm bugs lf-rti-file-copier
    npm ERR! Or if that isn't available, you can get their info via:
    npm ERR!     npm owner ls lf-rti-file-copier
    npm ERR! There is likely additional logging output above.

Answer 1

У меня была похожая проблема, и я предлагаю вам попробовать этот метод upload. https://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/S3.html

Загружает буфер произвольного размера, большой двоичный объект или поток, используя интеллектуальную параллельную обработку деталей, если полезная нагрузка достаточно велика.

Вот пример того, как ваш код может быть преобразован:

function writeToS3() {
  fs.readFile(fileName, 'utf8', function (err, contents) {
    if (err) {
      console.log('Error during reading file: ' + err);
      throw err;
    } else {
      // Create a binary data from stream
      var base64data = Buffer.from(contents, 'binary')

      var params = {
        Bucket: bucketName,
        Key: fileName,
        Body: base64data
      }

      s3.upload(params, function (err, data) {
        if (err) {
          console.log('Error uploading data to S3 bucket: ' + err);
          throw err;
        } else {
          console.log("Data uploaded to S3 bucket: ", util.inspect(data));
        }
      });
    }
  });
}

ОБНОВИТЬ:

Также, пожалуйста, посмотрите на Bluebird библиотечный метод, это поможет вам преобразовать все методы в обещания, чтобы он был более читабельным.

ИЗМЕНИТЬ ВРЕМЯ

В панели управления лямбда есть место, где вы можете изменить TimeoutВот скриншот этого. Пожалуйста, измените его на 5 минут.