Увеличить лимит в 1000 для подсчета лямбда-результатов aws из execute_sql с помощью rds-data или использовать другой пакет?

Question

Я использовал AWS aurora с лямбда-функцией Python для выполнения запросов для нашего приложения. Лямбда-функции отлично работают, но возвращают только первые 1000 результатов, а не все. Я попытался увеличить лимит до 5000 с помощью пагинаторов, но не смог найти подходящего решения:

import boto3
def lambda_handler(event, context):

   client = boto3.client('rds-data')
   readParam = event['query'] # readParam = 'select * from table;'
   database1 = event['database'] # Database name

   response = client.execute_sql(
      awsSecretStoreArn='arn:aws:secretsmanager:us-east-1:xxxxx:secret:abc/read-XXXX',
      database=database1,
      dbClusterOrInstanceArn='arn:aws:rds:us-east-1:xxxxx:cluster:abcd-abc',
      sqlStatements=readParam
   )

   return {
      'statusCode': 200,
      'headers': {
          'Content-Type': 'application/json',
          "Access-Control-Allow-Origin": "*",
          "Access-Control-Allow-Headers": "Content-Type",
          "Access-Control-Allow-Methods": "OPTIONS,POST"
       },
      'body': response
  }

`

Я пробовал использовать SQLAlchemy и pydataapi и развернуть пакет разработки AWS для лямбда-выражения, но это не сработало. Лямбда-функция не читает соответствующий файл Python с lambda_handler. Код выглядит следующим образом:

import pymysql.cursors
from sqlalchemy.engine import create_engine
  def lambda_handler(event, context):
    readParam = event['query']
    database1 = event['database']

    engine = create_engine(
       'mysql+pydataapi://',
        connect_args={
           'resource_arn': 'arn:aws:rds:us-east-1:xxxx:cluster:abcd-abc',
           'secret_arn': 'arn:aws:secretsmanager:us-east-1:xxxx:secret:abc/read-XXXX',
        'database': 'mimic_dev'
    }
)

result: ResultProxy = engine.execute(readParam)

return {
    'statusCode': 200,
    'headers': {
        'Content-Type': 'application/json',
        "Access-Control-Allow-Origin": "*",
        "Access-Control-Allow-Headers": "Content-Type",
        "Access-Control-Allow-Methods": "OPTIONS,POST"
    },
    'body': result.fetchall
}

Есть ли лучшее альтернативное решение тому, что я пробовал? Любая помощь приветствуется. Благодарю вас

Answer 1

Эта проблема была решена. Ресурсы: пакет развертывания AWS lambda на Python

И следующий код:

import pymysql.cursors
import json

from sqlalchemy.engine import create_engine

def lambda_handler(event,context):
   engine = create_engine(
       'mysql+pydataapi://',
        connect_args={
        'resource_arn': 'arn:aws:rds:us-east-1:xxxxx:cluster:xxxx',
        'secret_arn': 'arn:aws:secretsmanager:us-east-1:xxxx:secret:decima/abcd-abc',
        'database': 'mimic_dev'
    }
)
   result: ResultProxy = engine.execute("select * from person limit 10000")
   resultValue = result.fetchall()
   return json.dumps([dict(r) for r in resultValue])