Вызовите api rest, чтобы отправить данные в kinesis с помощью python.

Question

Я новичок в python и aws.Я не знаю, как задавать вопросы в stackru.

Пожалуйста, не блокируйте меня.

Я пытаюсь отправить HTTP-запрос на отправку записи в Amazon Kinesis Stream.

Я создал поток mystream в кинезисе. Я использую метод пост.

Я попробовал следующую ссылку, чтобы настроить API-интерфейс шлюза, и он работал нормально.

https://docs.aws.amazon.com/kinesis/latest/APIReference/API_CreateStream.html

Я пытаюсь сделать это с помощью кода Python с использованием запросов.

Но я получаю следующую ошибку:

Вот мой код:

import sys, os, base64, datetime, hashlib, hmac 
import requests # pip install requests

# ************* REQUEST VALUES *************
method = 'POST'
service = 'kinesis'
host = 'kinesis.eu-west-1.amazonaws.com'
region = 'eu-west-1'
endpoint = 'https://kinesis.eu-west-1.amazonaws.com'

content_type = 'application/x-amz-json-1.1'
amz_target = 'Kinesis_20181114.PutRecord'
request_parameters = '{'
request_parameters += '"StreamName": mystream,'
request_parameters += '"Data":  + base64.b64encode(test) + ,'
request_parameters += '"PartitionKey": 1234 '
request_parameters += '}'


# Key derivation functions. See:
# http://docs.aws.amazon.com/general/latest/gr/signature-v4- 
examples.html#signature-v4-examples-python
def sign(key, msg):
return hmac.new(key, msg.encode('utf-8'), hashlib.sha256).digest()

def getSignatureKey(key,datestamp,region,service):
kDate = sign(('AWS4' +key ).encode('utf-8'), datestamp)
kRegion = sign(kDate,region)
kService = sign(kRegion,service)
kSigning = sign(kService, 'aws4_request')
return kSigning

# Read AWS access key from env. variables or configuration file. Best 
practice is NOT
# to embed credentials in code.
with open ('C:\\Users\\Connectm\\Desktop\\acesskeyid.txt') as f:
       contents = f.read().split('\n')
       access_key = contents[0]
       secret_key = contents[1]


 if access_key is None or secret_key is None:
 print('No access key is available.')
 sys.exit()

# Create a date for headers and the credential string
t = datetime.datetime.utcnow()
amzdate = t.strftime('%Y%m%dT%H%M%SZ')
datestamp = t.strftime('%Y%m%d') # Date w/o time, used in credential scope

canonical_uri = '/'

canonical_querystring = ''

canonical_headers = 'content-type:' + content_type + '\n' + 'host:' + host + 
'\n' + 'x-amz-date:' + amzdate + '\n' + 'x-amz-target:' + amz_target + '\n'

signed_headers = 'content-type;host;x-amz-date;x-amz-target'

payload_hash = hashlib.sha256(request_parameters).hexdigest()

canonical_request = method + '\n' + canonical_uri + '\n' + 
canonical_querystring + '\n' + canonical_headers + '\n' + signed_headers + 
'\n' + payload_hash

algorithm = 'AWS4-HMAC-SHA256'
credential_scope = datestamp + '/' + region + '/' + service + '/' + 
'aws4_request'
 string_to_sign = algorithm + '\n' +  amzdate + '\n' +  credential_scope + 
'\n' +  hashlib.sha256(canonical_request).hexdigest()

signing_key = getSignatureKey(secret_key, datestamp, region, service)

 signature = hmac.new(signing_key, (string_to_sign).encode('utf-8'), 
hashlib.sha256).hexdigest()

 authorization_header = algorithm + ' ' + 'Credential=' + access_key + '/' + 
credential_scope + ', ' +  'SignedHeaders=' + signed_headers + ', ' + 
'Signature=' + signature
print authorization_header;


headers = {'Content-Type':content_type,
       'X-Amz-Date':amzdate,
       'X-Amz-Target':amz_target,
       'Authorization':authorization_header}
 # ************* SEND THE REQUEST *************
print '\nBEGIN REQUEST++++++++++++++++++++++++++++++++++++'
print 'Request URL = ' + endpoint
r = requests.post(endpoint, data=request_parameters, headers=headers)
print '\nRESPONSE++++++++++++++++++++++++++++++++++++'
print 'Response code: %d\n' % r.status_code
print r.text

Следующая ошибка, которую я получаю

Учетные данные AWS4-HMAC-SHA256 =AKIAI5C357A6YSKQFXEA/20181114/eu-west- 1/kinesis/aws4_request, SignedHeaders= тип контента; хост; дата-x-amz- target; подпись x-amz- target; подпись =1d7d463d806806686 0687 0687 0687 067 0687 067 067 067 0687 067 067 067 067 067 067 067 067 067 067 067 0671 095764786148869708646106106106106106106106106106106106106106106106106108

НАЧАТЬ ЗАПРОС +++++++++++++++++++++++++++++++++++++++++++ URL запроса = https://kinesis.eu-west-1.amazonaws.com/

ОТВЕТ ++++++++++++++++++++++++++++++++++++ Код ответа: 400

{ "__Type":"SerializationException"}

Может кто-нибудь объяснить мне, как я могу исправить вышеуказанную ошибку?

Код подключается к потоку? Есть ли проблема с сериализацией данных?

Answer 1

Тот факт, что вы получаете SerializationException означает, что ваш код работает, чтобы поговорить с Kinesis, но данные, которые вы даете в test скорее всего не действительный JSON.

Это говорит:

Я настоятельно рекомендую не выполнять логику запросов самостоятельно, а использовать комплект разработки программного обеспечения (SDK) для AWS, который называется boto3.

import json

import boto3

kinesis = boto3.client("kinesis")

response = kinesis.put_record(
    StreamName="my-fancy-kinesis-stream",
    Data=json.dumps({
        'example': 'payload',
        'yay': 'data',
        'hello': 'world'
    }),
    PartitionKey="AdjustAsNeeded"
)
print response

Это создаст экземпляр клиента Kinesis с использованием учетных данных на вашем компьютере (либо через метаданные экземпляра или ~/.aws/config), либо с помощью переменных среды.

Затем он берет простой словарь и выводит его в строку JSON для данных.

Многое можно сказать о ключах разделов, которые вы можете узнать здесь.

Также проверьте boto3!