boto ElasticMapReduce регулирование и ограничение скорости

Question

boto ElasticMapReduce регулирование и ограничение скорости

Я несколько раз сталкивался с ограничением скорости из Amazon EMR через API-интерфейс boto со следующим:

boto.exception.EmrResponseError: EmrResponseError: 400 Bad Request
<ErrorResponse xmlns="http://elasticmapreduce.amazonaws.com/doc/2009-03-31">
  <Error>
    <Type>Sender</Type>
    <Code>Throttling</Code>
    <Message>Rate exceeded</Message>
  </Error>
  <RequestId>69d74a63-7de3-11e0-aafc-2b540b1e5f42</RequestId>
</ErrorResponse>

Операция является одноразовой операцией запроса состояния потока работ, поэтому не должно быть никакого ограничения скорости. Кто-нибудь еще сталкивался с этим вопросом? Кроме того, кажется, что нет большого количества документации по EC2 и EMR дросселированию / ограничению скорости...

4

amazon-ec2 boto throttling rate-limiting elastic-map-reduce

Источник

user129755 16 май '11 в 17:46

1 ответ

Решение

Другие вопросы по тегам amazon-ec2 boto throttling rate-limiting elastic-map-reduce

user1385451 09 май '12 в 19:10 2012-05-09 19:10 · Accepted Answer · 2012-05-09 19:10

Почти все (если не все) API-интерфейсы AWS ограничены по скорости. Даже чтение данных создает нагрузку на их службы (некоторые больше, чем другие), поэтому они защищают себя, ограничивая частоту запросов, которые каждая учетная запись может делать. Согласно документам AWS, рекомендуемый подход к решению проблемы регулирования заключается в реализации экспоненциального отката в логике повторных попыток.