Как избежать "безопасности" из-за квот паники при доступе к хранилищу данных? (биллинг включен)

Question

Я развернул свой сайт в Google App Engine (используя Golang и хранилище данных с 1000 записями). биллинг включен и дневной бюджет установлен. Страница сведений о квоте указывает, что все находится под квотой. Я делаю Urlfetch, чтобы получить файл TSV, который я использую для создания объектов данных в хранилище данных.

Две проблемы:

1. Создано только 778 объектов - журнал указывает, что это длительный процесс, но он завершается преждевременно без сообщения об ошибке. Документы говорят, что это нормально
2. Второй шаг включает создание файла json из сущностей в хранилище данных. Этот процесс вызывает "панику: превышение квоты", потому что, я полагаю, процесс занимает слишком много времени.

Как мне поступить? Должен ли я разделить файл данных TSV на несколько небольших файлов? Могу ли я запросить "больше времени", чтобы не пересматривать квоты безопасности?

Важно отметить, что в части хранилища данных консоли разработчика возникают некоторые проблемы: хотя мое приложение имеет доступ к 778 объектам хранилища данных, консоль сообщает только 484 объекта такого рода, всего всего 704 объекта всех видов (фактически 933)

Я работал над этим некоторое время, и мне интересно, происходит ли что-то с системой или есть ли что-то, что я могу сделать, чтобы правильно настроить свои объекты данных. Я также хотел бы, чтобы я мог найти больше, чтобы прочитать о квотах безопасности...... и заставить работать удаленный API! Спасибо!

Answer 1

Это действительно зависит от того, где вы выполняете эту обработку для обоих этих вариантов использования на платформе appengine.

Например, если вы выполняете urlfetch для обработки файла в экземпляре внешнего интерфейса, то у вас есть 60 секунд, чтобы выполнить всю эту обработку. App Engine требует, чтобы экземпляры веб-интерфейса отвечали на каждый запрос в течение 60 секунд.

Я предполагаю, что это то, что вы делаете, так как ваш запрос прекращается. Чтобы обойти это временное ограничение, вы должны переместить этот тип пакетной обработки данных в очередь задач, где каждая задача должна быть выполнена в течение 10 минут.

То же самое относится и к вашим чтениям. Либо вам нужно посмотреть, как вы читаете данные из хранилища данных, либо вам нужно объединить их с отложенной задачей или конвейером.

У вас есть фрагмент, которым вы можете поделиться о том, как вы создаете свой JSON?