Twitter API - эффективный способ получить списки подписчиков для аккаунтов с несколькими миллионами подписчиков

Question

Моя задача - получить весь список подписчиков аккаунта с более чем 30 миллионами подписчиков.

В настоящее время я использую GET followers/list конечная точка в REST API Twitter, однако, с учетом ограничения скорости бесплатного API, это занимает много дней.

Я готов заплатить Twitter за доступ к Premium API, однако мне не удалось найти никаких данных, свидетельствующих о том, что Premium API имеет необходимые конечные точки и достаточное ограничение скорости, чтобы помочь решить эту задачу не более чем за несколько часов.

Был бы признателен за любое понимание по этому поводу...

Answer 1

Вы можете получить 1000000 подписчиков (или друзей) примерно за 6 часов с публичным API, например:

1-й шаг: получите идентификаторы подписчиков или друзей с помощью ПОЛУЧИТЬ подписчиков / идентификаторы или ПОЛУЧИТЬ друзей / идентификаторы. Ограничение скорости составляет 15 запросов в 15 мин для получения 5000 идентификатора пользователя за запрос. Это 1 запрос каждую минуту, затем 200 мин для получения 1 000 000 идентификаторов пользователей (3 часа 20 минут).

2-й шаг: преобразовать идентификаторы пользователей в имена пользователей (экранные имена) с помощью GET users / lookup. Ограничение скорости составляет 900 запросов в пределах 15 минут для преобразования 100 идентификаторов пользователей за запрос. Итак, 100 пользователей в секунду, это 1000000 пользователей за 10000 секунд (2 часа 46 минут).

Итого: 6ч06, чтобы получить 1000000 экранных имен подписчиков (или друзей)

С премиальным API кажется, что нет ограничения скорости, поэтому он должен быть быстрее ( https://developer.twitter.com/en/docs/basics/rate-limiting)...