Твиттер майнинг проблема с лимитом скорости

Question

Я работал над исследовательским проектом, включающим получение информации о друзьях и подписчиках из твиттера. Я написал код, который отлично работает для примера аккаунта, такого как мой, у которого есть 1 тыс. Подписчиков или друзей. Но у меня возникли проблемы при запуске аккаунта Дональда Трампа, у которого 12,2 миллиона подписчиков. В моей программе после запроса на некоторое время превышен лимит скорости, и я жду 15 минут, а затем снова запрашиваю то же самое. Этот процесс отлично работает для информации о 1 миллионе пользователей, но после этого он застревает или иногда выдает ошибку URL. Пожалуйста, предложите, в чем может быть проблема при работе с такими большими данными и каково будет решение. Пожалуйста, найдите фрагмент кода для того же ниже -

def get_info_by_screen_name(t, screen_names):

    sn_to_info = {}
    while len(screen_names) > 0:

        # Process 100 ids at a time...

        screen_names_str = ','.join([str(sn) for sn in screen_names[:100]])
        screen_names = screen_names[100:]

        response = make_twitter_request(t,
                                        getattr(getattr(t, "users"), "lookup"),
                                        screen_name=screen_names_str)

        if response is None:
            break

        if type(response) is dict:  # Handle Twitter API quirk
            response = [response]

        for user_info in response:
            sn_to_info[user_info['screen_name']] = user_info

    return sn_to_info


    t = oauth_login()

    friends_ids, followers_ids = get_friends_followers_ids(t,
                                                           screen_name="realDonaldTrump",
                                                           friends_limit=100,
                                                           followers_limit=100)

    # Basic usage...


    print friends_ids
    print followers_ids
    # Basic usage...
    info = {}
    data_test = {}
    info.update(get_info_by_id(t, friends_ids))