Можно ли использовать dnspython через прокси?

Question

Я пишу программу, которая собирает основную информацию CNAME для заданных доменов.
В настоящее время я использую DNS-сервер Google в качестве опрашиваемого, но боюсь, что, если я отправлю пару миллионов запросов на поиск DNS, это заблокирует меня (не волнуйтесь, это ни в коем случае не какой-либо тип DDOS или что-либо подобное). в этой области).

Мне интересно 2 вещи.
1. можно ли использовать пакет dnspython для отправки запросов через прокси-серверы? таким образом я могу распространять свои запросы через несколько прокси.

2. Я не смог найти ссылку на подобную вещь, но возможно ли, что меня заблокируют для стольких поисков DNS?

Спасибо,
Meny

Answer 1

Если Google заблокировал такое количество запросов с данного IP-адреса, следует предположить, что отправка такого количества запросов противоречит их политике использования (и, несомненно, является формой "несправедливого использования"). Так что скрывать ваш IP-адрес источника за прокси-сервером вряд ли этично.

Вы могли бы принять более этичный подход путем:

1. Распределение ваших запросов по нескольким общедоступным DNS-серверам (поиск по "общедоступным DNS-серверам", там 8 или 9 провайдеров и как минимум 2 сервера на провайдеров), тем самым уменьшая количество запросов на сервер.

2. Распределите ваши запросы в течение разумного периода времени, чтобы ограничить влияние запросов на DNS-серверы различных провайдеров. Или просто ограничьте вашу частоту запросов чем-то разумным.

3. Если ваши запросы охватывают несколько разных доменов, выполните собственное рекурсивное разрешение, чтобы основная часть ваших запросов была направлена ​​на авторитетные серверы, а не на общедоступные рекурсивные серверы. Таким образом, вы будете разрешать доверенные серверы для домена по отношению к общедоступным серверам (т.е. запросы NS), но разрешать запросы CNAME к самим доверенным серверам, тем самым еще больше распределяя нагрузку.

И нет такой вещи, как DNS-прокси (кроме DNS-сервера, который принимает рекурсивные запросы, для которых он не является авторитетным).