Описание тега grequests
GRequests allows you to use Requests with Gevent to make asyncronous HTTP Requests easily.
1
ответ
Можно ли установить максимальное количество повторных попыток, совместно используемых всеми подключениями к пулу в одном сеансе?
В настоящее время я делаю следующее для установки максимального количества повторных попыток подключения для моего grequest обертка: self._s = Session() retries = Retry(total=5, status_forcelist=[500, 502, 503, 504]) self._s.mount('http://, HTTPAdap…
16 дек '17 в 00:41
1
ответ
Призывает получить файл.csv из API
Мне нужно получить несколько файлов.csv из SharePoint. Если я сделаю этот запрос через почтальона https://mycompany.sharepoint.com/teams/a/g/_api/web/GetFolderByServerRelativeUrl('Data%20Sources\')/Files('sharepoint_test.csv')/$value С заголовками A…
06 апр '18 в 20:42
1
ответ
Соскреб, посылая параллельные запросы с Python
У меня есть Python 3.4, и я установил запросы и несколько других необходимых программ для очистки веб-страниц. Моя проблема в том, что я хотел бы очистить около 7000 страниц (только html/text), и не хочу делать все это сразу, я хотел бы иметь некото…
14 авг '14 в 05:40
2
ответа
Gevent / запросы зависает при выполнении большого количества запросов головы
Мне нужно сделать 100 000 запросов на головку, и я использую gevent поверх запросов. Мой код работает некоторое время, но затем в конечном итоге зависает. Я не уверен, почему он висит, или он висит внутри запросов или gevent. Я использую аргумент ti…
29 янв '15 в 19:54
1
ответ
Вызов функций через grequests
Я понимаю, что было много постов по греквестам, таким как асинхронные запросы с запросами Python, которые описывают базовое использование скриптов и как отправлять хуки через grequests.get() Я вытащил этот кусок кода прямо из этой ссылки. import gre…
01 авг '16 в 19:51
0
ответов
grequests не обрабатывает асинхронные вызовы по URL HTTPS
Я отправил 10 запросов на http://google.com/ используя погрешности для измерения задержки. Когда я использую http, кажется, что все запросы обрабатываются параллельно. Однако, когда я изменяю его на https://google.com/ время обработки последовательн…
14 фев '19 в 02:52
0
ответов
Вложенные гречихи не выполнены
Я пытаюсь вызвать grequest дополнительные вызовы grequeest и обнаруживаю, что обратные вызовы grequest второго уровня не выполняются. Сценарий используется для просмотра первой страницы результатов API, его использования для расчета количества посещ…
27 июн '16 в 23:53
1
ответ
grequests.post() возвращает None
>>> payload = {'a': 'b'} >>> url = 'http://someurl/' >>> req_ = [grequests.post(url, session=requests.session, data=payload)] >>> r = grequests.map(req_) >>> r [None] Я делаю что-то неправильно?
21 июл '17 в 13:10
1
ответ
Дополнительные аргументы в Flask grequests hook
У меня возникла проблема при передаче дополнительного параметра запросам с помощью перехвата. Он работает в автономном приложении (без фляги), но не с флягой (встроенный сервер фляги). Вот мой фрагмент кода. self.async_list = [] for url in self.urls…
06 сен '18 в 16:14
0
ответов
Можно ли сделать асинхронный запрос Python с сертификатом из памяти вместо файла?
Я пытаюсь написать инструмент для генерации большого количества запросов от Python. Запросы требуют сертификат, который будет прикреплен к каждому запросу. Это значит, что я делаю что-то вроде: requests.post('/path/', cert=('cert.pem', 'private.key'…
21 апр '17 в 17:33
1
ответ
Почему запросы "API" возвращают "Нет" в запросах, в то время как "обычная очистка веб-страниц" дает ответ 200
ПРИМЕР: Приведенный ниже код способен получить несколько веб-результатов с помощью греквестов, но почему на самом деле он терпит неудачу с "совершением простых вызовов API" КОД: import grequests links = [ 'https://api.github.com/users?since=135', 'h…
05 янв '19 в 16:35
1
ответ
Как отправлять 1к POST http запросов в секунду с данными, используя Python?
Мне нужно сделать стресс-тест для моего API. Я изменил этот пример для отправки POST вместо HEAD, а также добавил некоторые данные в свой запрос: count = int(sys.argv[1]) url = "http://api.example.com/" test_id = datetime.now().strftime("%H%M%S%f") …
19 май '17 в 09:24
1
ответ
Википедия Запросы + Грекеты
Я пытаюсь запросить ~50 страниц Википедии. Я использовал пакет запросов, чтобы делать запросы GET, но я работал над реализацией запросов, поскольку слышал, что он имеет гораздо лучшую производительность. Улучшение производительности действительно ми…
23 июн '17 в 22:03
0
ответов
Можно ли ускорить веб-скребок с нескольких компьютеров?
Есть ли способ ускорить работу веб-скребка, если несколько компьютеров вносят свой вклад в обработку списка URL-адресов? Как компьютер A принимает URL-адреса 1–500, а компьютер B - URL-адреса 501–1000 и т. Д. Я ищу способ создания максимально быстро…
01 июн '18 в 21:05
1
ответ
github3.py: Возможно ли использовать с грекетами?
Интересно, было ли это когда-нибудь раньше? У меня есть приложение, которое загружает тонны информации из нашего экземпляра GitHub Enterprise (в настоящее время не используется github3.py, но я думаю о преобразовании его для использования github3.py…
01 ноя '14 в 22:39
1
ответ
Отключить журналы ошибок grequests на консоли
Есть ли способ отключить ведение журнала grequests на консоли? Мои приложения возвращают ошибку в части запросов: Timeout: (<requests.packages.urllib3.connectionpool.HTTPConnectionPool object at 0x10daa1a50>, 'Connection to 116.231.213.50 time…
22 окт '13 в 21:06
1
ответ
Как сделать несколько вызовов API с нескольких страниц в одном URL
Так что название немного сбивает с толку, я думаю... У меня есть сценарий, который я пишу, который будет отображать некоторые случайные данные и другие несущественные, когда я открываю свою оболочку. Я использую запросы для выполнения вызовов API, т…
22 апр '17 в 00:21
2
ответа
Грекеты с запросами столкнулись
Я использую модуль Python grequests для вызова некоторых API. Я хочу сделать две функции. Один запрос (использовать модуль запросов) Многократный запрос (используйте модуль grequests) Когда я использую два модуля в двух разных файлах, он работает но…
03 апр '17 в 11:23
2
ответа
Невозможно импортировать греки для AWS Lambda
Я запускаю AWS Lambda-скрипт с Python 2.7 во время выполнения. Однако всякий раз, когда он инициализируется, он начинает импортировать grequests библиотека, но не работает из-за ее зависимости от gevent: Gevent is required for grequests. Кажется, чт…
27 мар '16 в 06:31
0
ответов
Python 2.7 Ошибка объекта SSLContext
При попытке установить пакет grequests в виртуальной среде Python 2.7 я получаю следующую ошибку: InsecurePlatformWarning: настоящий объект SSLContext недоступен. Это препятствует правильной настройке SSL в urllib3 и может привести к сбою некоторых …
20 авг '18 в 18:13