Как отправить запрос в keep-alive сеансе "urlopen" с использованием python?
Я пытаюсь написать основанный на HTML граббер, который может захватить все картинки пользователя твиттера.
Я понял, что только когда мы прокрутим вниз, будет отправлен запрос GET для загрузки большего количества твитов / картинок.
Но я понятия не имею о том, как смоделировать это в коде Python. Это мой код, который может захватывать только картинки "первой страницы".
import urllib2
import urllib
import re
import sys
import os
import urllib3
generalurl='https://twitter.com/'
INPUT_id = raw_input('Please input the target userid:')
targetpage = generalurl + INPUT_id + '/media'
page = urllib2.urlopen(targetpage)
fo = open('test0.html','w')
fo.write(page.read())
fo.close()
fo = open('test0.html','r')
pics = re.findall('(https://pbs.twimg.com/media/\S+.jpg)',fo.read())
fo.close()
for everyid in pics:
open_ = urllib.urlopen(everyid)
filename = re.findall('https://pbs.twimg.com/media/(\S+.jpg)',everyid)
f=open(filename[0],'wb')
f.write(open_.read())
f.close()