Установите правильный заголовок для сканера, чтобы предотвратить кэширование HTML

Question

Привет всем. Я создаю небольшой веб-сканер, который доставляет новости с некоторых сайтов. Я использую Typhoeus.

Мой код такой:

request = Typhoeus::Request.new(url, timeout: 60)
request.on_complete do |response|
    doc = Nokogiri::HTML(response.body)
    root_url = source.website.url
    links = doc.css(css_selectors).take(20)
end
hydra.queue(request)
hydra.run

Проблема в том, что некоторые веб-сайты запрашивают возврат старых версий страницы. я попытался установить заголовки и включил "Cache-Control" => "no-cache", но это не помогло! Любая помощь будет оценена.

То же самое происходит при использовании open-uri.

один из заголовков ответа сайта:

{"Server"=>"nginx/1.10.2", "Date"=>"Sat, 07 Jan 2017 12:43:54 GMT", "Content-Type"=>"text/html; charset=utf-8", "Transfer-Encoding"=>"chunked", "Connection"=>"keep-alive", "X-Drupal-Cache"=>"MISS", "X-Content-Type-Options"=>"nosniff", "Etag"=>"\"1483786108-1\"", "Content-Language"=>"ar", "Link"=>"</taxonomy/term/1>; rel=\"shortlink\",</Actualit%C3%A9s>; rel=\"canonical\"", "X-Generator"=>"Drupal 7 (http://drupal.org)", "Cache-Control"=>"public, max-age=0", "Expires"=>"Sun, 19 Nov 1978 05:00:00 GMT", "Vary"=>"Cookie,Accept-Encoding", "Last-Modified"=>"Sat, 07 Jan 2017 10:48:28 GMT", "X-Cacheable"=>"YES", "X-Served-From-Cache"=>"Yes"}

Answer 1

Это должно работать:

"Cache-Control" => 'no-cache, no-store, must-revalidate'
"Pragma" => 'no-cache'
"Expires" => '0'