Я хочу получить статью новостей CNN всю ссылку

Question

Я хочу получить статью новостей CNN всю ссылку

например

по этой ссылке

  https://edition.cnn.com/search/?q=%20news&size=10

я могу показать последние 10 новостей

чтобы получить ссылку на новость, я попробовал два метода.

   html_page = urlopen(url)
   soup = BeautifulSoup(html_page, "lxml")

   cnn_paper = newspaper.build(url, memoize_articles=False)  # ~15 seconds
   n_list = []
   for article in cnn_paper.articles:
      n_list.append(article.url)

а также

req = Request(url)
html_page = urlopen(req)

soup = BeautifulSoup(html_page, "lxml")
links = []
for link in soup.findAll('a'):
    links.append(link.get('href'))

но я не могу получить новостную ссылку

Если вы перейдете на следующую страницу, я могу получить только ту же ссылку

Answer 1

Попробуйте это вместо:

for link in soup.find_all('a'):
    links.append(link.get('href'))