Какой лучший способ извлечь конкретный текст из инфобокса Википедии, используя BeautifulSoup и списки?

Question

Я использую BeautifulSoup для извлечения определенного текста из информационных блоков Википедии (доход). Мой код работает, если текст дохода находится внутри тега "а". К сожалению, не все страницы имеют доходы в теге "а". Например, у некоторых есть текст дохода после тега "span". Мне было интересно, каким будет лучший / самый безопасный способ получить текст о доходах для списка компаний. Будет ли лучше найти другой тег вместо "а"? Или что-то другое? Спасибо за вашу помощь.

company = ['Lockheed_Martin', 'Phillips_66', 'ConocoPhillips', 'Sysco', 'Baker_Hughes']

for c in company:
    r = urllib.urlopen('https://en.wikipedia.org/wiki/' + c).read()
    soup = BeautifulSoup(r, "lxml")

    rev = re.compile('^Revenue')
    thRev = [e for e in soup.find_all('th', {'scope': 'row'}) if rev.search(e.text)][0]
    tdRev = thRev.find_next('td')
    revenue = tdRev.find_all('a')

    for f in revenue:
        print c + " " + f.text
        break

Answer 1

Ты можешь попробовать:

from bs4 import BeautifulSoup
import urllib
import re
company = ['Lockheed_Martin', 'Phillips_66', 'ConocoPhillips', 'Sysco', 'Baker_Hughes']

for c in company:
    r = urllib.urlopen('https://en.wikipedia.org/wiki/' + c).read()
    soup = BeautifulSoup(r, "lxml")
    for tr in soup.findAll('tr'):
        trText = tr.text
        if re.search(r"^\bRevenue\b$", trText):
            match = re.search(r"\w+\$(?:\s+)?[\d\.]+.{1}\w+", trText)
            revenue = match.group()
            print c+"\n"+revenue+"\n"

---

Выход:

Lockheed_Martin
US$ 46.132 billion
Phillips_66
US$ 161.21 billion
ConocoPhillips
US$55.52 billion
Sysco
US$44.41 Billion
Baker_Hughes
US$ 22.364 billion

---

Примечание. Вместо этого вы можете использовать API Википедии, а именно:

https://en.wikipedia.org/w/api.php?action=query&titles=Baker_Hughes&prop=revisions&rvprop=content&format=json