красивый финал супа не отбрасывает все элементы

Question

Я запускаю его, чтобы удалить данные с веб-сайта, но он не возвращает мне все элементы, которые я получил только 12 и с разных страниц.

      def extract(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'}
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.content, 'html.parser')
    return soup.find_all('div',class_='col-md-10 col-sm-9 col-xs-12 right-section')

после указания элементов, которые я хочу, я пытаюсь загрузить его как CSV:

      def load():
    df=pd.DataFrame(main_list)
    df.to_csv('Lawyers-v6.csv',index=False)
for x in range(16):
    print(f'Getting Page{x}')
    articles = extract(f'https://www.yellowpages-uae.com/uae/dubai/lawyers-and-legal-consultants-{x}.html')
    transform(articles)
    time.sleep(5)
load()
print('saved to CSV')