Как соскоблить продукты с сайта рубином / анемоном / нокогири

Question

Как соскоблить продукты с сайта рубином / анемоном / нокогири

Можно ли соскрести продукты с сайта электронной коммерции, используя анемоновые и нокогири либс в рубине?

Я понимаю, как извлечь данные, которые мне нужны, с каждой страницы продукта, используя nokogiri, но я не могу понять, как заставить анемон /nokogiri сканировать сайт и захватить все страницы продукта.

Толчок в правильном направлении будет высоко ценится

-1

ruby nokogiri scraper anemone

Источник

user1405945 20 май '12 в 07:02

1 ответ

Решение

Другие вопросы по тегам ruby nokogiri scraper anemone

user1405945 21 май '12 в 06:26 2012-05-21 06:26 · Accepted Answer · 2012-05-21 06:26

Я разобрался со своими проблемами. Сначала было то, что анемон, казалось, не ползал все страницы. Это было потому, что страницы, которые я хотел, находились под поддоменом, который мне пришлось просить анемона сканировать отдельно от основного домена. Во-вторых, мне был нужен способ определить, какие страницы на самом деле были страницами продукта (и, следовательно, необходимо проанализировать). Я сделал это, проанализировав одно из полей, которые я хотел (номер sku), а затем проверив, является ли это sku с RegEX.