Как динамически извлекать данные из выпадающих списков или нескольких текстовых полей, используя import.io

Question

Я делаю API, в котором я хочу динамически получать данные с сайта http://transportformumbai.com/mumbai_local_train.php

В зависимости от начальной и конечной станции и времени я хочу получить список всех доступных поездов вместе с таблицей, указанной при нажатии на таблицу столбцов viewroute. например, для.

Я использую разъем import.io... Но он хорошо работает с одним текстовым полем, но не с несколькими текстовыми полями ( см. Эту ссылку) или раскрывающимися списками...

Кто-нибудь может подсказать, что мне делать дальше... Кроме import.io есть ли другая альтернатива?

Я новичок, работающий со сканерами... Поэтому, пожалуйста, обоснуйте свой ответ.

Что такое веб-соскоб... Должен ли я использовать веб-скальпер??

Спасибо.

Answer 1

На самом деле, если вы посмотрите в строке URL, там будут определены параметры для пункта назначения и времени (выделено ниже), поэтому вам не нужно беспокоиться о выпадающих меню или использовании Connector.

Используйте экстрактор на этой странице:

http://transportformumbai.com/get_schedule_new.php?user_route=western&;start_station = khar_road&end_station = malad&start_time = 00&end_time = 18

Обучите его, чтобы получить каждый столбец - обратите внимание, что столбец просмотра маршрута содержит ссылки.

Вы можете создать отдельный экстрактор для страницы "Просмотр маршрута":

http://transportformumbai.com/view_route_new.php?trainno=BYR1097&user_route=western&train_origin=Churchgate&train_end=Bhayandar&train_speed=S

Теперь вы должны "приковать" второго экстрактора к первому, и он будет извлекать эту информацию из каждой ссылки в первом.

Если вы хотите выбрать разные пункты назначения и время, просто измените параметры URL исходной ссылки.

Answer 2

http://support.import.io/knowledgebase/articles/613374-how-do-i-get-data-behind-dropdown-menus

Ваша лучшая ставка здесь, кажется, имеет API для каждой комбинации URL. Вы должны проанализировать структуру URL.