Извлечь данные из форума
Я хочу извлечь данные из форума php на основе ключевых слов, которые я ввел. Есть ли что-то готовое, что может сделать это? Просто для примера http://kadinlarkulubu.com/forum.php Ключевые слова IOS, Android
Благодаря этой информации я хочу получить дату, время, сообщение, URL сообщения, ключевое слово в сообщении, ник участника, который написал это сообщение.
Мне нужно работать на разных форумах, поэтому мне нужен один или несколько инструментов, которые будут работать на ключевых крупных платформах, таких как vBulletin.
2 ответа
Вам нужно создать свой собственный веб-сканер. Если вы хотите, чтобы он работал на разных платформах, вам придется создавать варианты для этого искателя.
Для начала выбирайте свой любимый форум и дайте ему начальную страницу (страницу, с которой начинается сканирование). Действуйте осторожно, так как вам может потребоваться войти в систему, чтобы видеть сообщения, и, если это так, это может быть нелегко сделать (например, создать сканер, который регистрирует вас и удаляет капчу). Вы также можете использовать функцию поиска (так как многие форумы имеют поисковые URL, похожие на ?q=your_tag&p=1, это может сделать все намного проще.
Просто проверьте, что вы находитесь в одном домене, и что вы не зашли в бесконечный цикл, кроме этого, у вас все будет хорошо.
Ожидайте, что это будет долгосрочный проект:)
Альтернативой будет использование API, если форум предоставляет его, но я сомневаюсь, что вам повезет.
2 способа Простой способ возможен только в том случае, если владелец форума предоставляет вам доступ к API форума (если он есть) или базе данных.
Чрезвычайно сложный способ - создать граббер, который читает страницу за страницей и анализирует информацию, которая вам нравится, и то, что вы можете использовать.