Лучшие практики для разработки агрегатора / прокси канала?
Я пытаюсь написать прокси-агрегатор для фидов, где несколько пользователей указывают URL-адрес фида и некоторый набор условий, а система выводит постоянно обновляемый фид RSS/Atom с записями, которые соответствуют этим условиям.
Существуют ли лучшие практики для агрегаторов кормов? (Или фильтрация каналов прокси?)
Например:
- Существуют ли определенные элементы фида, которые должны или не должны быть изменены, чтобы быть прокси?
- Как прокси / синтаксический анализатор фида должен указывать, что он не передает первоначальную копию исходного фида?
- Имеет ли смысл делегировать работу по загрузке / обновлению сторонней платформе агрегатора, например API Google Feed? Я предполагаю, что это сэкономит много работы, вместо того, чтобы делать обновления, обрабатывать 301 и т. Д. Самостоятельно.
Спасибо за вашу помощь.
3 ответа
Не запрашивайте любой канал чаще, чем за 30 минут. Используйте кеширование.
-Адам
Думаю, вы могли бы также использовать Yahoo Pipes... Или этот: planetplanet.org