Можно ли запустить скрипт OpenRefine в фоновом режиме?

Question

Могу ли я запустить скрипт OpenRefine для запуска в фоновом режиме без взаимодействия с пользователем? Возможно, использовать службу Windows для загрузки файла конфигурации OpenRefine или запустить веб-сервер OpenRefine с параметрами и сохранить результаты?

Мы анализируем различные источники данных из файлов и помещаем выходные данные в определенные таблицы и поля на сервере SQL. У нас есть очень старое приложение, которое создает эти "шаблоны соответствия" и хотело бы заменить его чем-то более современным. Скорость важна, но не критична. Обычно мы анализируем файлы с 5 до 1 000 000 строк.

Я мог бы пойти в неправильном направлении с OpenRefine, если так, пожалуйста, дайте мне знать. Наша команда поддержки, которая создает эти "шаблоны соответствия", лучше всего подходит для пользовательского интерфейса, такого как OpenRefine, вместо написания сценариев Perl или Python.

Спасибо за вашу помощь.

Answer 1

OpenRefine имеет набор библиотек, которые позволяют автоматизировать существующую работу. Доступны следующие: * два в Python здесь и здесь* один в ruby * один в nodejs

Этим библиотекам нужны два входа:

1. исходный файл для обработки в OpenRefine
2. операция OpenRefine в формате JSON.

В RefinePro (заявление об отказе от ответственности я являюсь основателем и генеральным директором RefinePro) мы написали дополнительную оболочку для планирования выбора проекта OpenRefine, извлечения операций JSON, запуска библиотеки и сохранения результата. Вновь созданная работа может быть запланирована.

Пожалуйста, имейте в виду, что OpenRefine имеет очень плохую обработку ошибок, что ограничивает его использование в качестве платформы ETL.