Развертывание модели/рабочего процесса стога сена

Question

Я пытаюсь развернуть модель стога сена для ответов на вопросы для своего приложения в качестве REST API/API. Я хочу сделать запрос и получить ответы напрямую, и мне нужно сделать это в ближайшее время, поэтому я нахожу способ сделать это на Algorithmia . Любые предложения, учебные пособия, примеры или любая помощь приветствуются. Спасибо!!

Для справки, это может быть пример модели.

Answer 1

Не уверен насчет Alorithmia, но вот простой вариант развернуть сервис Haystack в т.ч. REST API на любом стандартном компьютере (например, экземпляр AWS EC2):

      # Clone haystack repo
git clone https://github.com/deepset-ai/haystack.git
cd haystack
# Start (demo) containers
docker-compose pull
docker-compose up
# Run a query
curl -X 'POST' \
  'http://127.0.0.1:8000/query' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "query": "Who is the father of Arya Stark?",
  "params": {}
  }'

Это в основном раскручивается:

1. Haystack REST API с использованием этого образа докера
2. Elasticsearch с некоторыми демонстрационными данными (см. комментарий в docker-compose.yaml о том, как заменить это пустым экземпляром для ваших собственных данных)
3. Простой пользовательский интерфейс на основе Streamlit (вы можете легко удалить его из docker-compose, если он вам не нужен)

---

Если вы хотите настроить развертываемый в API конвейер (например, изменить модель):

• Изменить pipelines.yamlв вашем клонированном репо (в haystack/rest_api/pipeline/)
• Смонтируйте эту папку как том в контейнер, раскомментировав эту часть в файле docker-compose.yaml.

Если вы хотите выполнить развертывание на машине с графическим процессором, просто выполните:

      docker-compose -f docker-compose-gpu.yml pull
docker-compose -f docker-compose-gpu.yml up

Подробнее см. в официальной документации REST API здесь .