Оллама с Docker

Question

Привет. Можете ли вы помочь мне отладить это:

Я нажал докер llama2 и вызываю его по ссылке https, и он активен.

Я перетащил llama2:70b в этот экземпляр.

У меня в браузере написано «Оллама работает», я могу получить доступ с помощью API/тегов.

Теперь, когда я вызываю свою модель следующим образом:

      chat_model = ChatOllama(
            base_url="https://mylink", model="llama2:70b", verbose=True, callback_manager=callback_manager, 
        )

Тогда я делаю

      chain = RetrievalQA.from_chain_type(llm=chat_model_2...)

и попробуй сделать

      chain(MYQUERY)

у меня ошибка.

если я использую ChatOllama и указываю свой местный житель, все работает нормально.

Любая помощь, пожалуйста?

Использование Ollama с Docker на другом экземпляре. Ожидается, что вы будете работать так же, как вы развертываете модель на своем локальном компьютере, но это не так.