Запустите модель Eleuther AI GPT из облачного хранилища Google
Может ли кто-нибудь посоветовать, как я могу генерировать подсказки из языковой модели, размещенной в облачной корзине Google?
Я использовал ноутбуки colab для запуска моделей Eleuther AI GPT Neo. Это замечательно, за исключением того, что мне приходится снова копировать модель в облачную корзину каждый раз, когда истекает время ожидания экземпляра. Это не только неудобно, но и расточает пропускную способность, поскольку модели обычно имеют размер несколько ГБ. Итак, учитывая, что модели уже находятся в моем облачном ведре, я хотел бы иметь возможность запрашивать их, не копируя их каждый раз.
Теперь это должно быть просто. Однако кажется, что копирование модели из колаба в ведро генерирует имена файлов и пути, которые очень трудно распутать вручную - и я долго пытался.
Итак, мой вопрос: учитывая облачное ведро, содержащее контрольные точки модели GPT и файлы конфигурации, как я могу получить доступ к этой модели и представить ее с запросом?