Как установить библиотеку из HuggingFace? Например, GPT Neo 125M.
Я не понимаю, как установить библиотеку из HuggingFace на свой рабочий стол или сервер. Насколько сложно установить библиотеку? Есть ли где-нибудь пошаговая инструкция? Я нашел несколько статей, но они предполагали определенный уровень знаний, а я совсем новичок и не смог их прочитать.
Чтобы быть более конкретным, я смотрел библиотеки GPT. GPT Neo 125M кажется самым маленьким из них, поэтому я предполагаю, что его будет проще всего установить.https://huggingface.co/EleutherAIhttps://huggingface.co/EleutherAI/gpt-neo-125M
Кроме того, если вы устанавливаете библиотеку на свой компьютер, можно ли ее использовать бесплатно? Я вижу, что у HuggingFace есть структура ценообразования:
https://huggingface.co/pricing
Но я не уверен, к чему это относится. Применяется ли эта структура ценообразования, если вы размещаете модель на своем компьютере?
Я полный нуб в этом деле, поэтому любые советы приветствуются.
1 ответ
Для локальной загрузки gpt-neo-125m на свой рабочий стол.
На самом деле у меня есть видео на YouTube, в котором рассматриваются эти шаги для модели GPT-Neo-2.7B, если вам интересно. Шаги точно такие же дляgpt-neo-125M
Сначала перейдите на вкладку «Файлы и версии» на официальной странице соответствующей модели в Hugging Face. Так что для gpt-neo-125M это будет так
Затем нажмите в правом верхнем углу «Использовать в трансформерах», и вы получите такое окно.
Теперь просто следуйте командам git clone — для gpt-neo125M это будет
git lfs install
git clone https://huggingface.co/EleutherAI/gpt-neo-125M
Это загрузит все файлы и модели, которые вы видите на этой странице, в каталог вашего локального компьютера.
И теперь вы можете запустить приведенный ниже код, точно следуя официальному документу, только изменив значение параметра «модель» на локальный каталог, в который вы только что клонировали git выше.
## Below is my implementations taking model from local machine
from transformers import pipeline
generator = pipeline('text-generation', model='/your_local_dir_where_you_downloaded/')
generator("USA will be ", do_sample=True, max_length=120, min_length=20)
Также обратите внимание, что вы можете вручную загрузить файлы модели (щелкнув стрелку вниз) с сайта HuggingFace выше, если вы не хотите использоватьgit lfs. В таком случае вам нужно пройтиGIT_LFS_SKIP_SMUDGE=1, как говорит док
# if you want to clone without large files – just their pointers
# prepend your git clone with the following env var:
GIT_LFS_SKIP_SMUDGE=1
Применяется ли эта структура ценообразования, если вы размещаете модель на своем компьютере?
Нет. Если вы используете офлайн, т.е. размещаете модель на своем компьютере - никаких затрат.
Кроме того, если вы используете эти модели на собственном облачном оборудовании, таком как AWS ec2, или на собственном сервере, то никаких затрат не требуется.
Но если вы используете конечные точки API Huggingface для вывода, с вас будет взиматься соответствующая плата !!
Таким образом, цена, указанная на Huggingface.co/pricing , применяется, когда вы напрямую обращаетесь к собственным конечным точкам API Huggingface для вывода.