Добавление нескольких защитных датчиков LoRa в мою модель HuggingFace на Python

Question

Предположим, я использую этот скрипт для загрузки одной точно настроенной модели: (пример взят из https://towardsdatascience.com/hugging-face-diffusers-can-correctly-load-lora-now-a332501342a3)

      import torch
from diffusers import StableDiffusionPipeline
text2img_pipe = StableDiffusionPipeline.from_pretrained(
    "stablediffusionapi/deliberate-v2"
    , torch_dtype = torch.float16
    , safety_checker = None
 ).to("cuda:0")

 lora_path = "<path/to/lora.safetensors>" #only one tensor , not folder
 text2img_pipe.load_lora_weights(lora_path)

Это добавляет один файл Safetensors. Как я могу загрузить несколько защитных датчиков? Я попробовалuse_safetensorsаргумент при создании экземпляраStableDiffusionPipeline, но непонятно, куда мне положить имеющуюся у меня папку Safetensors. У меня такая ошибка:

Ошибка ОС: Не удалось найти необходимоеsafetensorsвеса в {'vae/diffusion_pytorch_model.safetensors','text_encoder/pytorch_model.bin', 'safety_checker/model.safetensors', 'vae/diffusion_pytorch_model.bin','text_encoder/model.safetensors', 'unet/diffusion_pytorch_model.bin', 'safety_checker/pytorch_model.bin','unet/diffusion_pytorch_model.safetensors'} (вариант = нет)

Я также пытался нагружать веса один за другим, но результаты показывают, что я не сохраняю предыдущие загруженные веса.

Answer 1

В настоящее время вы можете использовать только 1 LoRA, в будущем Diffusers создаст функцию для загрузки нескольких LoRA, которые в настоящее время помечены как WIPhttps://github.com/huggingface/diffusers/issues/2613