LLModel Ошибка при попытке загрузить квантованную модель LLM из GPT4All на MacBook Pro с чипом M1?

Question

Я установил привязки Python gpt4all на свой MacBook Pro (чип M1) в соответствии с этими инструкциями: https://github.com/nomic-ai/gpt4all/tree/main/gpt4all-bindings/python.

Однако, опробовав некоторые модели, я столкнулся с ошибкой LLModel, которая, как я предполагаю, связана с чипом M1 моего Macbook. Но должно ли быть решение/обходной путь? Или я делаю что-то не так?

Я импортировал gpt4all, а затем попытался загрузить orca-mini-3b, но получил следующий Traceback.

      >>> from gpt4all import GPT4All
>>> model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.98G/1.98G [02:34<00:00, 12.8MiB/s]
LLModel ERROR: CPU does not support AVX
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.11/site-packages/gpt4all/gpt4all.py", line 101, in __init__
    self.model.load_model(self.config["path"])
  File "/usr/local/lib/python3.11/site-packages/gpt4all/pyllmodel.py", line 260, in load_model
    raise ValueError(f"Unable to instantiate model: code={err.code}, {err.message.decode()}")
ValueError: Unable to instantiate model: code=45, Model format not supported (no matching implementation found)