Описание тега faiss
0
ответов
Faiss (в Python), как добавить новый элемент в индекс после создания индекса?
Библиотека Facebook Faiss для Python позволяет создать индекс заранее определенной формы, а затем добавлять в него данные. index = faiss.IndexFlatIP(X.shape[1]) index.add(X) куда X это numpy.array типа np.float32 Скажем, я создаю приложение, в котор…
22 фев '21 в 13:08
1
ответ
k-среднее кластеризация - инерция только увеличивается
Я пытаюсь использовать кластеризацию KMeans из faiss на наборе данных позы суставов тела человека. У меня 16 частей тела, то есть размер 32. Суставы масштабируются в диапазоне от 0 до 1. Мой набор данных состоит из ~ 900000 экземпляров. Как упомянул…
15 май '21 в 23:36
0
ответов
Ошибка импорта библиотеки Facebook «faiss». Выдает ошибку загрузки DLL
Ошибка импорта библиотеки Facebook «faiss». Выдает ошибку загрузки DLL import faiss Ошибка: ImportError: Ошибка загрузки DLL: не удалось найти указанный модуль. Кто-нибудь может мне с этим помочь? Я установил с помощью pip installfaiss-cpu, а версия…
13 июн '21 в 00:00
0
ответов
HNSW(Hierarchical Navigable Small World) как грубый квантователь IVFPQ [закрыто]
Я использую библиотеку faiss для ANNS(приблизительный поиск ближайшего соседа). Я уже разбираюсь в PQ(квантование продукта), HNSW (иерархический малый мир с возможностью навигации) и инвертированном индексе. Я выяснил, что IVFPQ использует таблицу р…
16 июн '21 в 14:57
2
ответа
Каков эффективный способ сохранения и извлечения функции изображения?
Я новичок в компьютерном зрении, моя цель - выделить K-ближайших соседей для изображения, я посмотрел алгоритмы Annoy, Faiss, NMSLIB и решил использовать Faiss для схожести изображений. У меня есть большой набор данных, чтобы проверить ближайших сос…
21 июн '21 в 12:53
0
ответов
AttributeError: объект int не имеет атрибута strip, когда я пытаюсь закодировать список данных
AttributeError: объект int не имеет атрибута strip, когда я пытаюсь закодировать список данных Я пытаюсь закодировать данные с помощью приведенного ниже кода И код ниже: encoded_data = model.encode(df.Content.tolist()) encoded_data = np.asarray(enco…
28 июн '21 в 08:40
0
ответов
FAISS как часть API или автономных прогнозов
Я пытаюсь реализовать FAISS для получения похожих элементов в рамках моей системы рекомендаций на основе контента для 900 тыс. Элементов, но я не уверен, как это сделать правильно. Лучше ли создать индекс и использовать его как часть API для запроса…
02 сен '21 в 15:30
0
ответов
Ошибка в кластеризации изображений Фейсса Кминса
У меня есть набор из примерно 200 изображений, которые я хочу сгруппировать в группы изображений с похожими функциями. Я использую Resnet50 для извлечения векторов признаков из изображений и с помощью Faiss Kmeans пытаюсь сгруппировать их в группы. …
04 сен '21 в 19:13
0
ответов
Как я могу однозначно сопоставить запись в MongoDB с Faiss?
У меня есть коллекция документов MongoDB, для которых я вычислил вложения, которые я сохранил в Faiss. Учитывая набор ключевых слов, я встраиваю ключевые слова и выполняю поиск по сходству на Faiss. Однако возвращенные идентификаторы Int64 для Faiss…
24 сен '21 в 15:20
0
ответов
Как рассчитать отсортированное по индексу расстояние до векторов базы данных в Faiss?
У меня есть набор векторов базы данных, которые вместе составляют массив формы (N, d). У меня есть матрица запросов (M, d) и я хочу найти расстояние для каждого вектора запроса и вектора базы данных, поэтому я ищу (M, N) матрица. Я могу использовать…
02 ноя '21 в 03:30
0
ответов
Как постепенно добавлять индекс в FAISS Python
Я использую Faiss для индексации вложений моих огромных наборов данных, встраивания сгенерированных из модели Берта. Я хочу добавлять вложения постепенно, он работает нормально, если я добавляю его только с помощью faiss.IndexFlatL2, но проблема в т…
12 ноя '21 в 08:23
1
ответ
FAISS-GPU не может использоваться с GPU версии 30xx
Я пишу исходный код Python и использую Faiss. Я могу использовать Faiss на CPU, GPU 20xx, например: RTX 2080Ti, ... Однако, когда я запускаю на таких устройствах, как RTX 3060, RTX 3070, система зависает, и я не могу убить программу с помощью Ctrl +…
03 дек '21 в 05:00
2
ответа
faiss: как получить вектор по id из python
У меня есть индекс faiss, и я хочу использовать некоторые вложения в своем скрипте Python. Выбор Embeddings должен быть сделан по id. Поскольку faiss написан на C++, в качестве API используется swig. Я предполагаю, что функция, которая мне нужна, - …
07 янв '22 в 19:53
1
ответ
Что эквивалентно faiss.normalize_L2() Python в C++?
Я хочу выполнить поиск по сходству с помощью FAISS для 100 тыс. лицевых вложений на С++. Для калькулятора расстояний я хотел бы использовать косинусное сходство. Для этой цели я выбираю faiss::IndexFlatIP.Но согласно документации нам нужно нормализо…
31 янв '22 в 13:12
2
ответа
Скомпилируйте hello.cpp. флаги - C++ FAISS GPU
Я хотел бы использовать внешний графический процессор FAISS C++ в другом репо. Поэтому я создал hello.cpp и попытался его скомпилировать, не заходя в каталог faiss. Внутри каталога faiss компиляция кажется мне прекрасной. hello.cpp (графический проц…
07 фев '22 в 18:24
1
ответ
У Milvus очень низкая скорость индексации на процессоре при 150 тыс. записей.
мы используем milvus с конфигурациями по умолчанию для развертывания ЦП, с каждой новой записью, загруженной в milvus, мы перестраивали индекс внутри milvus для этой коллекции, однако мы заметили увеличение времени, необходимого для построения индек…
20 фев '22 в 18:25
0
ответов
Проблема с упаковкой Faiss с помощью Pyinstaller
Я пытаюсь создать EXE-файл из программы, использующей Faiss для кластеризации, и хотя мне удается превратить сценарий в EXE-файл, при попытке запустить программу я получаю следующее сообщение об ошибке. Любые идеи о том, что я могу сделать, чтобы ре…
17 фев '22 в 22:14
1
ответ
Faiss: Как создать индекс из 10 миллионов векторов размером 1024
Я хочу создать индекс почти 10 миллионов векторов размером 1024. Вот код, который я использовал. import numpy as np import faiss import random f = 1024 vectors = [] no_of_vectors=10000000 for k in range(no_of_vectors): v = [random.gauss(0, 1) for z …
20 янв '21 в 17:18
0
ответов
Скомпилируйте и запустите графический процессор C++ FAISS в FasterTransformer
Я хотел бы написать код графического процессора FAISS C++ в GPU FasterTransformer C++. https://github.com/facebookresearch/faiss https://github.com/NVIDIA/FasterTransformer Я сделал это в файле sample/cpp/CMakeLists.txt: add_subdirectory(<FaissPa…
14 фев '22 в 13:23
1
ответ
Кто-нибудь знает тест автономного Milvus 2.0 GA?
При автономном запуске Milvus 2.0 ga с использованием docker compose, какой уровень производительности можно ожидать для набора 100M 256-мерных векторов (с индексом IVF_SQ8, nlist = 65536) с точки зрения # запросов в секунду? Текущая производительно…
11 фев '22 в 02:20