Описание тега klepto
Библиотека Python для постоянного кэширования в память, на диск или в базу данных
4
ответа
Декораторы для выборочного кэширования / запоминания
Я ищу способ создания декоратора @memoize что я могу использовать в функциях следующим образом: @memoize my_function(a, b, c): # Do stuff # result may not always be the same for fixed (a,b,c) return result Тогда, если я сделаю: result1 = my_function…
04 фев '15 в 00:01
0
ответов
Создание исполняемого файла с помощью nuitka с использованием импорта klepto
Я пытаюсь использовать nuitka для скрипта, который импортирует klepto.archives. nuitka --recurse-all --plugin-enable=enum_compat eval.py Я получаю сотни предупреждений, а затем не получаю исполняемый файл. предупреждение начинается с "Не удается най…
12 июн '18 в 23:33
0
ответов
Как использовать пакет Klepto Python
Привет, Мир! У меня есть файл pickle (содержащий изображения в байтовой форме), но когда я открываю его с помощью pickle, я получаю эту ошибку: Traceback (most recent call last): File "test.py", line 20, in <module> if __name__ == "__main__": …
01 июн '18 в 13:21
1
ответ
Различный допуск для параметров в кэше клепто
Я хотел бы установить допуск для определенного аргумента функции, но не для других. Допустим, у меня есть такая функция: def myFnc(input1,param0 = 0, param1 =1): return "input1:%s [params %s, %s]" %(input1, param0, param1) Это ожидаемые результаты: …
14 дек '15 в 10:20
1
ответ
Используйте klepto для кэширования по имени функции и аргументам
Я пытаюсь использовать klepto в качестве кэша, который хэширует аргументы и имя функции, это возможно? например, так с помощью dir_cache я смог бы @inf_cache(cache=dir_archive(cached=False)) def func1(x, y): return x + y @inf_cache(cache=dir_archive…
05 янв '16 в 10:18
1
ответ
Сохранение и редактирование Python с помощью Klepto
Итак, мой вопрос довольно конкретный, и я заранее прошу прощения. Я новый программист и пытался разрабатывать самостоятельно с нуля. Это было относительно успешно, только у меня есть одна последняя проблема, которую я вижу. Вы можете просмотреть мой…
26 мар '15 в 03:46
1
ответ
Как использовать кэширование LRU на диске с клепто?
Я пытаюсь использовать клепто для LRU-кэширования. Я хотел бы сохранить кэш на диск, и в настоящее время я использую Klepto's dir_archive вариант для этого. Я написал следующий код, в значительной степени основанный на коде в скриптах теста klepto: …
18 авг '15 в 19:37
1
ответ
Как быстро удалить несколько элементов из файлового архива Klepto?
Я использую архив Klepto для индексации спецификаций файлов в дереве папок. После сканирования дерева я хочу быстро удалить ссылки на удаленные файлы. Но просто удалить элемент один за другим из файлового архива очень медленно. Есть ли способ синхро…
13 фев '19 в 22:49
1
ответ
Срок действия кеша в клепто
Я экспериментирую с klepto (v. 0.1.5.2) для кеширования некоторых очень тяжелых и трудоемких вычислений. В частности, я использую lru_cache в качестве декоратора, в сочетании с hdfdir_archive кеш архив. Мне удалось сохранить содержимое кэша на диске…
23 июл '18 в 13:18
2
ответа
Ошибка памяти файла Pickle - kelpto квестоин
Я получаю сообщение об ошибке в памяти при попытке выбрать большой массив с numy для проблемы глубокого обучения shape: (7451, 1500, 1500, 1)), Тем не менее, я вижу несколько сообщений на klepto и читать документы, но я не уверен, как на самом деле …
22 май '19 в 15:43
0
ответов
Как сохранить экземпляры класса, используя клепто
Я пытаюсь использовать клепто в качестве замены полки, чтобы сохранить классовые экземпляры, но при попытке сделать это вижу длительный след. Моя платформа: Python 3.7.3 Klepto 0.1.6 Пример @ Pickle по сравнению с полкой для хранения больших словаре…
04 май '19 в 14:16
1
ответ
Ключи для клепто dir_archive?
Я создал klepto dir_archive. При последующем доступе к архиву, как можно определить ключи архива без загрузки всего архива в память?
16 май '19 в 12:24
1
ответ
Как изменить имя словаря в файле при использовании klepto.archives.file_archive?
Запустив следующий код, я обнаружил, что имя словаря в файле memo.py является memo, Я хочу изменить название словаря в этом файле. Кто-нибудь знает как это сделать? >>> init = {'y': 2, 'x': 1, 'z': 3} >>> import klepto >>>…
06 июн '19 в 12:13
0
ответов
Получение KeyError в Klepto при использовании с локального компьютера
Я хочу сохранить мою модель машинного обучения на моем локальном компьютере. Я выполнил /questions/32990359/sohranenie-i-redaktirovanie-python-s-pomoschyu-klepto/32990371#32990371 этот ответ, чтобы сохранить модель ML на локальном компьютере, но ког…
23 окт '19 в 10:57
0
ответов
Предполагается, что Klepto (модуль Python) file_archive в 10 раз медленнее, чем Pickle?
Я полагаю, пейджинг @mike-mckerns, но я был бы благодарен за ответы от любого, кто имеет опыт работы с модулем Klepto для Python (https://pypi.org/project/klepto/). Моя ситуация такова, что я запускаю моделирование, которое включает в себя создание …
25 авг '21 в 23:23
2
ответа
Как сохранить большую модель sklearn RandomForestRegressor для вывода
Я обучил модель Sklearn RandomForestRegressor на 19 ГБ обучающих данных. Я хотел бы сохранить его на диск, чтобы использовать его позже для вывода. Как было рекомендовано в других вопросах stackoverflow, я попробовал следующее: Соленый огурец pickle…
21 янв '21 в 19:42
1
ответ
Как установить имя таблицы с помощью klepto sqltable_archive в Python 3?
На основе документов клепто С использованием: klepto.archives.sqltable_archive('sqlite:///foo.db', cached=False) Успешно создает базу данных с именем таблицы по умолчанию memo Однако, когда таблица также включена: klepto.archives.sqltable_archive('s…
27 фев '21 в 23:49
0
ответов
Чтение/запись/обновление объекта без загрузки объекта в память
Я пытался использовать пакет Klepto для записи/чтения/обновления моего объекта на жесткий диск, чтобы избежать проблем с «нехваткой памяти», с которыми я столкнулся при обучении моей модели с помощью моего набора данных. Насколько я понимаю, с Klept…
02 янв '23 в 05:09