Описание тега filehash
The filehash package implements a simple key-value style database where character string keys are associated with data values that are stored on the disk. A simple interface is provided for inserting, retrieving, and deleting data from the database. Utilities are provided that allow filehash databases to be treated much like environments and lists are already used in R. These utilities permit interactive and exploratory analysis on large datasets.
0
ответов
Двойное освобождение или коррупция (fasttop): 0x08666178 ***
Я пытаюсь реализовать хеширование (сцепление) в файле в C++, используя класс Fstream. Все работает нормально, записи хешируются и добавляются в соответствующие позиции в файле, но когда я пытаюсь добавить синоним записи к существующим данным в этом …
09 апр '17 в 10:13
1
ответ
Создание model.matrix в R не помещается в памяти (перепробовал все пакеты отображения памяти)
Я пытаюсь оценить lm() Fitment в R для большого набора данных продаж. Сами данные не настолько велики, что R не может их обработать; около 250 МБ в памяти. Проблема в том, когда lm() вызывается для включения всех переменных и кросс-терминов, констру…
09 дек '14 в 17:52
0
ответов
Разница между ff и filehash пакетом в R
У меня есть датафрейм, состоящий из 25 строк и ~1M строк, разбитый на 12 файлов, теперь мне нужно импортировать их, а затем использовать некоторые reshape пакет для управления данными. Каждый файл слишком велик, поэтому мне нужно искать какое-то "не…
29 мар '12 в 02:47
1
ответ
Как я могу сохранить результаты в списке эффективным способом памяти?
В моем текущем проекте у меня есть функция вычисления, которая выполняется на одном элементе вектора A и возвращает элемент списка, который я вставляю в список B. Элемент return содержит несколько больших матриц произвольного размера, которые относя…
30 май '13 в 13:11
1
ответ
Как я могу узнать, какой тип Hash возвращается записью ресурса CKAN?
Пример записи: "resources": [ { "cache_last_updated": null, "cache_url": null, "mimetype_inner": "", "hash": "9d599bcf3b8db2b5c6aea528bc37d728c856b09c", "description": "CSV file extracted and cleaned from source excel.", "format": "CSV", "url": "ht…
06 июн '18 в 05:15
1
ответ
Интерактивная работа со списком объектов, которые занимают огромную память
Я недавно обнаружил чудеса пакетов bigmemory, ff а также filehash обрабатывать очень большие матрицы. Как я могу обрабатывать очень большие (300 МБ ++) списки? В своей работе я работаю с этими списками каждый день каждый день. Я могу сделать пластыр…
25 сен '12 в 07:15
2
ответа
Хэш-файл md5 изменяется при разбиении его на части (для передачи по сети)
Вопрос внизу Я использую Netty для передачи файла на другой сервер. Я ограничиваю свои файловые блоки 1024*64 байтами (64 КБ) из-за протокола WebSocket. Следующий метод является локальным примером того, что произойдет с файлом: public static void re…
31 мар '18 в 14:33
1
ответ
Работа с большими списками, которые становятся слишком большими для оперативной памяти при работе на
Если не работать на машине с большим количеством оперативной памяти, как я могу работать с большими списками в RНапример, положить их на диск, а затем работать над его разделами? Вот некоторый код для генерации типа списков, которые я использую n = …
19 май '13 в 08:50
1
ответ
Объединение анализа MD5 с именем файла в одном выводе
Я изо всех сил пытаюсь объединить вывод двух команд в один файл CSV / TXT. Первая команда - рекурсивный поиск в папке и создание номера MD5 для каждого документа. Затем он экспортируется в файл CSV, который включает полный путь. dir -recurse | Get-F…
20 мар '18 в 17:01
0
ответов
php хеширование оптимизирует код
Посмотрев, найдет ли кто-нибудь что-нибудь, я могу ускорить этот код, так как он выполняется более 1 минуты, в некоторых случаях он сканирует список файлов на сервере и создает хэш-код для каждого файла на сервере и передает хэш-код для массива с хэ…
04 май '18 в 03:28
0
ответов
Загрузка хеширования файлов Node js и как скачивать файлы по частям
Чего я хочу достичь при загрузке файла, я хочу загрузить или получить к нему доступ по частям. Затем я хотел проверить размер файла и загрузить первый КБ файла, а затем сравнить хэш первого КБ с хешем загруженного файл (того же размера), затем откло…
10 сен '19 в 06:09
1
ответ
Как я могу просто проверить, совпадают ли два файла Excel или нет
Я не хочу знать, В ЧЕМ различия, я просто хочу знать "Да / Нет, эти листы идентичны?" К сожалению, поверхностное хеширование файла на это не дает:( Конкретно... Я взял файл.XLSX и скопировал его. Сравнивал хеши... Хеши были такие же. Ура! Открыл оди…
22 сен '19 в 11:32
1
ответ
Сравните хэш файла в PowerShell
Я новичок в Powershell, но пытаюсь написать простую функцию для сравнения двух файлов с использованием их хэшей. Я получаю неожиданные результаты, используя следующее: $hash1 = Get-FileHash $source | Select-Object Hash Write-Host(" hash1 : " + $hash…
13 фев '20 в 21:07
0
ответов
Библиотека машинописного текста: добавочное хеширование огромного файла на стороне клиента
Мне нужна библиотека на основе typescript/javascript, которая может поддерживать хеширование, когда ей предоставляется большой файл. Он должен выполнять хеширование по частям, а не загружать его полностью сразу в память. Раньше я использовал хеширов…
18 мар '20 в 17:31
1
ответ
Создание хэш-кодов для определенных типов файлов только с помощью Powershell
Я полный новичок в Powershell и написании сценариев, и успешно использую Out-GridView для отображения некоторых свойств файлов, которые у меня есть в моих каталогах, используя следующее: dir D:\Folder1\$type -Recurse | Select Fullname,Directory,Last…
30 сен '19 в 15:33
1
ответ
Powershell - реализация цикла для доступа к элементам в хеш-алгоритме
Функция, которую я написал здесь, принимает три обязательных параметра: входной файл, список, содержащий по крайней мере один алгоритм (ы) хеширования, и выходной файл, который сохраняет хеш-значения этого входного файла. Эта функция пытается принят…
28 апр '20 в 19:07
0
ответов
Тот же хеш, который отображается в разных отчетах в ibm-xforce-exchange
Я заметил, что есть хеши, которые повторяются в разных отчетах, и мне захотелось узнать, в чем причина этого. Означает ли это, что существует связь между атаками, которая фигурирует в разных отчетах? Если есть связь, то какая? Как я могу это определ…
22 ноя '20 в 19:36
2
ответа
Что такое эквивалент "cksum" в Python для очень больших файлов и как он работает?
У меня проблема в том, что мне нужно проверять огромные сжатые файлы после загрузки (обычно более 10-20 ГБ на файл) по контрольным суммам, которые, по-видимому, были сгенерированы с помощью cksum (Чтобы быть более точным: моему сценарию python необх…
03 дек '20 в 21:08
1
ответ
Как удалить часть строки с помощью пакетного скрипта?
Я хочу удалить часть этого кода: set hash=certutil -hashfile %%A MD5. Я имею в виду, что мне нужно удалить MD5-хэш cmd.exe: и команда CertUtil: -hashfile успешно завершена. из вывода этого кода. мой полный код (это антивирус, но еще не полный ...): …
17 май '21 в 15:15
0
ответов
Исправлен хеш файла с sha512
Я использую этот код для хеширования файлов, однако хеши меняются каждый раз, когда я запускаю скрипт ... Как получить фиксированный хеш, пожалуйста? Может быть, есть случайное семя, мне для этого не нужно. У меня просто есть список файлов в папке, …
27 окт '21 в 13:05