Описание тега large-files
Большие файлы, будь то двоичные или текстовые, иногда могут быть проблематичными даже для опытного программиста. Этот тег следует использовать, если возникают проблемы, связанные с открытием и / или записью больших файлов в текстовом редакторе, управлением ресурсами, размер которых превышает гигабайты, или стратегическими решениями для больших объемов данных.
2
ответа
Как импортировать уникальные данные с Talend?
У меня есть 100M наборов данных в Oracle, и я пытаюсь импортировать все эти наборы данных в Neo4j с Talend. Мой вопрос заключается в том, что, поскольку 100M наборы данных обновляются каждый день, как я могу убедиться, что Talend будет импортировать…
14 май '14 в 21:14
0
ответов
Царство: как импортировать 5 миллионов объектов без сбоев
Я должен перенести базу данных sqlite 5 миллионов кортежей в царство. База данных будет только для консультации. Я начал преобразовывать кортежи 5M из sqlite в json и импортировать данные с помощью createAllFromJson (). Это заняло слишком много врем…
22 июн '17 в 16:35
1
ответ
Сервер не может загрузить большие файлы с Gunicorn
Я сделал небольшой сервер с флягой для загрузки файлов (а затем что-то делал с ними). Загрузка завершена и HTML-форма, которая отправляет файл: <form action="/upload" method="POST" enctype="multipart/form-data"> <input type="file" name="fil…
09 май '17 в 11:41
3
ответа
Разрешить вошедшим в систему пользователям просматривать и загружать файлы (около 250 МБ), для которых обычно 403 доступа запрещены
Я создаю веб-сервер из запасного компьютера в моем доме (с Ubuntu Server 11.04) с целью использования его в качестве диска для обмена файлами, к которому также можно получить доступ через Интернет. Очевидно, я не хочу, чтобы кто-то мог загрузить нек…
20 авг '11 в 14:41
1
ответ
Python: проверка существования файла, избегая условий гонки, без открытия файла
Есть ли способ проверить, существует ли файл, избежать каких-либо потенциальных условий гонки, не читая файл в память? Я видел примеры использования try/catch, чтобы избежать условий гонки, но все они читают файл в память примерно так: with open fil…
10 янв '14 в 19:06
1
ответ
Вычисление MD5SUM больших файлов в C#
Я использую следующий код для вычисления MD5SUM файла - byte[] b = System.IO.File.ReadAllBytes(file); string sum = BitConverter.ToString(new MD5CryptoServiceProvider().ComputeHash(b)); Это нормально работает, но если я сталкиваюсь с большим файлом (…
30 апр '09 в 07:11
2
ответа
Оптимизация этого скрипта для соответствия строк одного текстового файла другому
Итак, я в лучшем случае новичок в написании сценариев bash, но вчера вечером я написал этот очень маленький сценарий, чтобы взять первые 40 символов каждой строки довольно большого текстового файла (~300000 строк) и искать в гораздо большем текстово…
11 июн '13 в 19:21
1
ответ
Как загрузить файлы размером более 100 МБ в Tomcat
У меня проблемы с загрузкой больших файлов на сервер для моего проекта. Я изменил maxPostSize и maxHttpHeaderSize в server.xml, как предлагается в этой статье, но он показывает java.lang.OutOfMemoryError. Что делать?
21 апр '18 в 18:35
0
ответов
Загрузка большого файла на сервер создает исключение POCO::Net::NoMessageException с использованием библиотеки Poco на C++
Я загружаю файл с помощью библиотеки POCO в C++ на сервер NodeJS. Я использую код из этого вопроса для загрузки файла - POCO C++ простая форма отправки образца не работает. Файлы меньшего размера, такие как 4-5 МБ, успешно загружены, но мой файл изо…
19 фев '14 в 00:12
5
ответов
Как я могу ускорить XML::Twig
Я использую XML::Twig проанализировать очень большой XML-документ. Я хочу разбить его на куски на основе <change></change> теги. Прямо сейчас у меня есть: my $xml = XML::Twig->new(twig_handlers => { 'change' => \&parseChange…
12 дек '12 в 11:54
3
ответа
Как правильно обрабатывать исходный код и данные в хранилище
Я работаю над совместным научным проектом, который состоит из нескольких сценариев Python (максимум 1 МБ) и относительно большого набора данных (1,5 ГБ). Наборы данных тесно связаны со сценариями Python, поскольку сами наборы данных являются наукой,…
07 апр '11 в 21:47
3
ответа
Как я могу прочитать большой файл постепенно?
У меня проблемы с чтением файла с помощью Java. Это абсолютно огромный (2,5G), и настройка моей памяти не помогает. Все данные находятся в одной строке, поэтому я не могу прочитать их по одной строке за раз. Я хотел бы прочитать файл, пока не найду …
27 янв '10 в 15:45
0
ответов
Использование генератора для буферизованного анализа большого файла
У меня есть большой файл, который мне нужно проанализировать - и, поскольку он будет генерироваться из внешних запросов каждый раз, когда запускается скрипт, поэтому нет способа проанализировать его один раз и кэшировать результаты. Я хочу сохранить…
16 апр '18 в 19:32
0
ответов
Отправка большого количества данных из Android в приложение MVC
В настоящее время я разрабатываю приложение для Android, которое принимает файл и преобразует его в строку. Затем строка отправляется на сервер, и в этом случае я использую приложение MVC. Строка должна быть отправлена на сервер в первую очередь, …
18 ноя '14 в 02:49
1
ответ
Как я могу сохранить файл 32 МБ в проекте Blackberry
Недавно я занимаюсь разработкой приложения для Android и BlackBerry. Что мне нужно сделать, это сохранить файл Sqlite 32 МБ в проекте в качестве исходной базы данных для использования приложения. В случае с Android это просто, и я могу легко сохрани…
25 апр '13 в 06:40
1
ответ
Pandas HDFStore для последовательного чтения / записи наборов с переменным размером вне ядра
Я хочу читать и записывать данные в файл hdf5 постепенно, потому что я не могу поместить данные в память. Данные для чтения / записи представляют собой наборы целых чисел. Мне нужно только читать / писать наборы последовательно. Нет необходимости в …
25 мар '17 в 13:35
6
ответов
Поиск строки в большом текстовом файле - профилирование различных методов в python
Этот вопрос задавался много раз. Потратив некоторое время на чтение ответов, я быстро профилировал, чтобы опробовать различные методы, упомянутые ранее... У меня есть файл размером 600 МБ с 6 миллионами строк (пути к категориям из проекта DMOZ). Зап…
02 июн '11 в 19:06
1
ответ
Как сравнить элементы в двух больших XML-файлах и выбрать более новое значение
Каков наилучший способ сравнить элементы двух больших файлов XML с продуктами? Например: если один файл XML содержит product с тем же id как и во втором XML-файле, я хотел бы выбрать продукт, который имеет более новые date_added и сохранить его в но…
15 июн '16 в 08:41
5
ответов
Обработка огромных файлов в C#
У меня есть файл 4 Гб, для которого я хочу выполнить поиск и замену на основе байтов. Я написал простую программу для этого, но это занимает слишком много времени (90 минут +), чтобы сделать только один поиск и замену. Несколько шестнадцатеричных ре…
30 апр '12 в 17:17
0
ответов
Как хранить информацию о файле, но не сам файл?
Я хотел бы знать, возможно ли в MacOS хранить "информацию" о некоторых файлах, но не о самих файлах? По сути, я хотел бы выгрузить определенные большие файлы из многих моих проектов на внешние диски / машины, но при этом сохранить способность получа…
08 июл '17 в 02:39