Описание тега distributed-filesystem
Any file system that allows access to files from multiple hosts sharing via a computer network making it possible for multiple users on multiple machines to share files and storage resources.
1
ответ
CoreOS & HDFS - Запуск распределенной файловой системы в Linux Containers/Docker
Мне нужна какая-то распределенная файловая система, работающая на кластере CoreOS. Поэтому я хотел бы запускать HDFS на узлах CoreOS. Это возможно? Я вижу 2 варианта; Расширение CoreOS - установка HDFS непосредственно на CoreOS - не идеально, поскол…
17 окт '14 в 04:44
0
ответов
Как настроить производительность GlusterFS?
У меня есть 2 выделенных сервера со следующими характеристиками: - E3 1270V3 CPU - 32 ГБ ОЗУ - 960 ГБ SSD - 1 Гбит / с частная сеть Ethernet. На локальных дисках тесты dd обычно находятся в диапазоне 600 МБ / с, что очень хорошо. Недавно я настроил …
13 июн '15 в 07:09
1
ответ
S3 против задержки распространения EFS для распределенной файловой системы?
Я работаю над проектом, который использует несколько док-контейнеров, которые все должны иметь доступ к одним и тем же файлам для сравнения. Важно то, что если файл кажется видимым одному контейнеру, то между тем, когда он появляется видимым для дру…
11 июл '18 в 02:16
1
ответ
Распределенное хранилище ключей-значений для общего объема данных 80 ТБ
TL;DR: Я хотел бы получить рекомендации для распределенного хранилища значения ключа, для avg. размер записи до 50 КБ для установки в среде Linux (выделенные серверы).Решение файловой системы подойдет.Я нашел несколько решений: Ceph, Cassandra, Riak…
04 фев '13 в 08:15
1
ответ
LVM против Lustre File System
Мы должны построить большую масштабируемую файловую систему. Поскольку LVM и Luste r могут обеспечить динамическое масштабирование размера файловой системы, я хотел бы знать относительные преимущества и недостатки LVM по сравнению с файловой системо…
26 июн '13 в 16:59
0
ответов
DSEFS распределены неравномерно (должно быть?)
Мы опробуем новый DSEFS Datastax внутри нашего кластера. Кажется, все работает отлично, но с небольшим беспокойством. Когда работает: df -h внутри dsefs мы видим это: Location Status DC Rack Host Address Port Directory Used Free Reserved x up Cassan…
06 ноя '17 в 16:46
2
ответа
Получите путь DFS сетевого расположения в Python
Я хочу получить ping-подобный ответ из сетевого расположения Windows, которое имеет архитектуру распределенной файловой системы, например path = r'\\path\to\some\shared\folder_x' delay = ping_func(path) print delay # return response in milliseconds …
20 июн '17 в 09:18
1
ответ
Как файловая система Kosmos (KFS) обрабатывает отражение?
С Пасхой! Я пишу распределенную файловую систему на C++. И для полного контроля я написал свой собственный RPC. Последний нерешенный вопрос для этой платформы RPC - это отражение, поскольку C++ не предоставляет его. Я знаю, что KFS - это DFS, написа…
29 мар '13 в 00:00
1
ответ
std::ifstream обращается к сетевым файлам в Mac OSX
Как я могу открыть общий сетевой файл в OSX? Я пытался с и без "CIFS:". также пытался "192.168.xxx.xxx", но не работает. Благодарю. const std::string path_name("cifs://netshare.local/data/config.txt"); std::ifstream file( path_name.c_str(), std::ios…
08 янв '15 в 02:25
2
ответа
Быстрая скорость распределенной файловой системы для небольших файлов
Наша компания имеет пять миллионов пользователей, мы храним файл кода пользователя, пользователь может редактировать и добавлять свои файлы, как веб-IDE, файл пользователей списка веб-IDE. мы используем функции php для реализации этих операций, таки…
06 авг '16 в 14:15
0
ответов
Как загрузить распределенную файловую систему coda в Ubuntu
Я пытаюсь загрузить распределенную файловую систему Coda на Ubuntu.... но есть ошибки. Почему это происходит? ошибка код
15 янв '19 в 16:14
1
ответ
Как получить InputStream при открытии IgnitePath (возвращает HadoopIgfsSecondaryFileSystemPositionedReadable)?
Обычно при работе с Hadoop и Flink открытие / чтение файла из распределенной файловой системы возвращает объект Source (аналог Sink), расширяющий java.io.InputStream. Однако в Apache Ignite, IgfsSecondaryFileSystem и, более конкретно, IgniteHadoopIg…
18 май '18 в 01:26
2
ответа
Логика расщепления HDFS?
Какое значение имеет метод isSplittable() класса FileInputFormat? http://hadoop.apache.org/docs/r2.2.0/api/index.html
26 фев '14 в 06:39
1
ответ
Доступ к произвольной строке в большом файле в Google Cloud Storage
Я пытаюсь прочитать случайную строку из большого файла, хранящегося в общедоступном облачном хранилище. Насколько я понимаю, я не могу сделать это с помощью gsutil и изучил FUSE, но не уверен, что он удовлетворит мой случай использования: https://cl…
24 окт '18 в 14:50
1
ответ
Sharding vs DFS
Насколько я понимаю, шардинг (например, в MongoDB) и распределенные файловые системы (например, HDFS в HBase или HyperTable) - это разные механизмы, которые используют базы данных для масштабирования, однако мне интересно, как они сравниваются?
06 авг '11 в 03:15
0
ответов
Распределенные файловые системы - уведомление о новом файле
Я хочу реализовать распределенную файловую систему, и я читал о HDFS и CephFS, но есть кое-что, что я не могу понять. Предположим, кластерная файловая система с тремя узлами - N1, N2 и N3 - каждый из которых связан с сервером. Я хочу, чтобы все данн…
13 мар '18 в 10:59
2
ответа
Хранилище объектов для веб-приложения
В настоящее время я работаю над сайтом, на котором пользователям должно быть предоставлено около 40 миллионов документов и изображений. Мне нужны предложения о том, какой метод является наиболее подходящим для хранения контента с учетом этих требова…
30 окт '18 в 09:54
1
ответ
3Phase commit protocol - Распределенная система
Мне задали этот вопрос в одном из моих интервью. Мне интересно узнать ответ на этот вопрос: Что произойдет, если в 3-фазном протоколе фиксации после отправки сообщения предварительной фиксации координатор получит положительный ответ от всех менеджер…
05 июн '14 в 06:32
1
ответ
Виртуальная файловая система лежит поверх распределенных файловых систем?
В ядре Linux виртуальные файловые системы расположены поверх конкретных файловых систем и файлов устройств, чтобы обеспечить единый интерфейс для доступа к тем, кто находится под ним. Распределенные файловые системы лежат ниже или выше виртуальной ф…
31 мар '16 в 05:06
1
ответ
NAS против распределенных файловых систем
Каковы случаи использования, когда мы должны отдавать предпочтение какой-либо распределенной файловой системе, такой как HDFS? Как решить, какой из них использовать или какой-либо другой сопоставимой альтернативы?
09 фев '15 в 12:35