Бойкая для маленьких файлов
Я новичок в Кассандре и Hadoop. В поисках интеграции двух продуктов я наткнулся на Brisk. Из описания я понимаю, что Brisk заменяет HDFS на CassandraFS. Таким образом, эта замена является решением для небольшой проблемы файла Hadoop? Если так, то как насчет больших файлов? В настоящее время мне нужно реализовать хранилище ресурсов, содержащее как большие двоичные файлы данных с их метаданными, так и небольшие файлы, такие как изображения.
1 ответ
На самом деле это и то и другое (хотя я думаю, что Brisk сейчас превратился в коммерческий продукт, DataStax Enterprise, и сам по себе активно не разрабатывается).
Brisk включает в себя CassandraFS (cfs), которая является заменой HDFS и поэтому поддерживает большие файлы. Под капотом они разбиваются на куски и хранятся в строках / столбцах Кассандры.
Для небольших файлов вы можете хранить данные в собственных строках Cassandra вместо CassandraFS и вместо этого запускать задания Hadoop над строками.