Логика расщепления HDFS?

Question

Логика расщепления HDFS?

Какое значение имеет метод isSplittable() класса FileInputFormat? http://hadoop.apache.org/docs/r2.2.0/api/index.html

1

hadoop mapreduce hdfs distributed-filesystem

Источник

user1797729 26 фев '14 в 06:39

2 ответа

Другие вопросы по тегам hadoop mapreduce hdfs distributed-filesystem

user974169 26 фев '14 в 07:58 2014-02-26 07:58 · Answer 1 · 2014-02-26 07:58

Когда isSplitable возвращает false, только один преобразователь обрабатывает весь файл.

Вы можете предоставить свою собственную реализацию FileInputFormat и вернуть true/false для isSplitable в зависимости от ваших потребностей.

2

Источник

user974169 26 фев '14 в 07:58

user1797729 26 фев '14 в 10:53 2014-02-26 10:53 · Answer 2 · 2014-02-26 10:53

Если файлы сжимаются потоком, как tar.gz или zip файлы, и когда ваши записи имеют переменное количество строк; может существовать вероятность того, что часть одной записи может оказаться в одном блоке, а остальная часть записи - в другом блоке. И, таким образом, программа, написанная для чтения записей, может аварийно завершить работу.

Таким образом, в подобных сценариях можно было бы установить isSplittable() как false.