Описание тега bigdata

Большие данные - это концепция, которая имеет дело с наборами данных экстремальных объемов.

Есть несколько особенностей, которые позволяют выделить это понятие в отдельное:

Данные

• Данные настолько велики, что их невозможно обработать на одном компьютере
• Связь между элементами данных чрезвычайно сложна

Алгоритмы

• Локальные алгоритмы, вычисление которых занимает больше времени, чем O(N), вероятно, займет много лет.
• Вместо этого используются быстрые распределенные алгоритмы

Место хранения

• Базовое хранилище данных должно быть отказоустойчивым и поддерживать данные в согласованном состоянии независимо от сбоев устройства.
• Одно устройство хранения не может вместить весь набор данных

Эко-система

• Большие данные также являются синонимом набора инструментов, которые используются для обработки огромных объемов данных. Это также известно как экосистема больших данных. Популярные инструменты: HDFS, Spark, MapReduce и т. Д.