Сравнение больших данных и озер данных, различий и сходств
Может кто-нибудь сказать мне сходства и различия между большими данными и озерами данных.
Не могу найти удовлетворительного ответа нигде.
1 ответ
Я думаю, мы не можем сравнивать и различать терминологию обоих, потому что озеро данных является синонимом больших данных. Озеро данных = данные предприятия + неструктурированные данные + данные полуструктуры.
С другой стороны, это хранилище данных, вы можете хранить любые данные и использовать их для целей анализа. В основном данные будут храниться в Hadoop FileSystem (HDFS), где, как и в случае с "большими данными", используется хранилище и некоторые другие технологии обработки.
Большие данные - это термин, который используется по-разному, можно даже назвать его модным словом. Часто он используется как собирательный термин для цифровых технологий, оцифровки, индустрии 4.0 и многих тем, связанных с цифровой трансформацией.
В менее общей интерпретации большие данные просто относятся к сложному, большому набору данных. Термин "большой" тогда относится к трем измерениям (см. Википедию по большим данным).
- объем, т.е. размер набора данных
- скорость, с которой генерируются объемы данных
- разнообразие типов данных и источников
Озеро данных относится к подходу, как хранить большие данные. Другие возможности хранения данных - это традиционная база данных, также называемая системой управления реляционными базами данных (СУБД), с одной стороны, и хранилище данных, с другой стороны, см., Например, " Озеро данных", "Хранилище данных" и "База данных: в чем разница?
Большие данные и озеро данных - это две разные вещи. Озеро данных - это концепция, в которой все ваши данные хранятся и легко доступны с использованием другого механизма. Озеро данных может поддерживаться на s3 или красном смещении или любой другой платформе хранения. Большие данные - это термин, используемый для обработки большого объема данных. В основном это были решения с большими данными, такими как Hadoop, Spark.