Как Facebook хранит данные журнала?
Недавно я начал использовать Scribe, решение Facebook для передачи и сбора данных журналов с разных серверов.
Что я не смог найти, так это то, как Facebook хранит огромные объемы данных журнала, которые он получает (согласно презентации это было 25 ТБ в день в 2009 году).
Опубликовал ли Facebook информацию о том, как они это делают? Hadoop HDFS? Cassandra?
1 ответ
Решение
Они используют Hive поверх Hadoop. Кассандра используется для их электронной почты / обмена сообщениями, а не регистрации. Некоторые ссылки:
https://developers.facebook.com/opensource/
http://highscalability.com/blog/2008/11/24/product-scribe-facebooks-scalable-logging-system.html