Вывод команды HDFS fsck

Question

Я получил это на выходе, поэтому я просто хочу знать, что такое BP, Blk? Можете ли вы объяснить мне, что каждая вещь означает в этом выводе? Я знаю

 BP-929597290-192.0.0.2-1439573305237:blk_1074084574_344316 len=2 repl=3 [DatanodeInfoWithStorage[192.0.0.9:1000,DS-730a75d3-046c-4254-990a-4eee9520424f,DISK], DatanodeInfoWithStorage[192.0.0.1:1000,DS-fc6ee5c7-e76b-4faa-b663-58a60240de4c,DISK], DatanodeInfoWithStorage[192.0.0.3:1000,DS-8ab81b26-309e-42d6-ae14-26eb88387cad,DISK]]

Я думаю, 192.0.0.9:1000 это Ip первой репликации данных

Answer 1

1. BP-929597290-192.0.0.2-1439573305237

   Это идентификатор пула блоков. Пул блоков - это набор блоков, которые принадлежат одному пространству имен. Для простоты можно сказать, что все блоки, управляемые узлом имени, находятся в одном пуле блоков.

   Блок Пул формируется как:

   String bpid = "BP-" + rand + "-"+ ip + "-" + Time.now();        
   
   Where: 
   rand = Some random number
   ip = IP address of the Name Node
   Time.now() - Current system time
   

   Прочитайте о блочных пулах здесь: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/Federation.html

2. blk_1074084574_344316:

   Номер блока блока. Каждому блоку в HDFS присваивается уникальный идентификатор.

   Идентификатор блока формируется как:

   blk_<blockid>_<genstamp> 
   
   Where: 
   blockid = ID of the block
   genstamp = an incrementing integer that records the version of a particular block
   

   Читайте о марке поколения здесь: http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/

3. Len = 2

   Длина блока: количество байтов в блоке

4. РЕПЛ = 3

   Есть 3 копии этого блока

5. DatanodeInfoWithStorage[192.0.0.9:1000,DS-730a75d3-046c-4254-990a-4eee9520424f,DISK

   Куда:

   192.0.0.9 => IP address of the Data Node holding this block
   1000 => Data streaming port
   DS-730a75d3-046c-4254-990a-4eee9520424f => Storage ID. It is an internal ID of the Data Node. It is assigned, when the Data Node registers with Name Node
   DISK => storageType. It is DISK here. Storage type can be: RAM_DISK, SSD, DISK and ARCHIVE
   

Описание пункта 5 относится к оставшимся 2 блокам:

DatanodeInfoWithStorage[192.0.0.1:1000,DS-fc6ee5c7-e76b-4faa-b663-58a60240de4c,DISK], 
DatanodeInfoWithStorage[192.0.0.3:1000,DS-8ab81b26-309e-42d6-ae14-26eb88387cad,DISK]]