Как воссоздать хеш-дайджест мультихеша в IPFS

Предполагая, что я добавляю данные в IPFS следующим образом:

$ echo Hello World | ipfs add

Это даст мне QmWATWQ7fVPP2EFGu71UkfnqhYXDYH566qy47CnJDgvs8u - CID, который является закодированным в Base58 Multihash.

Преобразование его в Base16 говорит мне, что дайджест хеша для добавленной IPFS является хешем SHA2-256:

12 - 20 - 74410577111096cd817a3faed78630f2245636beded412d3b212a2e09ba593ca
<hash-type> - <hash-length> - <hash-digest>

Я знаю, что IPFS не просто хэширует данные, но на самом деле сериализует их сначала как прототип Unixfs, а затем помещает их в dag.

Я хотел бы объяснить, как добраться до 74410577111096cd817a3faed78630f2245636beded412d3b212a2e09ba593ca но я не совсем уверен, как достать созданный даг, содержащий протобуф Unixfs с данными.

Например, я могу записать сериализованные необработанные данные на диск и проверить их с помощью декодера protobuf:

$ ipfs block get QmWATWQ7fVPP2EFGu71UkfnqhYXDYH566qy47CnJDgvs8u > /tmp/block.raw
$ protoc --decode_raw < /tmp/block.raw

Это даст мне сериализованные данные в удобочитаемом формате:

1 {
  1: 2
  2: "Hello World\n"
  3: 12
}

Тем не менее, передача этого через SHA-256 по-прежнему дает мне другой хеш, что имеет смысл, потому что IPFS помещает протобуф в dag и многозначно, что один.

$ protoc --decode_raw < /tmp/block.raw | shasum -a 256

Поэтому я решил выяснить, как получить этот dag-узел, хэшировать его самому, чтобы получить хеш, который я ищу.

Я надеялся использовать ipfs dag get QmWATWQ7fVPP2EFGu71UkfnqhYXDYH566qy47CnJDgvs8u даст мне мультихеш, который затем может быть декодирован, но оказывается, что он возвращает некоторый другой хэш данных, который я не знаю, как проверить:

$ ipfs dag get QmWATWQ7fVPP2EFGu71UkfnqhYXDYH566qy47CnJDgvs8u
$ {"data":"CAISDEhlbGxvIFdvcmxkChgM","links":[]}

Любые идеи о том, как декодировать data отсюда?

ОБНОВИТЬ

data это представление Base64 исходных данных: https://github.com/ipfs/go-ipfs/issues/4115

Источник

4 ответа

Решение

Хеш, который вы ищете, является хешем вывода ipfs block get QmWATWQ7fVPP2EFGu71UkfnqhYXDYH566qy47CnJDgvs8u, IPFS хэширует закодированное значение.

Вместо запуска:

protoc --decode_raw < /tmp/block.raw | shasum -a 256

Просто беги:

shasum -a 256 < /tmp/block.raw

но оказывается, что он возвращает некоторые другие данные, которые я не знаю, как проверить

Это потому, что в настоящее время мы используем protobuf внутри protobuf. Внешний протобуф имеет структуру {Data: DATA, Links: [{Name: ..., Size: ..., Hash: ...}]},

В:

1 {
  1: 2
  2: "Hello World\n"
  3: 12
}

1 { ... } часть - поле данных внешнего протобуфа. Тем не мение, protoc --decode_raw *recursively* decodes this object so it decodes the Поле данных до:

  • Поле 1 (тип данных): 2 (файл)
  • Поле 2 (Данные): "Hello World\n"
  • Поле 3 (Размер файла): 12 (байт)

Для контекста, соответствующие определения protobuf:

Наружно:

// An IPFS MerkleDAG Link
message PBLink {

  // multihash of the target object
  optional bytes Hash = 1;

  // utf string name. should be unique per object
  optional string Name = 2;

  // cumulative size of target object
  optional uint64 Tsize = 3;
}

// An IPFS MerkleDAG Node
message PBNode {

  // refs to other objects
  repeated PBLink Links = 2;

  // opaque user data
  optional bytes Data = 1;
}

Внутренне:

message Data {
    enum DataType {
        Raw = 0;
        Directory = 1;
        File = 2;
        Metadata = 3;
        Symlink = 4;
        HAMTShard = 5;
    }

    required DataType Type = 1;
    optional bytes Data = 2;
    optional uint64 filesize = 3;
    repeated uint64 blocksizes = 4;

    optional uint64 hashType = 5;
    optional uint64 fanout = 6;
}

message Metadata {
    optional string MimeType = 1;
}
Источник

Я не уверен, что это за кодировка, но вы можете разархивировать поле данных dag следующим образом в js-ipfs:

const IPFS = require('ipfs')
const Unixfs = require('ipfs-unixfs')

const ipfs = new IPFS

ipfs.dag.get('QmWATWQ7fVPP2EFGu71UkfnqhYXDYH566qy47CnJDgvs8u', (err, d) => {
  console.log(Unixfs.unmarshal(d.value.data).data.toString()))
  // prints Hello World
})

Источник

Согласно ответу Стивена, использование protobuf работает. Вот полный код моего подхода.

ipfs.proto

syntax = "proto3";

message PBNode {
bytes Data = 1;
}

message PBLink {
bytes Hash = 1;
string Name = 2;
uint64 Tsize = 3;
}

message Data {
enum DataType {
    Raw = 0;
    Directory = 1;
    File = 2;
    Metadata = 3;
    Symlink = 4;
    HAMTShard = 5;
}
DataType Type = 1;
bytes Data = 2;
}

cid.js

const mh = require('multihashes');
const axios = require('axios');
const crypto = require('crypto');
const protobuf = require("protobufjs");
const IPFS = protobuf.loadSync('./ipfs.proto').lookupType('PBNode');

class CID {
/**
* convert IPFS multihash to sha2-256 hash string
* @param {string} multihash
* @param {boolean} prefix
* @returns {string} sha2-256 hash string starting with 0x
*/
static toHash(multihash, prefix = false) {
    return prefix ? '0x' : ''
    + mh.decode(mh.fromB58String(multihash)).digest.toString('hex')
}

/**
* convert sha2-256 hash string to IPFS multihash
* @param {string} str
* @returns {string} IPFS multihash starting with Qm
*/
static fromHash(str) {
    str = str.startsWith('0x') ? str.slice(2) : str;
    return mh.toB58String(mh.encode(Buffer.from(str, 'hex'), 'sha2-256'))
}

/**
* hash the buffer and get the SHA256 result compatible with IPFS multihash
* @param {Buffer} buf
* @returns {string}
*/
static hash(buf) {
    const r = IPFS.encode({
    Data: {
        Type: 2,
        Data: buf,
        filesize: buf.length
    }

    }).finish();
    return crypto.createHash('sha256').update(r).digest('hex');
}
}

async function ipfsGet(cid) {
const x = await axios.get(`http://your.address.xxx/ipfs/${cid}`, {
    responseType: 'arraybuffer'
});
return Buffer.from(x.data);
}

const r = "QmfQj4DUWEudeFdWKVzPaTbYimdYzsp14DZX1VLV1BbtdN";
const hashFromCID = CID.toHash(r);
console.log(hashFromCID);
ipfsGet(r).then(buf => {
const hashCalculated = CID.hash(buf);
console.log(hashCalculated);
console.log(hashCalculated === hashFromCID);
console.log(CID.fromHash(hashCalculated) === r)
});

module.exports = CID;

Источник

Я создал модуль для Java, который может генерировать правильный хэш файла:https://github.com/rmnvalera/java-cid-generate-hash

Источник
Другие вопросы по тегам