Как читать и писать из карты данных с помощью Tensorflow на BlueData?

Question

Я хочу иметь возможность использовать карту данных BlueData непосредственно из TensorFlow.

С pyspark я могу сделать что-то вроде этого:

df.write.parquet('dtap://OtherDataTap/airline-safety_zero_incidents.parquet')

Обратите внимание, что мне не нужно настраивать какие-либо библиотеки - все готово к работе.

Что мне нужно сделать для чтения / записи данных через DataTap из Tensorflow?

Answer 1

Согласно документам: http://docs.bluedata.com/40_datatap-tensorflow-support

import tensorflow as tf
import os
from tensorflow.python.framework.versions import CXX11_ABI_FLAG

CXX11_ABI_FLAG

bdfs_file_system_library = os.path.join("/opt/bluedata","libbdfs_file_system_shared_r1_9.so")
tf.load_file_system_library(bdfs_file_system_library)

with tf.gfile.Open("dtap://TenantStorage/tmp/tensorflow/dtap.txt", 'w') as f:
    f.write("This is the dtap test file")

with tf.gfile.Open("dtap://TenantStorage/tmp/tensorflow/dtap.txt", 'r') as f:
    content = f.read()