Dataframes, CSV и CNTK

Question

Я играл с CNTK и обнаружил, что модели можно тренировать только с использованием массивов. Это правильно?

Это имеет смысл для распознавания изображений и т. Д.

Как бы мне превратить мой аккуратный набор данных (считанный как фрейм данных с использованием панд) в формат, который может обучать логистической регрессии? Я пытался прочитать его в массиве NumPy

 np.genfromtxt(“My.csv",delimiter=',' , dtype=float)

и я также попытался обернуть переменную с

np.array.MyVeriable.astype('float32')

Но я не получаю результат, я хочу быть в состоянии прокормить модель.

Я также не могу найти что-то в учебнике о том, как сделать ML на табличных фреймах данных в CNTK.

Это не поддерживается?

Answer 1

Спасибо за эти ссылки. Вот как я закончил читать в CSV, он, казалось, работал, но Саян, пожалуйста, исправьте по мере необходимости:

def generate_data_from_csv():

# try to find the data file local. If it doesn't report "file does not exists" if it does report "using loacl file"
data_path = os.path.join("MyPath")
csv_file = os.path.join(data_path, "My.csv")
if not os.path.exists(data_path):
    os.makedirs(data_path)
if not os.path.exists(data_file):
    print("file does not exists")
else:
    print("using loacl file")

df = pd.read_csv(csy_file, usecols = ["predictor1", "predictor2",
"predictor3", "predictor4", "dependent_variable"], dtype=np.float32)

return df

Затем я сохранил этот датафрейм как training_data

training_data = generate_data_from_csv()

Затем я превратил этот фрейм данных в массив Numpy следующим образом

training_features = np.asarray(training_data[[["predictor1",    
"predictor2", "predictor3", "predictor4",]], dtype = "float32")
training_labels = np.asarray(training_data[["dependent_variable"]],
dtype="float32")

Для обучения модели я использовал этот код:

features, labels = training_features[:,[0,1,2,3]], training_labels

Answer 2

CNTK 104 показывает, как использовать pandas dataframes и numpy.

https://github.com/Microsoft/CNTK/blob/master/Tutorials/CNTK_104_Finance_Timeseries_Basic_with_Pandas_Numpy.ipynb

CNTK 106B показывает, как вы можете читать данные, используя CSV-файлы.

https://github.com/Microsoft/CNTK/blob/master/Tutorials/CNTK_106B_LSTM_Timeseries_with_IOT_Data.ipynb