Получить файл CSV из URL-адреса и преобразовать в массив JSON

Question

Мне нужно получить данные из файла csv, размещенного на URL-адресе, и преобразовать его в массив json. До сих пор пользуюсь этим.

    import request from "request-promise";
    import encode from "nodejs-base64-encode";

    let url = 'https://example.com/filename.csv';

    function conversion(url) {
        return request.get(url, {encoding: null})
        .then( function (res) {
            //var base64File = encode.encode(res, 'base64');
            //how to convert the received data to json
        });
    }

Я попытался сначала преобразовать в base64, а затем декодировать строку, но это просто дает мне строку, как показано ниже.

name,value,email
jason,23,[e-mail]
jeremy,45,[e-mail]
nigel,23,[e-mail]
jason,23,[e-mail]

Мне это нужно как массив json.

Answer 1

Вы можете включить такой пакет, как csvtojson, чтобы выполнить это преобразование за вас.

/** csv file
a,b,c
1,2,3
4,5,6
*/
const csvFilePath='<path to csv file>'
const csv=require('csvtojson')
csv()
.fromFile(csvFilePath)
.then((jsonObj)=>{
    console.log(jsonObj);
    /**
     * [
     *  {a:"1", b:"2", c:"3"},
     *  {a:"4", b:"5". c:"6"}
     * ]
     */ 
})

// Async / await usage
const jsonArray=await csv().fromFile(csvFilePath);

Answer 2

Вы на полпути.

Вам просто необходимо:

1. разделить строку на конец строки \n. Вы получаете массив строк, каждая из которых представляет собой строку в вашем CSV-файле.
2. разделить каждую строку на ,.

И в вашем случае не забудьте игнорировать первую строку (заголовок).

Ознакомьтесь с этой статьей:

https://medium.com/@sanderdebr/converting-csv-to-a-2d-array-of-objects-94d43c56b12d

Answer 3

Разделите строку на \r\nчтобы получить массив строк. Использовать.map в массиве, чтобы сделать его массивом объектов.

Вот пример:

var newArray = decodedString.split('\r\n').slice(1)map(row => {
    var temp = row.split(',')
    return {
             name: temp[0],
             value: temp[1],
             email: temp[2]
        }
})

Надеюсь это поможет:)

Answer 4

Включите пакет с именем csvtojson

      const request=require('request')
const csv=require('csvtojson')
 
csv()
.fromStream(request.get('http://mywebsite.com/mycsvfile.csv'))
.subscribe((json)=>{
    return new Promise((resolve,reject)=>{
        // long operation for each json e.g. transform / write into database.
    })
},onError,onComplete);
 

С асинхронным и ожиданием

      async function ConvertCSVtoJSON{
const jsonArray = await csv().fromStream(request.get('http://mywebsite.com/mycsvfile.csv'));
        console.log(jsonArray);
}