Импорт файлов CSV в.Net
Я понимаю, что это вопрос новичка, но я ищу простое решение - кажется, что оно должно быть.
Каков наилучший способ импортировать файл CSV в строго типизированную структуру данных? Снова просто = лучше.
12 ответов
Microsoft TextFieldParser является стабильным и следует RFC 4180 для файлов CSV. Не откладывайте на Microsoft.VisualBasic Пространство имен; это стандартный компонент.NET Framework, просто добавьте ссылку на глобальный Microsoft.VisualBasic сборка.
Если вы компилируете для Windows (в отличие от Mono) и не ожидаете разбора "битых" (не RFC-совместимых) CSV-файлов, тогда это будет очевидным выбором, так как он бесплатный, неограниченный, стабильный, и активно поддерживается, большинство из которых не может быть сказано для FileHelpers.
См. Также: Практическое руководство. Чтение из разделенных запятыми текстовых файлов в Visual Basic для примера кода VB.
Используйте соединение OleDB.
String sConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=C:\\InputDirectory\\;Extended Properties='text;HDR=Yes;FMT=Delimited'";
OleDbConnection objConn = new OleDbConnection(sConnectionString);
objConn.Open();
DataTable dt = new DataTable();
OleDbCommand objCmdSelect = new OleDbCommand("SELECT * FROM file.csv", objConn);
OleDbDataAdapter objAdapter1 = new OleDbDataAdapter();
objAdapter1.SelectCommand = objCmdSelect;
objAdapter1.Fill(dt);
objConn.Close();
Если вы ожидаете довольно сложных сценариев синтаксического анализа CSV, даже не думайте о развертывании нашего собственного анализатора. Существует множество отличных инструментов, таких как FileHelpers или даже CodeProject.
Дело в том, что это довольно распространенная проблема, и вы могли бы поспорить, что многие разработчики программного обеспечения уже подумали и решили эту проблему.
Я согласен с @ NotMyself. FileHelpers хорошо протестирован и обрабатывает все виды крайних случаев, с которыми вам в конечном итоге придется столкнуться, если вы сделаете это самостоятельно. Посмотрите, что делает FileHelpers, и напишите свой собственный, только если вы абсолютно уверены, что либо (1) вам никогда не понадобится обрабатывать крайние случаи, которые выполняет FileHelpers, либо (2) вы любите писать такие вещи и собираетесь радуйтесь, когда вам нужно разобрать такие вещи:
1, "Билл", "Смит", "Супервайзер", "Без комментариев"
2, "Дрейк", "О'Мэлли", "Дворник,
Ой, я не процитирован и я на новой линии!
Брайан дает хорошее решение для преобразования его в строго типизированную коллекцию.
Большинство данных методов анализа CSV не учитывают экранирование полей или некоторые другие тонкости файлов CSV (например, обрезка полей). Вот код, который я лично использую. Это немного грубо по краям и почти нет сообщений об ошибках.
public static IList<IList<string>> Parse(string content)
{
IList<IList<string>> records = new List<IList<string>>();
StringReader stringReader = new StringReader(content);
bool inQoutedString = false;
IList<string> record = new List<string>();
StringBuilder fieldBuilder = new StringBuilder();
while (stringReader.Peek() != -1)
{
char readChar = (char)stringReader.Read();
if (readChar == '\n' || (readChar == '\r' && stringReader.Peek() == '\n'))
{
// If it's a \r\n combo consume the \n part and throw it away.
if (readChar == '\r')
{
stringReader.Read();
}
if (inQoutedString)
{
if (readChar == '\r')
{
fieldBuilder.Append('\r');
}
fieldBuilder.Append('\n');
}
else
{
record.Add(fieldBuilder.ToString().TrimEnd());
fieldBuilder = new StringBuilder();
records.Add(record);
record = new List<string>();
inQoutedString = false;
}
}
else if (fieldBuilder.Length == 0 && !inQoutedString)
{
if (char.IsWhiteSpace(readChar))
{
// Ignore leading whitespace
}
else if (readChar == '"')
{
inQoutedString = true;
}
else if (readChar == ',')
{
record.Add(fieldBuilder.ToString().TrimEnd());
fieldBuilder = new StringBuilder();
}
else
{
fieldBuilder.Append(readChar);
}
}
else if (readChar == ',')
{
if (inQoutedString)
{
fieldBuilder.Append(',');
}
else
{
record.Add(fieldBuilder.ToString().TrimEnd());
fieldBuilder = new StringBuilder();
}
}
else if (readChar == '"')
{
if (inQoutedString)
{
if (stringReader.Peek() == '"')
{
stringReader.Read();
fieldBuilder.Append('"');
}
else
{
inQoutedString = false;
}
}
else
{
fieldBuilder.Append(readChar);
}
}
else
{
fieldBuilder.Append(readChar);
}
}
record.Add(fieldBuilder.ToString().TrimEnd());
records.Add(record);
return records;
}
Обратите внимание, что это не обрабатывает крайний случай полей, которые не ограничиваются двойными кавычками, а просто содержат строку в кавычках. Смотрите этот пост для лучшего расширения, а также некоторые ссылки на некоторые подходящие библиотеки.
Мне было скучно, поэтому я изменил некоторые вещи, которые я написал. Он пытается инкапсулировать синтаксический анализ ОО-способом, сокращая количество итераций по файлу, он повторяется только один раз на верхнем foreach.
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
namespace ConsoleApplication1
{
class Program
{
static void Main(string[] args)
{
// usage:
// note this wont run as getting streams is not Implemented
// but will get you started
CSVFileParser fileParser = new CSVFileParser();
// TO Do: configure fileparser
PersonParser personParser = new PersonParser(fileParser);
List<Person> persons = new List<Person>();
// if the file is large and there is a good way to limit
// without having to reparse the whole file you can use a
// linq query if you desire
foreach (Person person in personParser.GetPersons())
{
persons.Add(person);
}
// now we have a list of Person objects
}
}
public abstract class CSVParser
{
protected String[] deliniators = { "," };
protected internal IEnumerable<String[]> GetRecords()
{
Stream stream = GetStream();
StreamReader reader = new StreamReader(stream);
String[] aRecord;
while (!reader.EndOfStream)
{
aRecord = reader.ReadLine().Split(deliniators,
StringSplitOptions.None);
yield return aRecord;
}
}
protected abstract Stream GetStream();
}
public class CSVFileParser : CSVParser
{
// to do: add logic to get a stream from a file
protected override Stream GetStream()
{
throw new NotImplementedException();
}
}
public class CSVWebParser : CSVParser
{
// to do: add logic to get a stream from a web request
protected override Stream GetStream()
{
throw new NotImplementedException();
}
}
public class Person
{
public String Name { get; set; }
public String Address { get; set; }
public DateTime DOB { get; set; }
}
public class PersonParser
{
public PersonParser(CSVParser parser)
{
this.Parser = parser;
}
public CSVParser Parser { get; set; }
public IEnumerable<Person> GetPersons()
{
foreach (String[] record in this.Parser.GetRecords())
{
yield return new Person()
{
Name = record[0],
Address = record[1],
DOB = DateTime.Parse(record[2]),
};
}
}
}
}
Есть две статьи о CodeProject, которые предоставляют код для решения, одна из которых использует StreamReader, а другая - импорт данных CSV с помощью Microsoft Text Driver.
Хороший простой способ сделать это - открыть файл и прочитать каждую строку в массив, связанный список, структуру данных по вашему выбору. Будьте осторожны с обработкой первой строки.
Это может быть у вас над головой, но, кажется, есть прямой способ получить к ним доступ, используя строку подключения.
Почему бы не попробовать использовать Python вместо C# или VB? Он имеет хороший CSV-модуль для импорта, который делает всю тяжелую работу за вас.
Я набрал какой-то код. Результат в datagridviewer выглядел хорошо. Он анализирует одну строку текста для массива объектов.
enum quotestatus
{
none,
firstquote,
secondquote
}
public static System.Collections.ArrayList Parse(string line,string delimiter)
{
System.Collections.ArrayList ar = new System.Collections.ArrayList();
StringBuilder field = new StringBuilder();
quotestatus status = quotestatus.none;
foreach (char ch in line.ToCharArray())
{
string chOmsch = "char";
if (ch == Convert.ToChar(delimiter))
{
if (status== quotestatus.firstquote)
{
chOmsch = "char";
}
else
{
chOmsch = "delimiter";
}
}
if (ch == Convert.ToChar(34))
{
chOmsch = "quotes";
if (status == quotestatus.firstquote)
{
status = quotestatus.secondquote;
}
if (status == quotestatus.none )
{
status = quotestatus.firstquote;
}
}
switch (chOmsch)
{
case "char":
field.Append(ch);
break;
case "delimiter":
ar.Add(field.ToString());
field.Clear();
break;
case "quotes":
if (status==quotestatus.firstquote)
{
field.Clear();
}
if (status== quotestatus.secondquote)
{
status =quotestatus.none;
}
break;
}
}
if (field.Length != 0)
{
ar.Add(field.ToString());
}
return ar;
}
Этим летом мне пришлось использовать анализатор CSV в.NET для проекта, и я остановился на текстовом драйвере Microsoft Jet. Вы указываете папку, используя строку подключения, а затем запрашиваете файл с помощью оператора SQL Select. Вы можете указать строгие типы, используя файл schema.ini. Сначала я этого не делал, но потом получал плохие результаты, когда тип данных не был сразу очевиден, например, номера IP или запись типа "XYQ 3.9 SP1".
Одно ограничение, с которым я столкнулся, заключается в том, что он не может обрабатывать имена столбцов длиной более 64 символов; это усекает. Это не должно быть проблемой, за исключением того, что я имел дело с очень плохо спроектированными входными данными. Возвращает набор данных ADO.NET.
Это было лучшее решение, которое я нашел. Я бы с осторожностью использовал свой собственный синтаксический анализатор CSV, так как я, вероятно, пропустил бы некоторые из конечных случаев, и я не нашел никаких других бесплатных пакетов синтаксического анализа CSV для.NET.
РЕДАКТИРОВАТЬ: Кроме того, может быть только один файл schema.ini на каталог, поэтому я динамически добавляю к нему, чтобы строго ввести необходимые столбцы. Он будет только строго указывать указанные столбцы и делать выводы для любого неопределенного поля. Я действительно оценил это, так как имел дело с импортом CSV-столбца Fluid 70+ и не хотел указывать каждый столбец, только неправильный.
Если вы можете гарантировать, что в данных нет запятых, то, возможно, самый простой способ - использовать String.split.
Например:
String[] values = myString.Split(',');
myObject.StringField = values[0];
myObject.IntField = Int32.Parse(values[1]);
Там могут быть библиотеки, которые вы могли бы использовать, чтобы помочь, но это, вероятно, так просто, как вы можете получить. Просто убедитесь, что у вас не может быть запятых в данных, иначе вам нужно будет лучше разобрать их.