Как GetBytes() в C# с кодировкой UTF8 с BOM?

У меня проблема с кодировкой UTF8 в моем приложении asp.net mvc 2 в C#. Я пытаюсь позволить пользователю загрузить простой текстовый файл из строки. Я пытаюсь получить массив байтов со следующей строкой:

var x = Encoding.UTF8.GetBytes(csvString);

но когда я возвращаю его для загрузки с помощью:

return File(x, ..., ...);

Я получаю файл без спецификации, поэтому я не вижу корректно отображаемые хорватские символы. Это потому, что мой байтовый массив не содержит спецификацию после кодирования. Я стараюсь вставлять эти байты вручную, и тогда они отображаются правильно, но это не лучший способ сделать это.

Я также попытался создать экземпляр класса UTF8Encoding и передать логическое значение (true) его конструктору для включения спецификации, но он также не работает.

У кого-нибудь есть решение? Спасибо!

Источник

4 ответа

Решение

Попробуйте вот так:

public ActionResult Download()
{
    var data = Encoding.UTF8.GetBytes("some data");
    var result = Encoding.UTF8.GetPreamble().Concat(data).ToArray();
    return File(result, "application/csv", "foo.csv");
}

Причина в том, что конструктор UTF8Encoding, который принимает логический параметр, не делает то, что вы ожидаете:

byte[] bytes = new UTF8Encoding(true).GetBytes("a");

Результирующий массив будет содержать один байт со значением 97. Спецификации нет, потому что UTF8 не требует спецификации.

Источник

Я создал простое расширение для преобразования любой строки в любой кодировке в представление байтового массива, когда она записывается в файл или поток:

public static class StreamExtensions
{
    public static byte[] ToBytes(this string value, Encoding encoding)
    {
        using (var stream = new MemoryStream())
        using (var sw = new StreamWriter(stream, encoding))
        {
            sw.Write(value);
            sw.Flush();
            return stream.ToArray();
        }
    }
}

Использование:

stringValue.ToBytes(Encoding.UTF8)

Это будет работать и для других кодировок, таких как UTF-16, для которых требуется спецификация.

Источник

UTF-8 не требует спецификации, потому что это последовательность 1-байтовых слов. UTF-8 = UTF-8BE = UTF-8LE.

Напротив, для UTF-16 требуется спецификация в начале потока, чтобы определить, является ли остаток потока UTF-16BE или UTF-16LE, потому что UTF-16 представляет собой последовательность 2-байтовых слов, а спецификация определяет, является ли байты в словах БЫТЬ или LE.

Проблема не в том, что Encoding.UTF8 учебный класс. Проблема заключается в том, какую программу вы используете для просмотра файлов.

Источник

Помните, что все строки.NET являются Unicode, пока они остаются в памяти, поэтому, если вы можете правильно увидеть вашу csvString с помощью отладчика, проблема заключается в записи файла.

На мой взгляд, вы должны вернуть FileResult с той же кодировкой, что и файлы. Попробуйте установить возвращаемую кодировку файла,

Источник
Другие вопросы по тегам