Общая поддержка Unicode/UTF-8 для CSV-файлов в Python 2.6

Question

Общая поддержка Unicode/UTF-8 для CSV-файлов в Python 2.6

Модуль csv в Python не работает должным образом, когда задействован UTF-8/Unicode. Я нашел в документации по Python и на других веб-страницах фрагменты, которые работают для конкретных случаев, но вы должны хорошо понимать, какую кодировку вы обрабатываете, и использовать соответствующий фрагмент.

Как я могу читать и записывать как строки, так и строки Unicode из файлов.csv, которые "просто работают" в Python 2.6? Или это ограничение Python 2.6, у которого нет простого решения?

43

python csv unicode utf-8 python-2.x

Источник

user220011 04 дек '09 в 10:33

10 ответов

Другие вопросы по тегам python csv unicode utf-8 python-2.x

user412080 31 май '11 в 12:59 2011-05-31 12:59 · Answer 1 · 2011-05-31 12:59

Пример кода для чтения Юникода, приведенный по адресу http://docs.python.org/library/csv.html, выглядит устаревшим, поскольку он не работает с Python 2.6 и 2.7.

Здесь следует UnicodeDictReader который работает с utf-8 и может быть с другими кодировками, но я проверял это только на входах utf-8.

Короче, идея заключается в том, чтобы декодировать Unicode только после того, как строка CSV была разделена на поля csv.reader,

class UnicodeCsvReader(object):
    def __init__(self, f, encoding="utf-8", **kwargs):
        self.csv_reader = csv.reader(f, **kwargs)
        self.encoding = encoding

    def __iter__(self):
        return self

    def next(self):
        # read and split the csv row into fields
        row = self.csv_reader.next() 
        # now decode
        return [unicode(cell, self.encoding) for cell in row]

    @property
    def line_num(self):
        return self.csv_reader.line_num

class UnicodeDictReader(csv.DictReader):
    def __init__(self, f, encoding="utf-8", fieldnames=None, **kwds):
        csv.DictReader.__init__(self, f, fieldnames=fieldnames, **kwds)
        self.reader = UnicodeCsvReader(f, encoding=encoding, **kwds)

Использование (кодировка исходного файла - utf-8):

csv_lines = (
    "абв,123",
    "где,456",
)

for row in UnicodeCsvReader(csv_lines):
    for col in row:
        print(type(col), col)

Выход:

$ python test.py
<type 'unicode'> абв
<type 'unicode'> 123
<type 'unicode'> где
<type 'unicode'> 456

user119071 23 апр '12 в 05:34 2012-04-23 05:34 · Answer 2 · 2012-04-23 05:34

Немного запоздалый ответ, но я использовал unicodecsv с большим успехом.

32

Источник

user119071 23 апр '12 в 05:34

user7581 19 фев '12 в 08:50 2012-02-19 08:50 · Answer 3 · 2012-02-19 08:50

Модуль, представленный здесь, выглядит как классная простая замена модуля csv, который позволяет работать с utf-8 csv.

import ucsv as csv
with open('some.csv', 'rb') as f:
    reader = csv.reader(f)
    for row in reader:
        print row

22

Источник

user7581 19 фев '12 в 08:50

user213464 04 дек '09 в 10:41 2009-12-04 10:41 · Answer 4 · 2009-12-04 10:41

В этом документе уже используется пример Unicode, зачем все-таки искать другой или заново изобретать колесо?

import csv

def unicode_csv_reader(unicode_csv_data, dialect=csv.excel, **kwargs):
    # csv.py doesn't do Unicode; encode temporarily as UTF-8:
    csv_reader = csv.reader(utf_8_encoder(unicode_csv_data),
                            dialect=dialect, **kwargs)
    for row in csv_reader:
        # decode UTF-8 back to Unicode, cell by cell:
        yield [unicode(cell, 'utf-8') for cell in row]

def utf_8_encoder(unicode_csv_data):
    for line in unicode_csv_data:
        yield line.encode('utf-8')

user1211023 19 сен '12 в 08:54 2012-09-19 08:54 · Answer 5 · 2012-09-19 08:54

Я подтверждаю, unicodecsv отличная замена для csv модуль, я только что заменил csv от unicodecsv в моем исходном коде, и это работает как шарм.

4

Источник

user1211023 19 сен '12 в 08:54

user817777 27 июн '11 в 16:53 2011-06-27 16:53 · Answer 6 · 2011-06-27 16:53

Обертка unicode_csv_reader Упоминается в документации Python принимает строки Unicode. Это потому, что CSV не принимает строки Unicode. cvs, вероятно, не знает о кодировке или локали и просто обрабатывает получаемые строки как байты. Так что получается, что оболочка кодирует строки Unicode, что означает, что она создает строку байтов. Затем, когда оболочка возвращает результаты из csv, она снова декодирует байты, что означает, что она преобразует последовательности байтов UTF-8 в правильные символы Юникода.

Если вы даете оболочке простую байтовую строку, например, используя f.readlines() это даст UnicodeDecodeError в байтах со значением> 127. Обертку следует использовать в случае, если в вашей программе есть строки Unicode в формате CSV.

Я могу себе представить, что у оболочки все еще есть одно ограничение: поскольку cvs не принимает юникод, а также не принимает многобайтовые разделители, вы не можете анализировать файлы с символом юникода в качестве разделителя.

user7918 23 дек '13 в 19:14 2013-12-23 19:14 · Answer 7 · 2013-12-23 19:14

Может быть, это очевидно, но ради новичков я упомяну это.

В питоне 3.X csv Модуль поддерживает любую кодировку из коробки, поэтому, если вы используете эту версию, вы можете придерживаться стандартного модуля.

 with open("foo.csv", encoding="utf-8") as f: 
     r = csv.reader(f, delimiter=";")
     for row in r: 
     print(row)

Дополнительную информацию см. В: Поддерживает ли python 3.1.3 юникод в модуле csv?

user7581 28 фев '13 в 17:11 2013-02-28 17:11 · Answer 8 · 2013-02-28 17:11

Вы должны рассмотреть tablib, который имеет совершенно другой подход, но должен рассматриваться в соответствии с требованием "просто работает".

with open('some.csv', 'rb') as f:
    csv = f.read().decode("utf-8")

import tablib
ds = tablib.Dataset()
ds.csv = csv
for row in ds.dict:
    print row["First name"]

Предупреждение: tablib отклонит ваш CSV, если в каждой строке не будет одинакового количества элементов.

user1084488 13 дек '15 в 22:32 2015-12-13 22:32 · Answer 9 · 2015-12-13 22:32

Вот немного улучшенная версия ответа Максима, которая также может пропустить спецификацию UTF-8:

import csv
import codecs

class UnicodeCsvReader(object):
    def __init__(self, csv_file, encoding='utf-8', **kwargs):
        if encoding == 'utf-8-sig':
            # convert from utf-8-sig (= UTF8 with BOM) to plain utf-8 (without BOM):
            self.csv_file = codecs.EncodedFile(csv_file, 'utf-8', 'utf-8-sig')
            encoding = 'utf-8'
        else:
            self.csv_file = csv_file
        self.csv_reader = csv.reader(self.csv_file, **kwargs)
        self.encoding = encoding

    def __iter__(self):
        return self

    def next(self):
        # read and split the csv row into fields
        row = self.csv_reader.next() 
        # now decode
        return [unicode(cell, self.encoding) for cell in row]

    @property
    def line_num(self):
        return self.csv_reader.line_num

class UnicodeDictReader(csv.DictReader):
    def __init__(self, csv_file, encoding='utf-8', fieldnames=None, **kwds):
        reader = UnicodeCsvReader(csv_file, encoding=encoding, **kwds)
        csv.DictReader.__init__(self, reader.csv_file, fieldnames=fieldnames, **kwds)
        self.reader = reader

Обратите внимание, что наличие спецификации не определяется автоматически. Вы должны сигнализировать, что это там, передавая encoding='utf-8-sig' аргумент в пользу конструктора UnicodeCsvReader или же UnicodeDictReader, кодирование utf-8-sig является utf-8 с спецификацией.

user2426679 30 июл '15 в 19:13 2015-07-30 19:13 · Answer 10 · 2015-07-30 19:13

Я бы добавил к его ответу. По умолчанию Excel сохраняет CSV-файлы как латиница-1 (которую не поддерживает ucsv). Вы можете легко это исправить:

with codecs.open(csv_path, 'rb', 'latin-1') as f:
    f = StringIO.StringIO( f.read().encode('utf-8') )

reader = ucsv.UnicodeReader(f)
# etc.

0

Источник

user2426679 30 июл '15 в 19:13