Записывает текст Unicode в текстовый файл?
Я вытаскиваю данные из документа Google, обрабатываю их и записываю в файл (который в итоге вставлю на страницу Wordpress).
У него есть не-ASCII символы. Как я могу безопасно преобразовать их в символы, которые можно использовать в исходном коде HTML?
В настоящее время я конвертирую все в Unicode по пути, объединяю все это в строку Python, затем делаю:
import codecs
f = codecs.open('out.txt', mode="w", encoding="iso-8859-1")
f.write(all_html.encode("iso-8859-1", "replace"))
В последней строке есть ошибка кодирования:
UnicodeDecodeError: кодек "ascii" не может декодировать байт 0xa0 в позиции 12286: порядковый номер не в диапазоне (128)
Частичное решение:
Этот Python работает без ошибок:
row = [unicode(x.strip()) if x is not None else u'' for x in row]
all_html = row[0] + "<br/>" + row[1]
f = open('out.txt', 'w')
f.write(all_html.encode("utf-8")
Но затем, если я открою текстовый файл, я вижу много символов, таких как:
Qur’an
Может быть, мне нужно написать что-то, кроме текстового файла?
7 ответов
Работайте исключительно с объектами Unicode в максимально возможной степени, декодируя объекты в объекты Unicode, когда вы впервые получаете их, и кодируйте их по мере необходимости на выходе.
Если ваша строка на самом деле является объектом Юникода, вам необходимо преобразовать его в объект строки в кодировке Юникода, прежде чем записать его в файл:
foo = u'Δ, Й, ק, م, ๗, あ, 叶, 葉, and 말.'
f = open('test', 'w')
f.write(foo.encode('utf8'))
f.close()
Когда вы снова прочитаете этот файл, вы получите строку в кодировке Unicode, которую вы можете декодировать в объект Unicode:
f = file('test', 'r')
print f.read().decode('utf8')
Обработка строк в Юникоде стандартизирована в Python 3.
- Char хранятся в Unicode
Вам нужно только открыть файл в UTF-8
out1 = "(嘉南大圳 ㄐㄧㄚ ㄋㄢˊ ㄉㄚˋ ㄗㄨㄣˋ )" fobj = open("t1.txt", "w", encoding="utf-8") fobj.write(out1) fobj.close()
В Python 2.6+ вы можете использоватьio.open() это по умолчанию ( встроенныйopen()) на Python 3:
import io
with io.open(filename, 'w', encoding=character_encoding) as file:
file.write(unicode_text)
Это может быть более удобно, если вам нужно писать текст постепенно (вам не нужно звонить unicode_text.encode(character_encoding) многократно). В отличие от codecs модуль, io Модуль имеет правильную универсальную поддержку новых строк.
Предисловие: будет ли работать ваш зритель?
Убедитесь, что ваш просмотрщик / редактор / терминал (однако вы взаимодействуете с файлом в кодировке utf-8) может прочитать файл. Это часто проблема в Windows, например, Блокнот.
Записывает текст Unicode в текстовый файл?
В Python 2 используйте open от io модуль (это то же самое, что встроенный open в Python 3):
import io
Лучшая практика, в общем, использование UTF-8 для записи в файлы (нам даже не нужно беспокоиться о порядке следования байтов в utf-8).
encoding = 'utf-8'
UTF-8 - это самая современная и универсально используемая кодировка - она работает во всех веб-браузерах, большинстве текстовых редакторов (смотрите ваши настройки, если у вас есть проблемы) и большинстве терминалов / оболочек.
В Windows вы можете попробовать utf-16le если вы ограничены просмотром вывода в Блокноте (или другом ограниченном средстве просмотра).
encoding = 'utf-16le' # sorry, Windows users... :(
И просто откройте его с помощью диспетчера контекста и запишите свои символы Юникода:
with io.open(filename, 'w', encoding=encoding) as f:
f.write(unicode_object)
Пример использования множества символов Юникода
Вот пример, который пытается отобразить каждый возможный символ шириной до трех бит (4 - максимум, но это будет немного дальше) из цифрового представления (в целых числах) в закодированный вывод для печати вместе с его именем, если возможно (поместите это в файл с именем uni.py):
from __future__ import print_function
import io
from unicodedata import name, category
from curses.ascii import controlnames
from collections import Counter
try: # use these if Python 2
unicode_chr, range = unichr, xrange
except NameError: # Python 3
unicode_chr = chr
exclude_categories = set(('Co', 'Cn'))
counts = Counter()
control_names = dict(enumerate(controlnames))
with io.open('unidata', 'w', encoding='utf-8') as f:
for x in range((2**8)**3):
try:
char = unicode_chr(x)
except ValueError:
continue # can't map to unicode, try next x
cat = category(char)
counts.update((cat,))
if cat in exclude_categories:
continue # get rid of noise & greatly shorten result file
try:
uname = name(char)
except ValueError: # probably control character, don't use actual
uname = control_names.get(x, '')
f.write(u'{0:>6x} {1} {2}\n'.format(x, cat, uname))
else:
f.write(u'{0:>6x} {1} {2} {3}\n'.format(x, cat, char, uname))
# may as well describe the types we logged.
for cat, count in counts.items():
print('{0} chars of category, {1}'.format(count, cat))
Это должно быть выполнено примерно за минуту, и вы можете просмотреть файл данных, и если ваша программа просмотра файлов может отображать Unicode, вы увидите это. Информацию о категориях можно найти здесь. Основываясь на подсчете, мы, вероятно, можем улучшить наши результаты, исключив категории Cn и Co, которые не имеют связанных с ними символов.
$ python uni.py
Он будет отображать шестнадцатеричное отображение, категорию, символ (если не может получить имя, поэтому, вероятно, управляющий символ) и имя символа. например
рекомендую less в Unix или Cygwin (не выводите / cat весь файл на ваш выход):
$ less unidata
Например, будет отображаться аналогично следующим строкам, которые я сэмплировал с помощью Python 2 (Unicode 5.2):
0 Cc NUL
20 Zs SPACE
21 Po ! EXCLAMATION MARK
b6 So ¶ PILCROW SIGN
d0 Lu Ð LATIN CAPITAL LETTER ETH
e59 Nd ๙ THAI DIGIT NINE
2887 So ⢇ BRAILLE PATTERN DOTS-1238
bc13 Lo 밓 HANGUL SYLLABLE MIH
ffeb Sm ￫ HALFWIDTH RIGHTWARDS ARROW
Мой Python 3.5 от Anaconda имеет Unicode 8.0, я бы предположил, что большинство 3-х было бы.
Файл, открытый codecs.open это файл, который принимает unicode данные, кодирует его в iso-8859-1 и записывает это в файл. Однако то, что вы пытаетесь написать, не unicode; Ты взял unicode и закодировать его в iso-8859-1 себя Вот что unicode.encode метод делает, и результат кодирования строки Unicode является строкой str тип.)
Вы должны либо использовать нормальный open() и кодировать Unicode самостоятельно, или (как правило, лучшая идея) использовать codecs.open() и не кодировать данные самостоятельно.
Как напечатать символы Unicode в файл:
Сохраните это в файл: foo.py:
#!/usr/bin/python -tt
# -*- coding: utf-8 -*-
import codecs
import sys
UTF8Writer = codecs.getwriter('utf8')
sys.stdout = UTF8Writer(sys.stdout)
print(u'e with obfuscation: é')
Запустите его и передайте вывод в файл:
python foo.py > tmp.txt
Откройте tmp.txt и загляните внутрь, вы увидите это:
el@apollo:~$ cat tmp.txt
e with obfuscation: é
Таким образом, вы сохранили Unicode E с пометкой обфускации в файл.
Эта ошибка возникает, когда вы пытаетесь закодировать не-юникодную строку: она пытается декодировать ее, предполагая, что она в простом ASCII. Есть две возможности:
- Вы кодируете его в строку байтов, но поскольку вы использовали codecs.open, метод write ожидает объект Unicode. Таким образом, вы кодируете его, и он пытается снова его декодировать. Пытаться:
f.write(all_html)вместо. - На самом деле all_html не является объектом Юникода. Когда вы делаете
.encode(...)Сначала он пытается его расшифровать.
В случае записи в python3
>>> a = u'bats\u00E0'
>>> print a
batsà
>>> f = open("/tmp/test", "w")
>>> f.write(a)
>>> f.close()
>>> data = open("/tmp/test").read()
>>> data
'batsà'
В случае записи на python2:
>>> a = u'bats\u00E0'
>>> f = open("/tmp/test", "w")
>>> f.write(a)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
Чтобы избежать этой ошибки, вы должны закодировать ее в байты, используя кодеки "utf-8", например так:
>>> f.write(a.encode("utf-8"))
>>> f.close()
и декодировать данные при чтении с использованием кодеков "utf-8":
>>> data = open("/tmp/test").read()
>>> data.decode("utf-8")
u'bats\xe0'
А также, если вы попытаетесь выполнить печать для этой строки, она будет автоматически декодирована с использованием кодеков "utf-8", подобных этой
>>> print a
batsà