Как устранить ошибку Unicode при удалении пустых строк через экспортер с помощью Scrapy?
Когда я запускаю scrapy с -o items.csv, то есть:
scrapy crawl tweets -o items.csv
он генерирует пустую строку между каждой строкой данных.
Чтобы устранить эту проблему, я использовал предложенное здесь решение Не могу избавиться от пустых строк в выводе CSV
Теперь я снова и снова получаю следующую ошибку:
2018-02-12 20:13:07 [scrapy.utils.signal] ERROR: Error caught on signal handler:
<bound method FeedExporter.item_scraped of <scrapy.extensions.feedexport.FeedExporter
object at 0x000002CC6C823898>>
Traceback (most recent call last):
File "c:\programdata\anaconda3\lib\site-packages\twisted\internet\defer.py", line 150, in
maybeDeferred
result = f(*args, **kw)
File "c:\programdata\anaconda3\lib\site-packages\pydispatch\robustapply.py", line 55, in
robustApply
return receiver(*arguments, **named)
File "c:\programdata\anaconda3\lib\site-packages\scrapy\extensions\feedexport.py", line
224, in item_scraped
slot.exporter.export_item(item)
File "c:\programdata\anaconda3\lib\site-packages\scrapy\exporters.py", line 243, in
export_item
self.csv_writer.writerow(values)
File "c:\programdata\anaconda3\lib\encodings\cp1252.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 168-169:
character maps to <undefined>
Я использую Scrapy 1.4, Python 2.7 (и пробовал 3.6) на Windows 10. Я предполагаю, что это проблема с Unicode.
Как исправить экспортер, чтобы устранить эту проблему с юникодом?