Как устранить ошибку Unicode при удалении пустых строк через экспортер с помощью Scrapy?

Когда я запускаю scrapy с -o items.csv, то есть:

scrapy crawl tweets -o items.csv

он генерирует пустую строку между каждой строкой данных.

Чтобы устранить эту проблему, я использовал предложенное здесь решение Не могу избавиться от пустых строк в выводе CSV

Теперь я снова и снова получаю следующую ошибку:

2018-02-12 20:13:07 [scrapy.utils.signal] ERROR: Error caught on signal handler: 
<bound method FeedExporter.item_scraped of <scrapy.extensions.feedexport.FeedExporter 
object at 0x000002CC6C823898>>

Traceback (most recent call last):
File "c:\programdata\anaconda3\lib\site-packages\twisted\internet\defer.py", line 150, in 
maybeDeferred
  result = f(*args, **kw)
File "c:\programdata\anaconda3\lib\site-packages\pydispatch\robustapply.py", line 55, in 
robustApply
  return receiver(*arguments, **named)
File "c:\programdata\anaconda3\lib\site-packages\scrapy\extensions\feedexport.py", line 
224, in item_scraped
  slot.exporter.export_item(item)
File "c:\programdata\anaconda3\lib\site-packages\scrapy\exporters.py", line 243, in 
export_item
  self.csv_writer.writerow(values)
File "c:\programdata\anaconda3\lib\encodings\cp1252.py", line 19, in encode
  return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 168-169: 
character maps to <undefined>

Я использую Scrapy 1.4, Python 2.7 (и пробовал 3.6) на Windows 10. Я предполагаю, что это проблема с Unicode.

Как исправить экспортер, чтобы устранить эту проблему с юникодом?

0 ответов

Другие вопросы по тегам