Scrapy输出文件格式问题汇总

Q:Scrapy抓取的内容(包含中文)输出到JSON Lines文件时如何确保输出的是字符本身而不是其unicode编码?
A:默认的JsonLinesItemExporter其ensure_ascii属性为True,使得在ASCII字符集中包含的字符才能输出字符本身,其他的字符(如各种东亚语言)则输出其unicode编码。在piplines.py中添加如下代码,将JsonLinesItemExporter的ensure_ascii设置为False。

class CustomJsonLinesItemExporter(JsonLinesItemExporter):
    def __init__(self, file, **kwargs):
        # 将超类的ensure_ascii属性设置为False, 确保输出中文而不是其unicode编码
        super(CustomJsonLinesItemExporter, self).__init__(file, ensure_ascii=False, **kwargs)

Q:输出为csv文件时,Scrapy的CsvItemExporter输出的文件每行后面为何会多一行空行?
A:参考Stack Overflow

To fix this in Scrapy 1.3, you can patch it by adding newline='' as parameter to io.TextIOWrapper in the init method of the CsvItemExporter class in scrapy.exporters.

原文地址:https://www.cnblogs.com/renzongxian/p/9433829.html