scrapy1.4的csv输出时出现空行问题的源码修复-patch
2017-09-12 22:12
295 查看
进入scrapy相关输出csv的源码路径
我的路径为:D:\Python35\Lib\site-packages\scrapy
编辑该路径下的exporters.py文件,并修改的内容如下:
完成之后进行测试,成功之后下面设计scrapy的固定scv字段的输出:
首先在setting.py的同级目录下创建一个名为gl_csv_item_exporter.py的文件并写入:
注意:title2和title是我项目里定义的item名
我的路径为:D:\Python35\Lib\site-packages\scrapy
编辑该路径下的exporters.py文件,并修改的内容如下:
class CsvItemExporter(BaseItemExporter): def __init__(self, file, include_headers_line=True, join_multivalued=',', **kwargs): self._configure(kwargs, dont_fail=True) if not self.encoding: self.encoding = 'utf-8' self.include_headers_line = include_headers_line self.stream = io.TextIOWrapper( file, newline='', #在这里添加newline='', line_buffering=False, write_through=True, encoding=self.encoding ) if six.PY3 else file self.csv_writer = csv.writer(self.stream, **kwargs) self._headers_not_written = True self._join_multivalued = join_multivalued
完成之后进行测试,成功之后下面设计scrapy的固定scv字段的输出:
首先在setting.py的同级目录下创建一个名为gl_csv_item_exporter.py的文件并写入:
.conf settings .exporters CsvItemExporter (CsvItemExporter): (*args**kwargs): delimiter = settings.get() kwargs[] = delimiter fields_to_export = settings.get([]) (MyProjectCsvItemExporter).(*args**kwargs)在setting.py下添加以下内容:(itjz是我的项目名,使用的时候改一下)
注意:title2和title是我项目里定义的item名
FEED_EXPORTERS = { 'csv': 'itjz.gl_csv_item_exporter.MyProjectCsvItemExporter', } FIELDS_TO_EXPORT = [ 'title2', 'title' ]
相关文章推荐
- scrapy1.4的csv输出时出现空行问题的源码修复-patch
- PHP输出CSV文件出现乱码问题
- PHP输出CSV文件出现乱码问题
- jspsmart 支持jdk1.4 解决utf-8编码时出现乱码的问题 附源码和jar包
- svn错误:更新源码出现校验和不匹配问题
- java读取文件输出流出现的问题
- PHP输出空行、空格的问题
- Gradle4.0转换Spring源码为eclipse时出现的问题
- mono-3.4.0 源码安装时出现的问题 [do-install] Error 2 [install-pcl-targets] Error 1 解决方法
- ffmpeg开发出现的问题(四) ftp/rstp/ts 流输出
- win7修复装系统删除ubuntu进入系统出现grub rescue的问题
- VSS链接VS出现net/输出问题
- cmake 2.8.6生成的eclipse工程导入eclipse后出现没有源码目录的问题
- 利用指针把三个数从大到小输出(容易出现的问题)
- 使用centos linux-2.6.32-220.23.1.el6源码编译时出现的问题及其解决方法
- 关于int数据转换float数据出现输出0.0000的问题
- 不幸的问题还是出现了:Chromium代码上整理patch(working目录/master分支),部分文件做了git checkout恢复,结果GYP再编译就出错了
- 从CSV文件导入Hive出现中文乱码问题解决
- mac 源码安装psycopg2 出现依赖问题解决
- PHP读取CSV出现了问题