99偷拍视频精品区一区二,口述久久久久久久久久久久,国产精品夫妇激情啪发布,成人永久免费网站在线观看,国产精品高清免费在线,青青草在线观看视频观看,久久久久久国产一区,天天婷婷久久18禁,日韩动漫av在线播放直播

scrapy導出文件時出現中文亂碼怎么辦-創新互聯

scrapy導出文件時出現中文亂碼怎么辦?相信很多沒有經驗的人對此束手無策,這篇文章總結了scrapy導出文件時出現中文亂碼的解決辦法,通過這篇文章希望你能解決這個問題。

從事四川雅安電信機房,服務器租用,云主機,虛擬空間,域名注冊,CDN,網絡代維等服務。

背景:

使用scrapy crawl spidername -o filename.json命令執行爬蟲,并將item寫入文件,發現中文亂碼,比如這樣子:
scrapy導出文件時出現中文亂碼怎么辦

解決方法

第一種方法:

使用scrapy命令導出時指定編碼格式

scrapy crawl baidu -o baidu_med.json -s FEED_EXPORT_ENCODING=utf-8
第二種方法:

借助Pipeline將item寫入到文件
1.修改pipelines.py,添加:

import json
import codecs

class YiyaoPipeline(object):
   def __init__(self):
     self.file = codecs.open('item.json', 'wb', encoding='utf-8')

   def process_item(self, item, spider):
     line = json.dumps(dict(item), ensure_ascii=False) + '\n'
     self.file.write(line)
     return item

2.修改settings.py,激活pipeline:

ITEM_PIPELINES = {
  'yiyao.pipelines.YiyaoPipeline': 300,
}

注意:settings.py默認有ITEM_PIPELINES配置,只是注銷掉了。
3.使用scrapy命令導出時,直接執行:

scrapy crawl baidu

看完這篇文章,你能夠獨立解決scrapy導出文件時出現中文亂碼的問題了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注創新互聯行業資訊頻道,感謝各位的閱讀。

另外有需要云服務器可以了解下創新互聯cdcxhl.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。

標題名稱:scrapy導出文件時出現中文亂碼怎么辦-創新互聯
轉載源于:http://www.yijiale78.com/article16/dpspgg.html

成都網站建設公司_創新互聯,為您提供電子商務網站收錄標簽優化靜態網站關鍵詞優化品牌網站設計

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

小程序開發