scrapy導出文件時出現中文亂碼怎么辦?相信很多沒有經驗的人對此束手無策,這篇文章總結了scrapy導出文件時出現中文亂碼的解決辦法,通過這篇文章希望你能解決這個問題。

使用scrapy crawl spidername -o filename.json命令執行爬蟲,并將item寫入文件,發現中文亂碼,比如這樣子:
使用scrapy命令導出時指定編碼格式
scrapy crawl baidu -o baidu_med.json -s FEED_EXPORT_ENCODING=utf-8借助Pipeline將item寫入到文件
1.修改pipelines.py,添加:
import json
import codecs
class YiyaoPipeline(object):
def __init__(self):
self.file = codecs.open('item.json', 'wb', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item), ensure_ascii=False) + '\n'
self.file.write(line)
return item2.修改settings.py,激活pipeline:
ITEM_PIPELINES = {
'yiyao.pipelines.YiyaoPipeline': 300,
}注意:settings.py默認有ITEM_PIPELINES配置,只是注銷掉了。
3.使用scrapy命令導出時,直接執行:
scrapy crawl baidu看完這篇文章,你能夠獨立解決scrapy導出文件時出現中文亂碼的問題了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注創新互聯行業資訊頻道,感謝各位的閱讀。
另外有需要云服務器可以了解下創新互聯cdcxhl.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
標題名稱:scrapy導出文件時出現中文亂碼怎么辦-創新互聯
轉載源于:http://www.yijiale78.com/article16/dpspgg.html
成都網站建設公司_創新互聯,為您提供電子商務、網站收錄、標簽優化、靜態網站、關鍵詞優化、品牌網站設計
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯