爬蟲的基本原理就是模擬客戶端(可以是瀏覽器,也有可能是APP)向遠程服務器發送 HTTP 請求,我們需要知道目標服務器的 HOST、URI、請求方法、請求參數、請求頭、請求體。Web 網站通過 Chrome 瀏覽器可以找到這些信息。但是對于 APP 爬蟲,就顯得有些束手無策。這時候必須借用一些抓包工具來輔助我們分析APP背后的秘密。
創新互聯建站于2013年創立,先為寧晉等服務建站,寧晉等地企業,進行企業商務咨詢服務。為寧晉企業網站制作PC+手機+微官網三網同步一站式服務解決您的所有建站問題。
今天推薦4個HTTP代理工具通過抓包分析,幫助你還原APP背后的每個請求。
Fiddler
Fiddler 是 Windows 平臺最好用的可視化抓包工具,也是大家最熟知的 HTTP 代理工具,功能非常強大,除了可以清晰的了解每個請求與響應之外,還可以進行斷點設置,修改請求數據、攔截響應內容。
此外,還可以自定義規則,通過修改腳本,加入自己的特殊處理,不過因為它是 C# 編寫的,如果你要寫復雜的腳本,需要懂C#。
過濾器功能使得你可以通過正則表達式規則將你關心的請求顯示出來,如果你只需要抓特定網站的數據,這個功能就顯得非常有用,可以去除很多干擾信息。
Charles
Charles 是 macOS 平臺下最好用的抓包分析工具之一,同樣提供GUI界面,界面簡潔,基本功能包括HTTP、HTTPS請求抓包,支持請求參數的修改,最新的 Charles 4 還支持 HTTP/2。當然,也同時支持Windows 和 Linux, 不過這款工具是要收費的,免費試用 30 天,試用期過后功能受限。
AnyProxy
AnyProxy 是 阿里巴巴開源的 HTTP 抓包工具,基于 NodeJS 實現,優點是支持二次開發,可自定義請求處理邏輯,如果你會寫JS的話,同時需要做一些自定義的處理,那么AnyProxy 是非常適合的。支持 HTTPS,提供了GUI界面。 GitHub地址:https://github.com/alibaba/anyproxy
mitmproxy
mitmproxy 是一款基于 Python,支持 SSL 的抓包工具,用 Python 寫爬蟲的一定會很喜歡,因為他不僅是跨平臺的,而且提供的是命令行交互模式,很有極(zhuang)客(bi)感。mitmproxy 包含 3 款工具:
mitmproxy: 帶交互的終端界面
mitmdump: mitmproxy 的命令行版本,類似于 tcpdump
libmproxy: 用于 mitmproxy/mitmdump 的庫
GitHub 地址:https://github.com/mitmproxy/mitmproxy
當前文章:推薦4個爬蟲抓包神器
標題來源:http://www.yijiale78.com/article6/ihdoog.html
成都網站建設公司_創新互聯,為您提供ChatGPT、商城網站、微信小程序、App設計、搜索引擎優化、云服務器
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯