這篇文章主要介紹怎么用python爬蟲分析動態網頁的商品信息,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!

先安裝Puppeteer庫,用到的也就只有這個庫:
npm install puppeteer
鏈接網頁也非常簡單,只需要幾行代碼:
const puppeteer = require('puppeteer')
//啟動瀏覽器
const browers = await puppeteer.launch()
//啟動新頁面
const page = await browers.newPage()
//鏈接網址
await page.goto(url)拿到了同類所有商品的標簽信息,接下來開始分析信息。獲取里面所有商品的名稱,然后對照關鍵字是否存在,如果存在則將headless改為false彈出窗口提醒,如果不存在則在半小時后再次鏈接。Puppeteer提供了一個等待命令page.waitFor(),不僅可以按時間等待,也可以按某個元素的加載進度進行等待。
const goods = page.$$eval('#auctionRecommend > div.mc > ul > li', el => {
//錯誤和關鍵字不存在都會返回false
try {
for (let i = 0; i < el.length; i++) {
let n = el[i].querySelector('div.p-name').textContent
if(n.includes('妙控板')){
return true
} else {
return false
}
}
} catch (error) {
return false
}
})
if(!bool){
return console.log('網頁已打開,不再監控')
}
//根據goods里面的回調函數返回ture或false來決定是否開啟瀏覽器界面
await goods.then(async (b) => {
if(b){
console.log('有貨了!')
await page.waitFor(2000)
await browers.close()
return requestUrl(false)
} else {
console.log('還沒貨')
console.log('三十分鐘后再嘗試')
await page.waitFor(1800000)
await browers.close()
return requestUrl(true)
}
})以上是“怎么用python爬蟲分析動態網頁的商品信息”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注創新互聯行業資訊頻道!
網頁標題:怎么用python爬蟲分析動態網頁的商品信息-創新互聯
網站地址:http://www.yijiale78.com/article8/cccoop.html
成都網站建設公司_創新互聯,為您提供移動網站建設、電子商務、Google、網頁設計公司、網站收錄、服務器托管
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯