本篇內容介紹了“python如何爬取漂亮的圖片作為壁紙”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
在成都網站設計、成都網站制作過程中,需要針對客戶的行業特點、產品特性、目標受眾和市場情況進行定位分析,以確定網站的風格、色彩、版式、交互等方面的設計方向。成都創新互聯公司還需要根據客戶的需求進行功能模塊的開發和設計,包括內容管理、前臺展示、用戶權限管理、數據統計和安全保護等功能。
首先,可以查看上瀏覽器上的地址欄,可以看出這個搜索結果的網址構成還是挺有規律的,前面是堆糖的首頁網址,?后面是咱們的請求數據,請求數據里面最關鍵的就是(kw="搜索關鍵詞"),這是會根據咱們搜索內容不同而改變的。

接著按鍵盤上的f12調出開發者工具,點擊Network,再按f5刷新下網頁進行數據重新請求,可以看到在Name的下拉框下有許多的請求文件,咱們可以點擊一個文件進行查看下里面請求頭數據,這是待會寫爬蟲非常重要的請求頭構造數據來源。

看不出規律可以單擊下資源文件,右邊窗口的Request URL行也有這個url,咱們多點擊幾個文件進行查看,并將里面url地址復制到文本上查看。

單擊一個資源文件,再點擊右邊Preview,可以看到這里面有許多數據,而咱們要的數據就是前面的json數據,黑色三角形是可以點擊的,點擊后會展開詳細的數據信息。

分析到這里,就可以來寫咱們的代碼,打開pycharm,先導入必要的庫。
from urllib.parse import urlencode import requests import time import os
接著構造咱們的請求頭和每一頁的url。
base_url='https://www.duitang.com/napi/blog/list/by_search/?'
headers = {
'Host':'www.duitang.com',
'Referer':'https://www.duitang.com/search/?kw=%e7%be%8e%e5%a5%b3&type=feed',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
'X-Requested-With':'XMLHttpRequest'
}def get_page(start,count):
params={
'kw':'小姐姐',
'type':'feed',
'include_fields':'top_comments,is_root,source_link,item,buyable,root_id,status,like_count,like_id,sender,album,reply_count,favorite_blog_id',
'_type':'',
'start':start,
'_':count
}
url = base_url + urlencode(params)
try:
response = requests.get(url,headers=headers)
if response.status_code == 200:
return response.json()
else:
print("error")
except requests.ConnectionError as e:
print('Error',e.args)獲取到圖片url就可以進行讀寫操作了。
def parse_page(json):
if json:
items = json.get('data').get('object_list')
for item in items:
data = {}
data['favorite_count'] = item.get('favorite_count');
item = item.get('photo')
data['path']=item.get('path'); ## 獲取圖片url地址
file_path = '{0}/{1}'.format('./'+download_dir, data['path'].split('/')[-1]) ## 將圖片寫入到本地硬盤上
with open(file_path, 'wb') as f:
img = requests.get(data['path'])
print(img)
f.write(img.content)
yield data再寫個主函數,完成
start_page = 0 ## 從第幾頁開始爬 page_size = 5 ## 要爬多少頁 count = 1597729530322 ## 第1頁請求數據中下劃線的取值 download_dir = "downlode_img">

“python如何爬取漂亮的圖片作為壁紙”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注創新互聯網站,小編將為大家輸出更多高質量的實用文章!
名稱欄目:python如何爬取漂亮的圖片作為壁紙
文章分享:http://www.yijiale78.com/article18/pcpjdp.html
成都網站建設公司_創新互聯,為您提供企業網站制作、定制開發、網頁設計公司、做網站、移動網站建設、網站內鏈
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯