采集農(nóng)產(chǎn)品每日價格數(shù)據(jù)

一、爬取網(wǎng)站

http://www./priceDetail.html

二、爬取目標

采集2022年12月份豬肉的價格數(shù)據(jù)。

目標地址

• equest Method: POST

• imit: 數(shù)據(jù)數(shù)量
• current: 當(dāng)前頁碼
• pubDateStartTime: 開始時間
• pubDateEndTime: 終止時間
• prodPcatid: 一級分類
• prodCatid: 二級分類

一級分類：

LOne = {"蔬菜": 1186, "水果": 1187, "肉禽蛋": 1189,
        "水產(chǎn)": 1190, "糧油": 1188, "豆制品": 1203,
        "調(diào)料": 1204}

二級分類：

LTwo = {"水菜": 1199, "特菜": 1200,
        "進口果": 1201, "干果": 1202,
        "豬肉類": 1205, "牛肉類": 1206, "羊肉類": 1207, "禽蛋類": 1208,
        "淡水魚": 1209, "海水魚": 1210, "蝦蟹類": 1217, "貝殼類": 1218, "其他類": 1211,
        "米面類": 1212, "雜糧類": 1213, "食用油": 1214}

目標數(shù)據(jù)

• Content-Type: application/json;charset=UTF-8

三、爬取代碼

import requests
import csv
import time

LOne = {"蔬菜": 1186, "水果": 1187, "肉禽蛋": 1189,
        "水產(chǎn)": 1190, "糧油": 1188, "豆制品": 1203,
        "調(diào)料": 1204}
LTwo = {"水菜": 1199, "特菜": 1200,
        "進口果": 1201, "干果": 1202,
        "豬肉類": 1205, "牛肉類": 1206, "羊肉類": 1207, "禽蛋類": 1208,
        "淡水魚": 1209, "海水魚": 1210, "蝦蟹類": 1217, "貝殼類": 1218, "其他類": 1211,
        "米面類": 1212, "雜糧類": 1213, "食用油": 1214}

url = "http://www./getPriceData.html"

data = {
    "limit": 200,
    "current": 1,
    "pubDateStartTime": "2022/12/01",
    "pubDateEndTime": "2022/12/31",
    "prodPcatid": LOne["肉禽蛋"],
    "prodCatid": LTwo["豬肉類"],
    "prodName": ""
}

with open(r'.\豬肉報價.csv', mode='w+', newline='', encoding='utf-8') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(["一級分類", "二級分類", "品名", "最低價", "平均價", "最高價",
                         "規(guī)格", "產(chǎn)地", "單位", "發(fā)布日期"])

    response = requests.post(url, data)
    json_data = response.json()
    count = json_data['count']
    limit = json_data['limit']
    n = count // limit + 1
    for i in range(1, n + 1):
        time.sleep(1)
        data['current'] = i
        response = requests.post(url, data)
        json_data = response.json()['list']
        for e in json_data:
            e1 = e['prodCat']  # "一級分類"
            e2 = e['prodPcat']  # "二級分類"
            e3 = e['prodName']  # "品名"
            e4 = e['lowPrice']  # "最低價"
            e5 = e['avgPrice']  # "平均價"
            e6 = e['highPrice']  # "最高價"
            e7 = e['specInfo']  # "規(guī)格"
            e8 = e['place']  # "產(chǎn)地"
            e9 = e['unitInfo']  # "單位"
            e10 = e['pubDate'].split(' ')[0]  # "發(fā)布日期"
            t = [e1, e2, e3, e4, e5, e6, e7, e8, e9, e10]
            print(t)
            csv_writer.writerow(t)

四、爬取結(jié)果