从 bs4 导入 json 导入请求 从 urllib.parse 导入 BeautifulSoup 导入 urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?' )[0] headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148"} product_url_list = [] keyword = 'ipad' for page in range(1, 26): try: payload = {'q': keyword, 'sort': 'best_seller', 'page': page, 'affinityOverride': 'default'} walmart_search_url = 'https ://www.walmart.com/search?' + urlencode(payload) response = requests.get(walmart_search_url, headers=headers) 如果 response.status_code == 200: html_response = response.text soup = BeautifulSoup(html_response, "html.parser") script_tag = soup.find("script ", {"id": "__NEXT_DATA__"}) 如果 script_tag 不是 None: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) for product_list] product_url_list.extend(product_urls) if len(product_urls) == 0: break except exception as e: 打印('错误', e) 打印(product_url_list)

输出将是产品 URL 列表。

第 2 步：抓取沃尔玛产品数据

Walmart Search 请求还返回了比产品 URL 更多的信息。 您还可以从 JSON blob 中获取产品名称、价格、图像 URL、评级和评论数量。 根据您需要的数据，您可能不需要请求每个产品页面，因为您可以从搜索结果中获取数据。

要从列表中提取产品数据，您可以使用如下函数：

def extract_product_data(product): return { 'url': create_walmart_url(product), 'name':根据我找到的信息，这里有一个 Python 脚本，它可以从 Walmart.com 上抓取产品信息。 该脚本生成产品 URL 列表，然后从每个 URL 中提取产品数据。 请注意，由于沃尔玛的限制，此脚本每次查询最多只能处理 25 页的搜索结果。 如果您需要抓取更多数据，则需要修改查询或更改排序参数。 这是 Python 脚本：```python import json import requests from bs4 import BeautifulSoup from urllib.parse import urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?')[0] def extract_product_data(product): return { 'url': create_walmart_product_url(product), 'name': product.get('name', ''), 'description': product.get('description', ''), 'image_url': product.get('image', ''), 'average_rating': product['rating'].get('averageRating'), 'number_reviews': product['rating'].get('numberOfReviews'), } headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148"} product_url_list = [] product_data_list = [] # Walmart Search Keyword keyword = 'ipad' # 循环遍历 Walmart 页面直到页面范围内没有更多产品 (1, 5): try: payload = {'q':关键字，'sort'：'best_seller'，'page'：page，'affinityOverride'：'default'} walmart_search_url = 'https://www.walmart.com/search?' + urlencode(payload) response = requests.get(walmart_search_url, headers=headers) 如果 response.status_code == 200: html_response = response.text soup = BeautifulSoup(html_response, "html.parser") script_tag = soup.find("script ", {"id": "__NEXT_DATA__"}) 如果 script_tag 不是 None: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) for product_list 中的产品] product_url_list.extend(product_urls) product_data = [extract_product_data(product) for product_list 中的产品] product_data_list.extend( product_data) 如果 len(product_urls) == 0: break except Exception as e: print('Error', e) print(product_url_list) print(product_data_list)

该脚本将输出两个列表。 product_url_list 将包含每个产品的 URL，并且 product_data_list 将包含包含每个产品的产品数据（名称、描述、图像 URL、平均评分和评论数）的字典。