import json bs4 からリクエストをインポート urllib.parse から BeautifulSoup をインポート import urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?' )[0] headers={"User-Agent": "Mozilla/5.0 (iPad; Mac OS X のような CPU OS 12_2) AppleWebKit/605.1.15 (Gecko のような KHTML) Mobile/15E148"} product_url_list = [] キーワード = range(1, 26) のページの 'ipad': try: payload = {'q': キーワード、'sort': 'best_seller'、'page': ページ、'affinityOverride': 'default'} walmart_search_url = 'https ://www.walmart.com/search?」 + urlencode(ペイロード) 応答 =requests.get(walmart_search_url, headers=headers) if response.status_code == 200: html_response = response.text スープ = BeautifulSoup(html_response, "html.parser") script_tag =Soup.find("script ", {"id": "__NEXT_DATA__"}) script_tag が None でない場合: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [product_list 内の製品の create_walmart_product_url(product)] product_url_list.extend(product_urls) if len(product_urls) == 0: e: print として例外を除いてブレーク('エラー', e) print(product_url_list)

出力は製品 URL のリストになります。

ステップ 2: ウォルマートの商品データをスクレイピングする

Walmart Search リクエストは、製品の URL だけでなく、さらに多くの情報も返します。 製品名、価格、画像 URL、評価、レビュー数も JSON BLOB から取得できます。 必要なデータによっては、検索結果からデータを取得できるため、各商品ページをリクエストする必要がない場合があります。

リストから製品データを抽出するには、次のような関数を使用できます。

def extract_product_data(product): return { 'url': create_walmart_url(product), 'name':私が見つけた情報に基づいて、Walmart.com から製品情報を収集する Python スクリプトを次に示します。 スクリプトは製品 URL のリストを生成し、各 URL から製品データを抽出します。 Walmart の制限により、このスクリプトはクエリごとに最大 25 ページの検索結果に対してのみ機能することに注意してください。 さらに多くのデータを収集する必要がある場合は、クエリを変更するか、並べ替えパラメーターを変更する必要があります。 Python スクリプトは次のとおりです。 ```python import json importrequests from bs4 import BeautifulSoup from urllib.parse import urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?')[0] def extract_product_data(product): return { 'url': create_walmart_product_url(product), 'name': product.get('name', ''), 'description': product.get('description', ''), 'image_url': product.get('image', ''), 'average_rated': product['評価'].get('averageRating'), 'number_reviews': product['評価'].get('numberOfReviews'), } headers={"User-Agent": "Mozilla/5.0 (iPad; Mac OS X のような CPU OS 12_2) AppleWebKit/605.1.15 (Gecko のような KHTML) Mobile/15E148"} product_url_list = [] product_data_list = [] # ウォルマート検索キーワード キーワード = 'ipad' # range(1, 5) 内のページの製品がなくなるまでウォルマート ページをループします: try: payload = {'q':キーワード、'sort': 'best_seller'、'page': ページ、'affinityOverride': 'default'} walmart_search_url = 'https://www.walmart.com/search?' + urlencode(ペイロード) 応答 =requests.get(walmart_search_url, headers=headers) if response.status_code == 200: html_response = response.text スープ = BeautifulSoup(html_response, "html.parser") script_tag =Soup.find("script ", {"id": "__NEXT_DATA__"}) script_tag が None でない場合: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [product_listの製品のcreate_walmart_product_url(product)] product_url_list.extend(product_urls) product_data = [product_listの製品のextract_product_data(product)] product_data_list.extend( product_data) if len(product_urls) == 0: eとして例外を除きブレーク: print('Error', e) print(product_url_list) print(product_data_list)

このスクリプトは XNUMX つのリストを出力します。 product_url_list 各製品の URL が含まれます。 product_data_list 各製品の製品データ (名前、説明、画像 URL、平均評価、レビュー数) を含む辞書が含まれます。