importeer json importeer verzoeken van bs4 importeer BeautifulSoup van urllib.parse importeer urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?' )[0] headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2 zoals Mac OS X) AppleWebKit/605.1.15 (KHTML, zoals Gecko) Mobile/15E148"} product_url_list = [] keyword = 'ipad' voor pagina in bereik(1, 26): probeer: payload = {'q': keyword, 'sort': 'best_seller', 'page': page, 'affinityOverride': 'default'} walmart_search_url = 'https ://www.walmart.com/search?' + urlencode(payload) response = requests.get(walmart_search_url, headers=headers) if response.status_code == 200: html_response = response.text soup = BeautifulSoup(html_response, "html.parser") script_tag = soup.find("script ", {"id": "__NEXT_DATA__"}) als script_tag niet Geen is: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) voor product in product_list] product_url_list.extend(product_urls) if len(product_urls) == 0: break behalve Uitzondering als e: print ('Fout', e) print(product_url_list)

De uitvoer is een lijst met product-URL's.

Stap 2: Walmart-productgegevens schrappen

Het Walmart-zoekverzoek retourneert ook veel meer informatie dan alleen de product-URL's. U kunt ook de productnaam, prijs, afbeeldings-URL, beoordeling en het aantal beoordelingen van de JSON-blob ophalen. Afhankelijk van welke gegevens u nodig heeft, hoeft u mogelijk niet elke productpagina op te vragen, omdat u de gegevens uit de zoekresultaten kunt halen.

Om de productgegevens uit de lijst te extraheren, kunt u een functie als deze gebruiken:

def extract_product_data(product): return { 'url': create_walmart_url(product), 'name': Gebaseerd op de informatie die ik heb gevonden, is hier een Python-script dat Walmart.com schraapt voor productinformatie. Het script genereert een lijst met product-URL's en haalt vervolgens productgegevens uit elke URL. Houd er rekening mee dat dit script alleen werkt voor maximaal 25 pagina's met zoekresultaten per zoekopdracht vanwege de beperkingen van Walmart. Als u meer gegevens wilt verzamelen, moet u uw query's wijzigen of de sorteerparameters wijzigen. Hier is het Python-script: ```python import json import requests from bs4 import BeautifulSoup from urllib.parse import urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?')[0] def extract_product_data(product): return { 'url': create_walmart_product_url(product), 'name': product.get('name', ''), 'description': product.get('beschrijving', ''), 'image_url': product.get('image', ''), 'average_rating': product['rating'].get('averageRating'), 'number_reviews': product['rating'].get('numberOfReviews'), } headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2 zoals Mac OS X) AppleWebKit/605.1.15 (KHTML, zoals Gecko) Mobile/15E148"} product_url_list = [] product_data_list = [] # Walmart-zoekwoord trefwoord = 'ipad' # Loop door Walmart-pagina's totdat er geen producten meer zijn voor pagina in bereik(1, 5): probeer: payload = {'q': trefwoord, 'sort': 'best_seller', 'page': page, 'affinityOverride': 'default'} walmart_search_url = 'https://www.walmart.com/search?' + urlencode(payload) response = requests.get(walmart_search_url, headers=headers) if response.status_code == 200: html_response = response.text soup = BeautifulSoup(html_response, "html.parser") script_tag = soup.find("script ", {"id": "__NEXT_DATA__"}) als script_tag niet Geen is: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) voor product in product_list] product_url_list.extend(product_urls) product_data = [extract_product_data(product) voor product in product_list] product_data_list.extend( product_data) if len(product_urls) == 0: break behalve uitzondering als e: print('Error', e) print(product_url_list) print(product_data_list)

Dit script zal twee lijsten uitvoeren. product_url_list zal de URL's van elk product bevatten, en product_data_list bevat woordenboeken met productgegevens (naam, beschrijving, afbeeldings-URL, gemiddelde beoordeling en aantal beoordelingen) voor elk product.