importar json solicitudes de importación de bs4 importar BeautifulSoup de urllib.parse importar urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?' )[0] headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2 como Mac OS X) AppleWebKit/605.1.15 (KHTML, como Gecko) Mobile/15E148"} product_url_list = [] palabra clave = 'ipad' para la página en el rango (1, 26): pruebe: carga útil = {'q': palabra clave, 'ordenar': 'best_seller', 'página': página, 'affinityOverride': 'predeterminado'} walmart_search_url = 'https ://www.walmart.com/search?' + urlencode(carga útil) respuesta = solicitudes.get(walmart_search_url, headers=headers) if respuesta.status_code == 200: html_response = respuesta.text sopa = BeautifulSoup(html_response, "html.parser") script_tag = sopa.find("script ", {"id": "__NEXT_DATA__"}) si script_tag no es Ninguno: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) for product in product_list] product_url_list.extend(product_urls) if len(product_urls) == 0: romper excepto Excepción como e: imprimir ('Error', e) imprimir (product_url_list)

El resultado será una lista de URL de productos.

Paso 2: raspado de datos de productos de Walmart

La solicitud de búsqueda de Walmart también devuelve mucha más información que solo las URL de los productos. También puede obtener el nombre del producto, el precio, la URL de la imagen, la calificación y la cantidad de reseñas del blob JSON. Según los datos que necesite, es posible que no necesite solicitar la página de cada producto porque puede obtener los datos de los resultados de búsqueda.

Para extraer los datos del producto de la lista, puede usar una función como esta:

def extract_product_data(producto): return { 'url': create_walmart_url(producto), 'nombre':Basado en la información que encontré, aquí hay una secuencia de comandos de Python que raspa Walmart.com para obtener información del producto. El script genera una lista de URL de productos y luego extrae datos de productos de cada URL. Tenga en cuenta que este script solo funciona para hasta 25 páginas de resultados de búsqueda por consulta debido a las limitaciones de Walmart. Si necesita extraer más datos, deberá modificar sus consultas o cambiar los parámetros de clasificación. Aquí está el script de Python: ```python import json import request from bs4 import BeautifulSoup from urllib.parse import urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?')[0] def extract_product_data(producto): return { 'url': create_walmart_product_url(producto), 'name': product.get('name', ''), 'description': product.get('description', ''), 'image_url': product.get('image', ''), 'average_rating': product['rating'].get('averageRating'), 'number_reviews': product['rating'].get('numberOfReviews'), } headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2 como Mac OS X) AppleWebKit/605.1.15 (KHTML, como Gecko) Móvil/15E148"} product_url_list = [] product_data_list = [] # Palabra clave de búsqueda de Walmart palabra clave = 'ipad' # Recorra las páginas de Walmart hasta que no haya más productos para la página en el rango (1, 5): pruebe: carga útil = {'q': palabra clave, 'ordenar': 'best_seller', 'página': página, 'affinityOverride': 'predeterminado'} walmart_search_url = 'https://www.walmart.com/search?' + urlencode(carga útil) respuesta = solicitudes.get(walmart_search_url, headers=headers) if respuesta.status_code == 200: html_response = respuesta.text sopa = BeautifulSoup(html_response, "html.parser") script_tag = sopa.find("script ", {"id": "__NEXT_DATA__"}) si script_tag no es Ninguno: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) for product in product_list] product_url_list.extend(product_urls) product_data = [extract_product_data(product) for product in product_list] product_data_list.extend( product_data) if len(product_urls) == 0: interrupción excepto Excepción como e: print('Error', e) print(product_url_list) print(product_data_list)

Este script generará dos listas. product_url_list contendrá las URL de cada producto, y product_data_list contendrá diccionarios con datos del producto (nombre, descripción, URL de la imagen, calificación promedio y número de reseñas) para cada producto.