import json импортировать запросы из bs4 import BeautifulSoup из urllib.parse import urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?' )[0] headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2, например Mac OS X) AppleWebKit/605.1.15 (KHTML, например Gecko) Mobile/15E148"} product_url_list = [] ключевое слово = 'ipad' для страницы в диапазоне (1, 26): try: payload = {'q': ключевое слово, 'sort': 'best_seller', 'page': страница, 'affinityOverride': 'default'} walmart_search_url = 'https ://www.walmart.com/search?' + urlencode(полезная нагрузка) response = request.get(walmart_search_url, headers=headers) if response.status_code == 200: html_response = response.text суп = BeautifulSoup(html_response, "html.parser") script_tag = суп.найти("скрипт ", {"id": "__NEXT_DATA__"}), если script_tag не равен None: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) для продукта в product_list] product_url_list.extend(product_urls) if len(product_urls) == 0: разбить, кроме Исключения как e: print («Ошибка», e) печать (product_url_list)

Результатом будет список URL-адресов продуктов.

Шаг 2. Сбор данных о продуктах Walmart

Запрос Walmart Search также возвращает гораздо больше информации, чем просто URL-адреса продуктов. Вы также можете получить название продукта, цену, URL-адрес изображения, рейтинг и количество отзывов из большого двоичного объекта JSON. В зависимости от того, какие данные вам нужны, вам может не потребоваться запрашивать каждую страницу продукта, поскольку вы можете получить данные из результатов поиска.

Чтобы извлечь данные о продукте из списка, вы можете использовать такую ​​функцию:

def extract_product_data(product): return { 'url': create_walmart_url(product), 'name': На основе информации, которую я нашел, вот скрипт Python, который очищает Walmart.com для получения информации о продукте. Сценарий создает список URL-адресов продуктов, а затем извлекает данные о продуктах из каждого URL-адреса. Обратите внимание, что этот сценарий работает только для 25 страниц результатов поиска на запрос из-за ограничений Walmart. Если вам нужно очистить больше данных, вам нужно будет изменить свои запросы или изменить параметры сортировки. Вот скрипт Python: ```python import json import request from bs4 import BeautifulSoup from urllib.parse import urlencode def create_walmart_product_url(product): return 'https://www.walmart.com' + product.get('canonicalUrl', '').split('?')[0] def extract_product_data(product): return { 'url': create_walmart_product_url(product), 'name': product.get('name', ''), 'description': product.get('описание', ''), 'image_url': product.get('изображение', ''), 'average_rating': product['rating'].get('averageRating'), 'number_reviews': product['rating'].get('numberOfReviews'), } headers={"User-Agent": "Mozilla/5.0 (iPad; CPU OS 12_2, например Mac OS X) AppleWebKit/605.1.15 (KHTML, например Gecko) Mobile/15E148"} product_url_list = [] product_data_list = [] # Ключевое слово поиска Walmart keyword = 'ipad' # Циклический просмотр страниц Walmart до тех пор, пока больше не будет товаров для страницы в диапазоне (1, 5): try: payload = {'q': ключевое слово, 'sort': 'best_seller', 'page': страница, 'affinityOverride': 'default'} walmart_search_url = 'https://www.walmart.com/search?' + urlencode(полезная нагрузка) response = request.get(walmart_search_url, headers=headers) if response.status_code == 200: html_response = response.text суп = BeautifulSoup(html_response, "html.parser") script_tag = суп.найти("скрипт ", {"id": "__NEXT_DATA__"}), если script_tag не равен None: json_blob = json.loads(script_tag.get_text()) product_list = json_blob["props"]["pageProps"]["initialData"][" searchResult"]["itemStacks"][0]["items"] product_urls = [create_walmart_product_url(product) для продукта в product_list] product_url_list.extend(product_urls) product_data = [extract_product_data(product) для продукта в product_list] product_data_list.extend( product_data) if len(product_urls) == 0: перерыв, за исключением Исключение как e: print('Ошибка', e) print(product_url_list) print(product_data_list)

Этот скрипт выведет два списка. product_url_list будет содержать URL-адреса каждого продукта и product_data_list будет содержать словари с данными о продукте (название, описание, URL-адрес изображения, средний рейтинг и количество отзывов) для каждого продукта.