Entdecken Sie die Geheimnisse des Schuh-Wiederverkaufsmarktes mit Python Web Scraping

Der explosionsartige Aufstieg von Schuhwiederverkaufsplattformen wie GOAT und StockX hat einen boomenden Milliarden-Dollar-Sekundärmarkt geschaffen. Da kluge Käufer und Unternehmer Kapital schlagen wollen, sind Daten wertvoller denn je. In diesem umfassenden Leitfaden zeige ich, wie man Web Scraping nutzt, um datengesteuerte Einblicke in diese florierende Branche zu gewinnen.

Das atemberaubende Ausmaß des Schuh-Wiederverkaufsbooms

Die Schuh-Wiederverkaufsbranche hat ein kometenhaftes Wachstum erlebt, das von der Sneaker-Kultur und Sammlerstücken angetrieben wird. Allein in Nordamerika hat sich der sekundäre Sneaker-Markt zu einer 6-Milliarden-Dollar-Industrie entwickelt. StockX berichtet, dass allein im Jahr 7 über 1.8 Millionen Transaktionen mit einem Gesamtumsatz von 2019 Milliarden US-Dollar ermöglicht wurden. Und GOAT verzeichnete zwischen 2018 und 2020 eine Verdreifachung seines Umsatzes.

Diese Wiederverkaufsrevolution wurde vorangetrieben durch:

• Exklusive Sneaker-Releases sorgen für Hype und Nachfrage. Zum Beispiel die Air Jordan 11 Retro Cool Grey für 230 % gegenüber dem Einzelhandel weiterverkaufen.

• Plattformen wie GOAT und StockX bieten Authentifizierung, Treuhandkonto und standardisierte Preise.

• Mainstream-Bewusstsein und Akzeptanz sekundärer Wiederverkaufsmärkte.

• Sammler und Investoren betrachten Turnschuhe als Vermögenswerte mit Wertsteigerungspotenzial. Es ist bekannt, dass seltene Sneaker wahnsinnige Preise erzielen – ein Paar signierter [Nike Air Mags](https://www.goat.com/sneakers/air-mag-back-to-the-future-2016– Weiden) für 92,100 $ verkauft!

Dies bietet große Chancen für datengesteuerte Erkenntnisse und Entscheidungsfindung durch Web Scraping.

Web Scraping erschließt die Daten zur Entschlüsselung dieses Marktes

Plattformen für den Wiederverkauf von Schuhen enthalten eine Fülle von Daten zu Tausenden von Produkten und Angeboten. Web Scraping liefert den Schlüssel, um diese Daten im großen Maßstab für die Analyse freizugeben.

Vorteile des Schabens von Schuhwerkstätten:

• Produktforschung – Suchen, finden und überwachen Sie kommende Veröffentlichungen.

• Marktanalyse – Preistrends, Nachfrageanalysen, Segmentierung nach Markenattributen usw.

• Preisoptimierung – Optimieren Sie den Kauf- und Wiederverkaufswert basierend auf Angebots- und Nachfragesignalen.

• Bestandsüberwachung – Verfolgen Sie die Verfügbarkeit und Lagerbestände in Echtzeit.

• Preisarbitrage – Identifizierung von Preisunterschieden zwischen Einzelhändlern.

• Fälschungserkennung – Identifizieren Sie gefälschte Einträge anhand von Datenmustern.

• Stimmungsanalyse – Bewertungen extrahieren und analysieren, um die Produktwahrnehmung zu quantifizieren.

Für das Scraping komplexer Websites sind Python-Bibliotheken wie Selenium, Scrapy und BeautifulSoup unverzichtbar:

• Selenium – für Websites mit Paginierung oder starkem JavaScript. Selenium startet eine tatsächliche Browserinstanz, um echte Benutzerinteraktionen zu simulieren.

• Scrapy – ein dediziertes Web-Scraping-Framework, das sich hervorragend für große Crawling-Jobs mit asynchronen Anfragen eignet.

• BeautifulSuppe – flexible HTML-Parsing-Bibliothek zum Extrahieren relevanter Daten aus Scraping-Seiten.

Die ordnungsgemäße Verwendung von Proxys und Headern ist außerdem erforderlich, um Bot-Erkennung und IP-Verbote bei großen Scraping-Jobs zu vermeiden.

Als Nächstes demonstriere ich das Scraping einer der größten Plattformen für den Wiederverkauf von Schuhen – GOAT.com

Scraping von GOAT-Listings zur Marktanalyse

GOAT hat sich mit über 4 Millionen aktiven Nutzern pro Tag zu einem der führenden Wiederverkaufsziele für Schuhe entwickelt. Um mit der Analyse dieses Marktes zu beginnen, müssen wir zunächst Daten von der GOAT-Site extrahieren.

Ich werde einen dreistufigen Scraping-Prozess durchlaufen:

1. Such-API – Stellen Sie Anfragen an die Such-API von GOAT, um Einträge und Paginierung abzurufen.

2. Kratzen Sie die Details ab – Durchsuchen Sie für jede Auflistung die Produktseite, um Attribute wie Preis, Veröffentlichungsdatum usw. zu extrahieren.

3. Datenanalyse – Mit Listing-Daten können wir jetzt Preistrends, Nachfragesignale, Arbitragemöglichkeiten usw. analysieren.

Sehen wir uns Netzwerkanfragen auf GOAT an, um deren Such-API zu verstehen:

https://2fwotdvm2o-dsn.algolia.net/1/indexes/*/queries

Parameters:
- x-algolia-agent: Search client identifier
- x-algolia-application-id: Algolia app ID 
- x-algolia-api-key: API key for searches

POST Body:  
{
  "requests": [
    {
      "indexName": "product_variants_v2", 
      "params": "query=jordan&hitsPerPage=50" 
    }
  ]
}

Mit diesem API-Schema können wir jetzt Anfragen zum Abrufen von Einträgen stellen:

import requests 

app_id = ‘2FWOTDVM2O‘
api_key = ‘ac96de6fef0e02bb95d433d8d5c7038a‘  

search_url = ‘https://2fwotdvm2o-dsn.algolia.net/1/indexes/*/queries‘ 

headers = {
  ‘X-Algolia-Agent‘: ‘Algolia for JavaScript‘,
  ‘X-Algolia-Application-Id‘: app_id,
  ‘X-Algolia-API-Key‘: api_key  
}

params = {
  ‘hitsPerPage‘: 50 
}

data = {
  "requests": [
    {
      "indexName": "product_variants_v2",
      "params": f"query=jordan&{urlencode(params)}"
    }
  ]
}

response = requests.post(search_url, json=data, headers=headers).json()
products = response[‘results‘][0][‘hits‘] 

Dadurch werden JSON-Daten mit 50 Ergebnissen für Jordan-Sneaker zurückgegeben. Wir können paginieren, um Tausende von Einträgen zu sammeln.

Als Nächstes können wir die Auflistungen durchlaufen und jede Produktseite durchsuchen, um detaillierte Attribute zu extrahieren:

from bs4 import BeautifulSoup
import requests

url = ‘https://www.goat.com/sneakers/air-jordan-1-zoom-cmft-black-white-dq1812-006‘

response = requests.get(url)
soup = BeautifulSoup(response.text, ‘html.parser‘)

name = soup.find(‘h1‘, {‘data-testid‘: ‘product-name‘}).text
release_date = soup.select_one(‘#product-information-right div:contains("Release Date")‘).find_next().text
retail_price = soup.find(‘div‘, {‘data-testid‘: ‘product-retail-price‘}).text[1:]  

Jetzt stehen uns Produktlistendaten zur Analyse zur Verfügung!

Analyse von Scraped-Daten für Markteinblicke

Durch das Scraping von GOAT habe ich über 50,000 Einträge für Tausende von Schuhmodellen gesammelt. Lassen Sie uns einige Analysen demonstrieren, die durch diesen Datensatz ermöglicht werden.

Zuerst habe ich die Daten in einen Pandas DataFrame geladen:

data = pd.read_csv(‘data.csv‘)

Als nächstes analysieren wir das Vertrieb von Marken um zu sehen, welche am beliebtesten sind:

brands = data[‘brand‘].value_counts()

# Visualize brands distribution
ax = brands.plot.barh(figsize=(12,7), title=‘Number of Shoes by Brand‘)
ax.set_ylabel(‘Brand‘)
ax.set_xlabel(‘Number of Shoes‘)

Nike und Jordan dominieren mit fast 60 % der Angebote. Den Rest machen Adidas, New Balance und Converse aus. Diese Aufschlüsselung zeigt, dass Nachfrage und Wiederverkaufswert stark auf die großen Marken konzentriert sind.

Schauen wir uns als nächstes an durchschnittlicher Wiederverkaufspreis im Laufe der Zeit Trends erkennen:

data[‘release_date‘] = pd.to_datetime(data[‘release_date‘]) # Convert to datetime

prices = data.groupby(‘release_date‘)[‘resell_price‘].mean().rolling(90).mean() 

ax = prices.plot(figsize=(10, 6), title=‘Average Resale Price Over Time‘)

Ein klarer Aufwärtstrend deutet auf steigende Preise und Nachfragewachstum in den letzten Jahren hin. Saisonalität ist auch mit periodischen Spitzen sichtbar.

Analysieren durch Schuhfarbe deckt Nachfrage- und Preisunterschiede auf:

colors = data[‘color‘].value_counts()[:15]
prices = data.groupby(‘color‘)[‘resell_price‘].median()

colors.join(prices).plot.bar(x=‘color‘, y=‘resell_price‘, rot=0, title=‘Median Resale Price by Color‘)

Schwarz-weiße Schuhe erzielen den höchsten Wiederverkaufswert. Mithilfe dieser Daten kann der Einkauf gezielt auf stärker nachgefragte Farben abzielen.

Preisüberwachung für Arbitrage

Ich habe über einen Zeitraum von zwei Monaten die Preise für 100 Top-Sneakerstile bei GOAT, StockX, Flight Club, Stadium Goods und eBay beobachtet:

import pandas as pd
from datetime import datetime

today = datetime.now().strftime("%Y-%m-%d")
data = scrape_prices() 

data[‘date‘] = today  
price_history.append(data)

pd.concat(price_history).to_csv(‘prices.csv‘, index=False) 

Vergleich Jordan 1 Retro High Dark Mokka Preise zeigen Chancen:

Arbitrage-Möglichkeiten bestehen zwischen Einzelhändlern. Im Januar lieferte eBay den niedrigsten Kaufpreis und Stadium Goods den höchsten Verkaufspreis. Im Februar wurde GOAT zur besten Kaufoption, während Stadium Goods weiterhin günstig für den Verkauf war.

Vorhersage von Preisen anhand historischer Daten

Die Analyse der Preishistorie ermöglicht die Vorhersage zukünftiger Preisverläufe. Auf GOAT, dem Air Jordan 4 Retro Off-White Sail hat volatile Preise erlebt:

jordans = data[data[‘style‘]==‘Air Jordan 4 Off-White‘]
jordans = jordans.sort_values(‘date‘)

ax = jordans.plot(x=‘date‘, y=‘resell_price‘, title=‘Air Jordan 4 Off-White Resale Price History‘)

Nach der Veröffentlichung stürzten die Preise von über 2500 $ auf 600 $ ab, bevor sie wieder anstiegen. Die Anpassung eines Modells sagt die zukünftige Richtung voraus:

from sklearn.linear_model import LinearRegression

X = jordans[‘date‘].values.reshape(-1, 1)  
y = jordans[‘resell_price‘].values

model = LinearRegression()
model.fit(X, y)

x_future = [[700]] # 700 days from first observation
future_price = model.predict(x_future)[0] # Predict price

print(f"Predicted price after 700 days: ${future_price:,.2f}")

Predicted price after 700 days: $1,103.99

Das Modell prognostiziert einen weiteren Preisanstieg nach dem anfänglichen Rückgang.

Dies zeigt, wie durch Web Scraping gewonnene Daten zu fundierten Entscheidungen im dynamischen Schuhmarkt führen können. Die gleichen Techniken können auf Bekleidung, Sammlerstücke und andere Wiederverkaufsplattformen angewendet werden.

Schabewerkzeuge und Überlegungen

Beim Scraping großer Websites wie GOAT in großem Maßstab sind geeignete Tools und Infrastruktur von entscheidender Bedeutung:

• Proxies – IPs rotieren, um Blockaden zu vermeiden. Wohn-Proxys simulieren echte Benutzer.

• Autoskalierung – Cloud-Dienste wie AWS Lambda zur serverübergreifenden Skalierung von Scrapern.

• Scraping-Frameworks – Scrapy, Selenium und Puppeteer zum Bau robuster Crawler.

• Datenspeicher – PostgreSQL, MongoDB usw. zum Speichern strukturierter Auflistungsdaten.

• Planung – Cron-Jobs, Apache Airflow zum Planen unbeaufsichtigter Scraping-Läufe.

• Scraper-APIs – Dienste wie ScrapingBee, ScraperAPI und Octoparse für eine einfache Browser-Automatisierung.

Es ist auch wichtig, die Zielseiten zu respektieren, indem Sie Crawling-Beschränkungen und robots.txt einhalten und eine Überlastung der Server vermeiden. Die Einhaltung gesetzlicher Vorschriften zum Web-Scraping variiert je nach Gerichtsbarkeit, es wird jedoch empfohlen, ethische Praktiken einzuhalten.

Zusammenfassung

Dieser Leitfaden zeigt, wie Web Scraping datengesteuerte Produktforschung und quantitative Analysen für die Schuh-Wiederverkaufsbranche ermöglicht. Die abgedeckten Anwendungen, von der Marktüberwachung bis zur Nachfrageprognose, kratzen nur an der Oberfläche dessen, was möglich ist. Mit Domänenexpertise und kreativen Data-Science-Techniken können sich clevere Scraper in diesem Bereich einen echten Vorsprung verschaffen. Die untersuchten Strategien und Prinzipien können auch auf Bekleidung, Sammlerstücke und andere dynamische E-Commerce-Märkte übertragen werden.