L'estrazione dei dati di prodotto da Amazon può essere estremamente preziosa per una vasta gamma di applicazioni, dalle ricerche di mercato al monitoraggio della concorrenza. Sebbene Amazon disponga di un'API per la pubblicità dei prodotti, presenta limiti di tariffa, richiede l'approvazione e costa denaro. Un'alternativa è recuperare i dati dei prodotti Amazon direttamente dal sito web.
In questa guida completa, esamineremo i passaggi chiave e le considerazioni per estrarre le informazioni sui prodotti Amazon tramite il web scraping.
Panoramica sullo scraping dei dati di prodotto Amazon
Il web scraping implica l'estrazione programmatica di dati dai siti web. Se eseguito in modo etico e legale, consente di raccogliere grandi volumi di dati da siti come Amazon.
Scraping Amazon può fornire tutti i tipi di informazioni sul prodotto, tra cui:
- Titolo
- URL del prodotto
- Prezzo
- Immagini
- Valutazioni e recensioni
- Domande e risposte
- Descrizione
- Funzionalità dell'elenco puntato
- Varianti (taglia, colore, ecc.)
- Disponibilità
- Nome del venditore
- Categoria/albero di navigazione
Questi dati possono quindi essere esportati in un foglio di calcolo, un database o una piattaforma di analisi. Lo scraping di Amazon apre possibilità come:
- Monitoraggio dei prezzi della concorrenza
- Ricerche di mercato sulle tendenze dei prodotti
- Alla scoperta degli articoli più venduti in una nicchia
- Analisi del sentiment sulle recensioni
- Monitoraggio dell'inventario
- Ricerca di prodotti in dropshipping
- Costruire un database di prodotti
- E altro ancora!
È legale raschiare Amazon?
Una prima domanda importante è se lo scraping di Amazon sia effettivamente legale. La risposta breve è sì, nella maggior parte dei casi.
Il web scraping rientra in una zona grigia dal punto di vista legale ma è generalmente consentito a queste condizioni:
- Raccogli dati accessibili pubblicamente (ad esempio non dietro un login o un paywall)
- Non violi i Termini di servizio del sito web di destinazione
- Non rubi proprietà intellettuale o materiale protetto da copyright
- Non sovraccaricare i server del sito Web con un numero irragionevole di richieste
I Termini di servizio di Amazon non vietano esplicitamente il web scraping. Finché si esegue lo scraping in modo responsabile e si aderisce a una ragionevole etichetta di scraping, l’estrazione dei dati Amazon elencati pubblicamente non è illegale.
Detto questo, Amazon dispone di misure tecniche per rilevare e bloccare gli scraper. Pertanto è necessario prestare particolare attenzione per raschiare efficacemente senza rimanere bloccati.
Strumenti per raschiare Amazon
Esistono alcuni strumenti diversi che puoi utilizzare per acquisire dati da Amazon:
Librerie di web scraping come BeautifulSoup e Scrapy di Python ti consentono di scrivere raschiatori personalizzati ma richiedono conoscenze di programmazione.
Estensioni del browser come Octoparse e ParseHub offrono GUI punta e clicca per estrarre i dati dalle pagine di Amazon in fogli di calcolo. Tuttavia, questi sono limitati a frammenti di una sola pagina.
Raschiatori pronti all'uso come il Raschietto per prodotti Amazon su Apify consentono lo scraping completamente automatizzato di interi cataloghi Amazon senza codice richiesto. Ma fornisce meno capacità di personalizzazione.
API di web scraping commerciali come ScrapeStorm e ScraperAPI gestiscono la gestione e la rotazione dei proxy per te, ma costano per chiamata API.
Per la maggior parte dei casi d'uso, uno scraper standard come Apify o una libreria di scraping web offre il miglior equilibrio tra personalizzazione e facilità d'uso durante lo scraping di Amazon.
Passaggio 1: ottieni un elenco di ASIN o URL di prodotti
ASIN sta per Amazon Standard Identification Number. È l'ID univoco di Amazon assegnato a ciascun prodotto.
Per ottenere informazioni dettagliate sul prodotto, è necessario prima un elenco di ASIN o URL di prodotto. Ci sono un paio di modi per ottenere questo:
Compila manualmente – Copia/incolla o esporta ASIN dalla categoria Amazon e dalle pagine di ricerca.
Siti di semina – Elimina gli ASIN dai siti che elencano prodotti Amazon come Camelcamelcamel.
Analizza HTML – Raccogli gli ASIN direttamente dalle pagine delle categorie Amazon.
Per i progetti di scraping Amazon di grandi dimensioni, l'analisi degli ASIN direttamente dalle pagine delle categorie Amazon è l'approccio migliore. Ciò significa raschiare gli URL delle categorie ed estrarre gli ASIN o i collegamenti ai prodotti dall'HTML.
La maggior parte degli URL dei prodotti Amazon seguono questa struttura:
https://www.amazon.com/dp/ASINQuindi puoi analizzare l'ASIN dal percorso del prodotto, quindi scorrere le pagine delle categorie impaginate per creare un elenco di base di URL/ASIN.
Passaggio 2: raschiare le pagine dei prodotti
Con un elenco di ASIN o URL di prodotti a portata di mano, puoi scorrere ciascuno di essi ed estrarre i dati desiderati da ciascuna pagina di prodotto.
Utilizza uno strumento come Apify o una libreria Python come BeautifulSoup per analizzare l'HTML ed estrarre dettagli del prodotto come:
- Titolo
- Descrizione
- Funzionalità dell'elenco puntato
- Prezzi
- Valutazioni
- Immagini
- Disponibilità
- Opzioni di variante
Per i prezzi, assicurati di estrarre il valore numerico effettivo, ovvero 29.99, e non il prezzo formattato come $ 29.99. Ciò semplifica l'analisi e il confronto in seguito.
Le immagini possono essere scaricate sul tuo server oppure puoi salvare i collegamenti URL di Amazon S3 in un foglio di calcolo.
Per ottenere recensioni, cancella la sezione delle recensioni o il conteggio delle recensioni, ma evita di cancellare le informazioni personali dei revisori come i nomi.
Passaggio 3: archivia i dati Amazon raschiati
Con il tuo raschietto che estrae le informazioni desiderate da ciascuna pagina di prodotto, ti consigliamo di archiviare questi dati da qualche parte per ulteriori analisi e utilizzi.
JSON è un buon formato standard per salvare i dati Amazon raschiati. Da lì può essere caricato in un database o aperto in Excel.
Per set di dati più grandi, un database come MongoDB è più efficiente del caricamento nei fogli di calcolo.
Benne S3 su piattaforme cloud come AWS forniscono spazio di archiviazione conveniente per set di dati raschiati che possono raggiungere i terabyte.
Passaggio 4: pulire e strutturare i dati
I dati grezzi raschiati contengono inevitabilmente incoerenze, problemi di formattazione, valori mancanti, ecc.
Per creare un database di prodotti Amazon utilizzabile:
- Rimuovi le voci duplicate
- Standardizza i prezzi in un unico formato numerico
- Convalida e formatta campi come ASIN e URL dei prodotti
- I campi combinati divisi come le valutazioni contano rispetto alla valutazione media
- Compila o rimuovi i campi mancanti
Utilizza la libreria Pandas di Python o OpenRefine per gli script di pulizia e trasformazione dei dati.
Per una facile analisi in Excel, assicurati che i dati dei tuoi prodotti Amazon siano stati raschiati:
- Ha un prodotto per riga
- Utilizza colonne separate per tutti gli attributi (titolo, valutazione, prezzo ecc.)
- Rimuove spazi, virgole e caratteri aggiuntivi dalle celle
I dati ben strutturati semplificano l'ordinamento, il filtraggio e l'orientamento del set di dati Amazon per scoprire informazioni approfondite.
Passaggio 5: analizza e monitora i dati di Amazon
Ora la parte divertente... cosa puoi fare con un database di dati strutturati sui prodotti Amazon?
Monitoraggio dei prezzi – Grafico dei prezzi nel tempo per identificare sconti e tendenze.
Monitoraggio della concorrenza – Controllare i prezzi e i livelli di inventario della concorrenza.
Amazon SEO – Identifica i prodotti di alto livello nella tua nicchia.
Ricerche di mercato – Filtra i prodotti più votati e più venduti per categoria.
Previsione della domanda – Prevedere le vendite in base al numero di recensioni e alle valutazioni.
Ricerca per parole chiave – Analizzare titoli, caratteristiche e descrizioni dei prodotti.
Il re-scraping e l'aggiornamento regolari del tuo set di dati Amazon consentono tutti i tipi di importanti analisi di e-commerce.
Suggerimenti avanzati per raschiare Amazon in modo efficace
Ecco alcuni suggerimenti professionali per evitare blocchi ed estrarre i dati da Amazon in modo efficiente:
Limita il tasso di richiesta – Effettua lo scraping in modo responsabile ed evita di bombardare i server.
Monitora le prestazioni – Controlla la limitazione della velocità e i CAPTCHA.
Usa i proxy – Ruota diversi IP per distribuire le richieste.
Randomizza gli user agent – Utilizza una varietà di intestazioni desktop e mobili.
Riprovare le richieste non riuscite – Gestire con garbo errori e tentativi.
Parallelizzare la raschiatura – Apri più connessioni per velocizzare l'estrazione dei dati.
Applica filtri – Raccogliere solo i dati rilevanti per ridurre al minimo l'elaborazione.
Risultati dell'impaginazione – Passa attraverso ciascuna pagina di elenco dei prodotti.
Utilizza la memorizzazione nella cache – Salva temporaneamente i dati raschiati per evitare una nuova raschiatura.
Ottieni il massimo dal tuo scraper e crea flussi di lavoro robusti ed efficienti per l'estrazione dei dati Amazon.
Pratiche di scraping legali ed etiche
Sebbene lo scraping dei dati dei prodotti Amazon sia legale nella maggior parte dei casi, dovresti comunque seguire pratiche responsabili di web scraping:
Rispetta robots.txt – Evita di raschiare le pagine bloccate da robots.txt
Controlla i Termini di servizio – Conferma che il tuo caso d'uso è consentito.
Limitare la frequenza dello scraping – Distribuire le richieste su durate più lunghe.
Raschiare selettivamente – Non estrarre più dati del necessario.
Dati di attributo – Citare Amazon come fonte.
Proteggi i dati – Archiviare e gestire i dati in modo sicuro.
È consigliabile consultare un consulente legale esperto prima di qualsiasi progetto di web scraping su larga scala. Ma aderire a limiti ragionevoli ed etici contribuirà notevolmente a mantenere la tua Amazon al di sopra dei limiti.
Conclusione
La rimozione delle schede dei prodotti su Amazon fornisce l'accesso a una miniera d'oro di dati di e-commerce. Seguire i passaggi descritti in questa guida ti aiuterà a estrarre con successo informazioni da Amazon per ricerca, monitoraggio, applicazioni di data science e altro ancora, il tutto senza bisogno dell'API ufficiale dei prodotti Amazon.
Come sempre durante lo scraping del web, assicurati di eseguire lo scraping in modo etico, monitorare le prestazioni e utilizzare tecniche come i proxy per evitare blocchi. Con un po' di abilità tecnica e di buone pratiche, il catalogo di Amazon è a tua disposizione.
Ora disponi di tutti gli strumenti e le conoscenze necessarie per raccogliere e sfruttare i dati dei prodotti Amazon su larga scala. Quindi vai avanti e gratta!
