Come recuperare dati da Google Maps: la guida API non ufficiale

Con oltre 200 milioni di aziende elencate e oltre 1 miliardo di utenti mensili, Google Maps è diventato una fonte indispensabile di dati sulla posizione. Questa guida ti insegnerà come estrarre valore da Google Maps su larga scala utilizzando il web scraping.

Introduzione

Google Maps fornisce una vasta gamma di dati: nomi di aziende, indirizzi, numeri di telefono, orari di apertura, recensioni dei clienti, immagini, metriche di popolarità in tempo reale e altro ancora. Questi dati possono fornire informazioni chiave sulla concorrenza per ricerche di mercato, lead generation, pubblicità mirata e servizi basati sulla posizione.

Sebbene Google fornisca un'API di Maps, è limitata a 100,000 richieste gratuite al mese con richieste aggiuntive che costano $ 7 per 1000. Per progetti di scraping più grandi, questo può diventare proibitivo. Il web scraping offre un'alternativa flessibile e a basso costo per accedere ai dati di Google Maps su larga scala.

Considerazioni legali ed etiche

Il web scraping di dati pubblici online è generalmente considerato legale ai sensi della legge statunitense come il Computer Fraud and Abuse Act. Tuttavia, assicurati di rispettare i Termini di servizio di Google che vietano lo scraping eccessivo, dannoso o che elude i loro sistemi. Uno scraping troppo aggressivo può far bloccare il tuo indirizzo IP.

Raccogli solo dati pertinenti alle tue esigenze e non ripubblicare i contenuti copiati alla lettera. Google Maps contiene informazioni personali come email e numeri di telefono che devono essere resi anonimi o pseudonimizzati prima dell'archiviazione e dell'analisi.

L'adesione ai principi etici aiuta a garantire che il tuo web scraping apporti valore alla società. Il Codice Etico ACM è un'eccellente guida per le pratiche informatiche responsabili.

Il valore dei dati di Google Maps

Ecco alcune statistiche chiave che mostrano l'enorme quantità di dati disponibili su Google Maps:

• Oltre 200 milioni di aziende elencate su Google Maps a livello globale nel 2021
• Oltre 1 miliardo di utenti attivi mensili di Google Maps in tutto il mondo
• Milioni di recensioni, immagini, orari di apertura e altri dati sulle attività commerciali
• Metriche di popolarità in tempo reale per oltre 10 milioni di luoghi in tutto il mondo
• Archivi storici di immagini Street View risalenti a oltre 15 anni fa

Sbloccare questi dati su larga scala può fornire una potente intelligence competitiva per decisioni basate sui dati.

Superare le sfide della raschiatura

Google utilizza sistemi avanzati di rilevamento dei bot per prevenire l'abuso dei propri servizi. Ecco alcune tecniche per evitare di rimanere bloccati durante la raschiatura:

• Automazione del browser Selenium – Imita le azioni reali dell'utente come lo scorrimento e il clic automatizzando un browser reale come Chrome. Più resistente al rilevamento dei bot rispetto alle richieste.
• Proxy – Ruota diversi indirizzi IP per distribuire le richieste e mascherare l'attività di scraping. I servizi proxy come BrightData offrono migliaia di IP.
• Captcha Risolvere – Google utilizza reCAPTCHA v2 su Maps che richiede la risoluzione manuale delle sfide visive. Strumenti come Anti-Captcha possono aiutare ad automatizzarlo.
• Dati puliti – I dati raschiati contengono incoerenze e duplicati che necessitano di pulizia prima dell'analisi. Tempo di budget per la discussione dei dati.

Con gli strumenti e le tecniche giusti, queste sfide possono essere superate per accedere ai dati di Google Maps su larga scala.

Raschiare Google Maps con il selenio

Ecco una guida passo passo per raschiare Google Maps utilizzando Selenium e Python:

Installa i pacchetti richiesti

pip install selenium pandas numpy regex pymongo

Driver di installazione

from selenium import webdriver

driver = webdriver.Chrome()

Configura proxy e opzioni secondo necessità.

Cerca luoghi

driver.get("https://www.google.com/maps/search/restaurants+in+Los+Angeles")

Estrazione dei dati

Utilizza i selettori di elementi per estrarre i campi chiave:

places = driver.find_elements(By.CLASS_NAME, "section-result")

names = [place.find_element(By.CLASS_NAME, "section-result-title").text for place in places]

addresses = [place.find_element(By.CLASS_NAME, "section-result-location").text for place in places]

place_urls = [place.find_element(By.CSS_SELECTOR, "a.section-result-action-icon").get_attribute("href") for place in places]

Vai alla pagina del luogo

Fai clic in ciascun luogo per raccogliere dati aggiuntivi come le recensioni:

for url in place_urls:
    driver.get(url)

    reviews = driver.find_elements(By.CLASS_NAME, "section-review-text")

Ruota continuamente i proxy

Per effettuare operazioni di scraping su larga scala, i proxy devono essere sottoposti a cicli per evitare il rilevamento:

from brightdata.brightdata_service import BrightDataService

resolver = BrightDataService.create_proxy_resolver() 

while True:
    driver.quit()
    driver = webdriver.Chrome(resolver=resolver)
    driver.get(next_url)

Ciò consente di raschiare migliaia di posizioni in modo affidabile.

Raschiando tempi popolari

Google fornisce dati sulla popolarità in tempo reale dei luoghi tramite un endpoint API. Una risposta di esempio:

"popularTimes": [
  {
   "day": 0,
   "data": [  
     {"hour": 8, "percent": 24},
     {"hour": 9, "percent": 100},  
     {"hour": 10, "percent": 88},
   ]
  }
] 

Il campo percentuale contiene la metrica dell'attività live compresa tra 0 e 100. Ecco come estrarlo in Python:

import requests
import pandas as pd

api_url = place_url + "/data/details/json" 

times_data = requests.get(api_url).json()["popularTimes"] 

df = pd.DataFrame(times_data)[["day","hour","percent"]]

La visualizzazione di questi dati può rivelare modelli settimanali.

Raschiare immagini

Le pagine dei luoghi contengono gallerie di immagini che possono essere raschiate:

images = driver.find_elements(By.CLASS_NAME, "section-image")

image_urls = [img.get_attribute("src") for img in images]

I dati sulla posizione come latitudine e longitudine sono codificati negli URL.

Archiviazione dei dati su larga scala

Per gli scraper di grandi dimensioni, MongoDB è un'ottima scelta per l'archiviazione rispetto ai CSV o ai fogli Excel. Alcune migliori pratiche:

• Utilizza lo schema del documento NoSQL per consentire flessibilità quando i campi cambiano
• Crea indici sui campi su cui esegui query come nomi di attività commerciali o sedi
• Codifica i dati geografici come punti anziché indirizzi per la ricerca geospaziale
• Pianifica backup regolari poiché lo scraping accumula dati nel tempo

Ecco un esempio di codice di inserimento:

from pymongo import MongoClient

client = MongoClient()
db = client["google_maps"]
places = db["places"] 

post = {
    "name": name,
    "url" : url,
    "address": address,
    "location": {
        "type": "Point",  
        "coordinates": [lat, lng]
    },
    "images" : image_urls
}

places.insert_one(post)

Analisi e visualizzazione

Una volta raccolti i dati, il valore reale deriva dall'analisi e dalla visualizzazione. Ecco alcuni esempi:

L'analisi avanzata fornisce informazioni sulla concorrenza per guidare le decisioni aziendali.

Casi d'uso

I dati raschiati di Google Maps consentono potenti servizi basati sulla posizione:

• Ricerca di mercato – Confronta la popolarità e il sentiment della concorrenza in diverse località
• lead Generation – Crea elenchi di e-mail e telefonici mirati per la sensibilizzazione
• Selezione del sito – Ottimizza le nuove posizioni in base ai dati demografici e al traffico pedonale
• Pubblicità – Creare campagne pubblicitarie iperlocali basate sui movimenti dei clienti
• Previsione della domanda – Prevedere il traffico in negozio per ottimizzare il personale nei fine settimana
• Logistica – Traccia percorsi ottimali per le consegne in base ai dati sul traffico in tempo reale

Questi sono solo alcuni esempi di come i dati di Google Maps recuperati dal web possono favorire l'innovazione e la crescita.

Conclusione

Mentre Google Maps fornisce un'API gratuita limitata, il web scraping offre l'accesso completo ai dati della mappa su larga scala. Con un utilizzo responsabile, queste tecniche consentono a individui e organizzazioni di sfruttare la potenza dei dati basati sulla posizione per ottenere un vantaggio competitivo.

Le informazioni mondiali mappate: sono là fuori. Adesso vai a prenderlo!