In qualità di esperto esperto di web scraping, mi sono imbattuto più e più volte in problemi di blocco dei proxy. Non posso sottolineare abbastanza quanto sia fondamentale la corretta rotazione dei proxy per il successo del web scraping su larga scala.
In questa guida completa di oltre 3000 parole, approfondiremo le strategie ottimali di rotazione dei proxy per evitare blocchi e raschiare in modo efficiente.
Perché la rotazione proxy è essenziale per il Web Scraping
Ricapitoliamo rapidamente perché i proxy sono necessari nel web scraping.
Quando effettui lo scraping di un sito Web, colpisci i suoi server con centinaia o migliaia di richieste automatizzate in un breve lasso di tempo. Questo modello di traffico altamente sospetto viene facilmente rilevato dal sito di destinazione.
Per identificare e bloccare gli scraper, la maggior parte dei siti Web utilizza protezioni come:
- Limitazione della velocità IP – Limita il numero di richieste che un IP può effettuare in un periodo di tempo
- captcha – Presenta una sfida per confermare che sei umano
- blocchi IP – Vieta il tuo indirizzo IP se rilevato come un raschiatore
Ora, se non utilizzi proxy, tutto il traffico dello scraper proviene da un singolo IP residenziale o data center.
Non ci vorrà molto prima che il tuo IP raggiunga un limite di velocità o venga bloccato completamente.
In base alla mia esperienza, ecco cosa succede quando si esegue lo scraping da un singolo IP:
Dopo shavasana, sedersi in silenzio; saluti; 50-100 richieste, probabilmente raggiungerai un limite di velocità e dovrai rallentare fino a 1 richiesta ogni 10+ secondi. Ciò riduce drasticamente la velocità di raschiatura.
Dopo shavasana, sedersi in silenzio; saluti; 200-500 richieste, c'è un'alta probabilità che venga attivato un captcha per confermare che non sei un bot. La risoluzione manuale dei captcha riduce la velocità di raschiatura.
Dopo shavasana, sedersi in silenzio; saluti; 500-1,000 richieste, probabilmente il tuo IP verrà bloccato completamente. Game Over.
Come puoi vedere, è impossibile raschiare un numero significativo di pagine senza proxy.
È qui che entra in gioco la rotazione dei proxy.
La rotazione del proxy significa distribuire le richieste del tuo scraper su più indirizzi IP utilizzando server proxy. Ciò ti consente di:
Evita che tutto il traffico provenga da un IP che può essere facilmente contrassegnato per lo scraping.
Aumenta il numero di richieste rimanendo al di sotto dei limiti di velocità del sito di destinazione.
Continua a eseguire lo scraping anche se alcuni proxy vengono bloccati sostituendoli rapidamente.
Consentitemi di condividere un esempio reale che dimostra perché la rotazione dei proxy è fondamentale.
Recentemente sono stato assunto per recuperare 50,000 elenchi di prodotti da un sito di e-commerce. Senza proxy, ecco cosa è successo:
Circa 500 richieste, ho iniziato a premere captcha e ritardi di 5 secondi tra le richieste. Il raschiamento rallentò fino a gattonare.
A 2000 richieste il mio IP è stato completamente bloccato dal sito. La raschiatura è stata interrotta.
Ora sono passato alla rotazione di soli 5 proxy residenziali, ecco i risultati:
Ogni proxy ha effettuato circa 500 richieste prima di dover rallentare per evitare i captcha.
Nessun proxy è stato bloccato poiché ho continuato a passare a un nuovo IP.
Ho recuperato con successo tutti i 50,000 elenchi distribuendo il carico tra i proxy.
Questo esempio reale mostra chiaramente come la rotazione dei proxy possa fare la differenza tra l'eliminazione di poche centinaia di pagine e di decine di migliaia.
In base alla mia esperienza, la rotazione dei proxy lo è obbligatorio per qualsiasi operazione seria di web scraping.
Successivamente, diamo un'occhiata ad alcune strategie intelligenti di rotazione dei proxy che dovresti utilizzare.
Strategie di rotazione per procura
Esistono diversi modelli di rotazione proxy comprovati che possono ottimizzare le prestazioni di scraping. Alcuni approcci popolari includono:
Round Robin
Questo metodo scorre l'elenco degli IP proxy in sequenza.
Ad esempio con 3 proxy:
Request 1 -> Proxy 1
Request 2 -> Proxy 2
Request 3 -> Proxy 3
Request 4 -> Proxy 1
Request 5 -> Proxy 2La rotazione round robin garantisce la distribuzione delle richieste in modo abbastanza uniforme su tutti i proxy. Impedisce di riutilizzare ripetutamente lo stesso proxy.
Lo svantaggio principale è che se un proxy viene bloccato, continuerà a essere selezionato in ogni rotazione.
Sulla base dei miei test, il round robin funziona decentemente con un pool di medie dimensioni di 5-10 proxy sani.
Procura casuale
Questa strategia seleziona un proxy completamente casuale dal pool per ogni richiesta.
Request 1 -> Proxy 3
Request 2 -> Proxy 2
Request 3 -> Proxy 5
Request 4 -> Proxy 1
Request 5 -> Proxy 8 La selezione casuale dei proxy fornisce la completa imprevedibilità nel modo in cui vengono utilizzati i proxy. I siti hanno difficoltà a rilevare eventuali schemi con rotazione casuale.
Il rischio è che la randomizzazione a volte può far sì che lo stesso proxy venga scelto ripetutamente per caso. Per evitare ciò sono necessari abili algoritmi di randomizzazione.
Ho scoperto che la rotazione casuale dei proxy funziona meglio con pool più grandi di 15-25+ proxy.
Basato sulle prestazioni
Metodi più avanzati tengono traccia del tasso di successo/fallimento dei proxy e scelgono i proxy di conseguenza.
Ad esempio, i proxy che si imbattono in captcha o blocchi vengono utilizzati meno, mentre i proxy ad alte prestazioni vengono utilizzati di più.
Ciò richiede una certa logica per rilevare gli errori del proxy e conservare le statistiche su ciascun proxy. Ma ci garantisce di massimizzare l'uso di proxy "sani".
Nella mia esperienza, la rotazione basata sulle prestazioni produce i migliori risultati ma richiede uno sforzo di codifica maggiore per l'implementazione.
Coerenza della proprietà intellettuale
Alcuni siti raschiano le impronte digitali rilevando incoerenze IP nelle sessioni utente.
Ad esempio, se durante una sessione di un singolo utente il sito vede richieste da IP diversi, è un segnale di allarme per lo scraping.
La rotazione della coerenza IP garantisce che ciascun proxy gestisca tutto il traffico per una singola sessione utente. Quindi il sito di destinazione vede IP coerenti per ciascun utente.
Questa tecnica è utile quando si esegue lo scraping di siti con sessioni utente fortemente monitorate come social media ed e-commerce.
Suggerimento esperto
"Una trappola comune è la rotazione dei proxy troppo velocemente. Cambiare IP a ogni richiesta è spesso eccessivo. In genere, ruoto gradualmente dopo ogni 50-100 richieste per proxy. Ciò evita modelli di impronta che possono sembrare sospetti."
Non importa quale strategia di rotazione usi, è importante ruotare gradualmente e non in modo troppo aggressivo. I siti potrebbero rilevare la commutazione IP iperfrequente come un'impronta di graffio.
Ora diamo un'occhiata ad alcuni suggerimenti chiave per ottimizzare la rotazione del proxy...
Migliori pratiche per la rotazione dei proxy
Attraverso numerosi tentativi ed errori, ho identificato alcune best practice per la rotazione dei proxy:
Ruota per sottorete proxy
Molti proxy provengono dagli stessi intervalli di sottoreti di grandi provider come Luminati o Smartproxy.
La rotazione casuale può far sì che i proxy appaiano in sequenza se provengono dalla stessa sottorete.
Request 1 -> 123.45.67.89 (Subnet A)
Request 2 -> 123.45.67.93 (Subnet A again!) Gli IP ripetuti dallo stesso intervallo di sottorete sono un chiaro indizio per lo scraping.
Assicurati di ruotare attivamente tra diverse sottoreti e provider proxy. Non scegliere mai due proxy di fila dalla stessa sottorete.
Utilizza un sano mix di tipi di proxy
Non mettere tutte le uova nello stesso paniere. Utilizza un mix di:
- Datacenter – Velocità più elevate. Rischio di blocco a causa dell'uso intenso del raschiatore.
- Residenziale – Più lento ma appare più "umano". Disponibilità limitata.
- Mobile – Apparire come utenti mobili. Molti siti non supportano completamente i dispositivi mobili.
Trovare il giusto equilibrio tra i tipi di proxy garantisce di avere angoli coperti se un pool di proxy viene sovraccaricato o bloccato.
Disabilita proxy non riusciti
Anche con una rotazione robusta, alcuni proxy inizieranno inevitabilmente a fallire con blocchi e captcha.
Disabilita temporaneamente i proxy che restituiscono eventuali errori o blocchi. Ciò dà loro la possibilità di "rinfrescarsi" e reimposta il loro stato con il sito di destinazione.
Puoi periodicamente testare nuovamente i proxy disabilitati per vedere se sono stati ripristinati.
Aggiungi ritardi
L'inserimento di ritardi casuali tra le richieste aiuta a garantire che il traffico di scraping appaia più umano ed evita limiti di tasso di abuso.
Il mio approccio tipico è aggiungere ritardi randomizzati di 1-3 secondi ogni 5-10 richieste.
Puoi anche rilevare segnali di limitazione come le sfide captcha e aumentare dinamicamente i ritardi.
Ruota i paesi
Se stai prendendo di mira siti specifici per paese, assicurati di utilizzare proxy effettivamente situati in quel paese.
Ad esempio, quando eseguo lo scraping di un sito incentrato sugli utenti del Regno Unito, mi assicuro di ruotare i proxy residenziali e dei data center situati nel Regno Unito.
La rotazione basata sulla geografia aiuta a integrarsi come utente locale che effettua richieste.
Suggerimento esperto
"Un trucco intelligente che consiglio è quello di modificare leggermente l'agente utente con ogni rotazione del proxy. Ciò aggiunge un'altra variabile che impedisce al sito di destinazione di profilare e rilevare facilmente il tuo scraper."
Diventa creativo aggiungendo piccole modifiche come la rotazione dell'agente utente per mascherare ulteriormente le impronte digitali del raschietto.
Implementazione della rotazione proxy in Python
Ora che abbiamo esplorato le strategie di rotazione dei proxy, diamo un'occhiata a un esempio di implementazione Python.
Per prima cosa definiremo un elenco di proxy disponibili:
proxies = [
‘104.45.147.53:8080‘,
‘45.15.62.230:8123‘,
‘177.36.45.82:3128‘,
# etc
]Successivamente, abbiamo bisogno della logica per ruotare effettivamente questo elenco. Useremo Python random libreria per scegliere un proxy casuale per ogni richiesta:
import random
def get_random_proxy():
return random.choice(proxies)Per evitare di scegliere lo stesso proxy due volte, possiamo tenere traccia del proxy utilizzato in precedenza e randomizzarlo nuovamente finché non ne otteniamo uno nuovo:
last_proxy = None
def get_random_proxy():
proxy = random.choice(proxies)
while proxy == last_proxy:
proxy = random.choice(proxies)
last_proxy = proxy
return proxy Ora possiamo passare il proxy ruotato nel file requests modulo:
import requests
# Rotate proxy
proxy = get_random_proxy()
# Make request with rotated proxy
requests.get(‘http://example.com‘, proxies={‘http‘: proxy, ‘https‘: proxy})Questo ci fornisce una configurazione di base della rotazione del proxy in poche righe!
Successivamente diamo un'occhiata a un rotatore proxy più avanzato che incorpora alcune migliori pratiche...
import random
from time import sleep
# Proxy list
proxies = [
{‘ip‘: ‘104.45.147.53:8080‘, ‘country‘: ‘US‘, ‘subnet‘: ‘147‘},
{‘ip‘: ‘45.15.62.230:8123‘, ‘country‘: ‘CA‘, ‘subnet‘: ‘62‘},
# etc
]
# Tracking variables
last_proxy = None
last_subnet = None
disabled_proxies = []
def get_proxy():
# Remove disabled proxies
global proxies
proxies = [p for p in proxies if p[‘ip‘] not in disabled_proxies]
# Weight random selection
proxy_weights = []
for proxy in proxies:
if proxy[‘country‘] == ‘US‘:
# Prefer US proxies
weight = 100
else:
# Lower weight for non-US
weight = 50
if proxy[‘subnet‘] == last_subnet:
# Lower weight if same subnet
weight -= 20
# Apply weight
proxy_weights.extend([proxy]*weight)
# Pick weighted random proxy
proxy = random.choice(proxy_weights)
# Avoid immediate subnet repeat
while proxy[‘subnet‘] == last_subnet:
proxy = random.choice(proxy_weights)
# Rotate subnet
last_subnet = proxy[‘subnet‘]
# Optional delay
sleep(1)
return proxy[‘ip‘]
# Usage:
proxy = get_proxy()
try:
response = requests.get(‘http://example.com‘, proxies={‘http‘: proxy, ‘https‘: proxy})
# Success - do nothing
except:
# Failure - disable proxy
disabled_proxies.append(proxy) Questo ci dà un rotatore più robusto con:
- Ponderazione proxy
- Rimozione dei proxy falliti
- Rotazione della sottorete
- Ritardo tra le richieste
Esistono molte altre ottimizzazioni come le integrazioni con le API del gestore proxy che possono migliorare ulteriormente le prestazioni.
Sfruttare le API proxy per la rotazione
Gestire autonomamente la rotazione dei proxy può richiedere molto tempo. Le API proxy astraggono la gestione dei proxy e rendono l'integrazione perfetta.
Alcune API proxy degne di nota da verificare:
Luminati – La più grande rete proxy a pagamento con oltre 72 milioni di IP. Ideale per operazioni di raschiatura estremamente grandi. Costi minimi intorno ai $ 500 al mese.
Oxylab – Offre 3 milioni di proxy tra tipologie residenziali, datacenter e mobili. I prezzi partono da $ 300 al mese per 1 milione di richieste.
proxy intelligente – Specializzato in proxy residenziali backconnect con 40 milioni di IP. I piani partono da $ 75 al mese per 5 GB di traffico.
GeoSurf – Ottimo per il targeting di nicchia con proxy in oltre 50 paesi. I piani residenziali partono da $ 290 al mese.
Microfoglie – API proxy residenziale budget a partire da $ 85 al mese per 1 milione di richieste.
ScrapeOps – API proxy intelligente con rotazione integrata e risoluzione CAPTCHA. I piani partono da $ 299 al mese per 1 milione di richieste.
Il vantaggio principale delle API è l'integrazione semplificata e la possibilità di ottenere proxy istantaneamente senza lunghe configurazioni. La maggior parte gestisce l'ottimizzazione dell'utilizzo del proxy dietro le quinte.
Ad esempio, ecco uno script che utilizza l'API proxy ScrapeOps per eseguire lo scraping di un sito:
import scrapeops
api = scrapeops.API()
for page in range(1, 100):
url = f‘http://site.com/page/{page}‘
html = api.get_html(url)
# Parse html
L'API elimina tutta la gestione dei proxy e fornisce HTML pulito da qualsiasi pagina.
Per progetti di scraping più ampi, sfruttare un'API proxy dedicata può far risparmiare enormi tempi di sviluppo rispetto alla gestione autonoma dei proxy.
Considerazioni finali
I proxy sono obbligatori per qualsiasi operazione seria di web scraping. In poche parole: niente deleghe, niente scraping.
Assicurati di utilizzare più proxy e di implementare una solida strategia di rotazione come round robin, ponderata in base alle prestazioni o casuale.
Segui le migliori pratiche come la rotazione delle sottoreti, la disabilitazione dei proxy non riusciti, l'aggiunta di ritardi e la combinazione di tipi di proxy.
Una rotazione proxy attenta e ponderata ti consentirà di effettuare operazioni su vasta scala senza preoccuparti di blocchi IP o captcha.
Spero che questa guida fornisca una panoramica completa delle tecniche ottimali per la rotazione dei proxy nei tuoi progetti di web scraping. Fammi sapere se hai altri suggerimenti sulla rotazione dei proxy!
