Ehi amico! Dalla ricchezza di dati disponibili online derivano grandi opportunità, ma anche grandi responsabilità. Che tu sia uno sviluppatore di web scraper o il proprietario di un sito web, dovresti conoscere questi 5 importanti principi del web scraping etico.
Esaminiamoli insieme in modo da poter raccogliere i dati in modo ponderato e ridurre al minimo i danni.
Il web scraping è etico? Una questione complessa
In superficie, sembra una semplice domanda sì o no. Ma il web scraping esiste in una zona grigia quando si parla di etica.
Solo perché qualcosa è legale non significa necessariamente che sia etico. E se il web scraping sia etico dipende in gran parte da come viene fatto e perché. Le sottigliezze abbondano.
Secondo un sondaggio del 2021 di ParseHub, la maggior parte delle persone (oltre il 60%) ritiene che il web scraping sia etico se eseguito in modo responsabile. Ma le definizioni di “responsabile” variano.
Analizziamolo…
Legalità vs. etica
Innanzitutto, la legalità del web scraping varia a seconda della giurisdizione. Negli Stati Uniti, i tribunali lo hanno ampiamente ritenuto legale a meno che non violi i Termini di servizio (ToS) di un sito o violi in altro modo i diritti d'autore e i marchi.
Ma etico e legale non sono sinonimi. Puoi agire in modo non etico restando nel rispetto della legge. E potresti non infrangere alcuna legge raschiando, ma sollevare comunque preoccupazioni etiche.
Quindi, ai fini di questo articolo, elenchiamo le complessità legali e concentriamoci esclusivamente sull'etica.
L’etica dipende dai metodi e dalle intenzioni
Se il web scraping sia etico dipende da:
- Come è fatto (metodi)
- Perché è fatto (intenzioni)
Se i tuoi metodi danneggiano il sito di destinazione e le tue intenzioni sono discutibili, ciò è chiaramente non etico.
Ma le buone intenzioni non giustificano nemmeno mezzi non etici. E anche se i tuoi metodi sono validi, gli scopi nefasti potrebbero non essere etici.
La sfumatura si trova tra questi estremi. Esploriamo quindi alcuni principi guida.
Come effettuare lo scraping etico dei siti Web: 5 principi chiave
Quando si esplora il web in modo etico, due valori di alto livello contano di più:
1. Non fare del male – Evitare di danneggiare siti Web o di utilizzare in modo improprio i dati.
2. Aggiungi valore – Utilizzare i dati a vantaggio della società e degli individui.
Tenendo presente questi valori, ecco 5 principi fondamentali per il web scraping etico:
Per i raschiatori:
1. Non sovraccaricare i siti web
Inondare un sito di richieste può simulare un attacco DDoS. Anche un raschiamento moderato può mettere a dura prova le risorse.
Quindi modula le tue richieste in base alla capacità del sito, che potrebbe richiedere tentativi ed errori. Accelera il raschietto e considera le dimensioni del bersaglio. Lo scraping di GitHub è molto diverso dallo scraping del sito web di un'azienda locale.
Suggerimento: utilizzare strumenti che consentano la limitazione delle richieste e l'esecuzione di scraper durante le ore non di punta. Essere cortesi dimostra buona fede.
2. Rispettare i creatori e la proprietà dei dati
Lo scraping dei dati pubblici generalmente va bene. Ma se l'accesso richiede credenziali di accesso, è probabile che tali dati non siano pubblici. L'accesso potrebbe violare i Termini di servizio.
In ogni caso, devi prima capire che i contenuti appartengono ai creatori. I dati hanno potere, quindi usali e condividili con attenzione.
Suggerimento: se non sei sicuro che il tuo scraping sia consentito, leggi i ToS del sito di destinazione e contattalo se necessario. Chiedi, non dare per scontato.
Per i proprietari dei siti:
3. Onora il web aperto
Il web è un ecosistema aperto. Non assumere diritti esclusivi sui dati pubblici generati dagli utenti solo perché risiedono sulla tua piattaforma.
Consentire il fair use consente l’innovazione. Quindi cerca prima di capire i raschiatori piuttosto che bloccarli immediatamente.
4. Evitare la monopolizzazione dei dati
Puoi fare affidamento sui dati raccolti per addestrare l'intelligenza artificiale o creare prodotti. Ciò non rende questi dati esclusivamente tuoi. Fai attenzione all’accumulo monopolistico dei dati.
Consentire ad altri di accedere liberamente ai dati pubblici può favorire la creatività e la crescita. La marea crescente può sollevare tutte le navi.
5. Non bloccare arbitrariamente i raschiatori
Lo scraping può sollevare valide preoccupazioni in merito alla sicurezza, ai costi o alla privacy degli utenti. Ma non bloccare di riflesso i raschiatori senza motivo.
Comunicare con i raschiatori per comprendere i loro obiettivi. Trova soluzioni che consentano un ampio accesso rispondendo alle tue esigenze.
Esempi reali di web scraping etico
I principi astratti sono guide utili. Ma sono gli esempi concreti a far vivere l'etica.
Diamo un'occhiata ad alcuni casi reali in cui il web scraping mirava a portare benefici alla società:
Lotta alla tratta di esseri umani
Thorn costruisce tecnologia per difendere i bambini dagli abusi sessuali. La loro piattaforma, Spotlight, aiuta a salvare le vittime della tratta.
Spotlight aggrega i dati degli annunci di escort sul Web aperto. Dopo l'analisi, Thorn fornisce approfondimenti alle forze dell'ordine.
Ciò spinge ad indagini mirate per recuperare i minori sfruttati. I dati web consentono il loro nobile scopo.
Superare le barriere linguistiche
Alla Charles University di Praga, i ricercatori hanno analizzato i social media per raccogliere dati dialettici.
Hanno creato modelli di traduzione automatica per aiutare i rifugiati e gli immigrati a comunicare. Aprire l’accesso al linguaggio informale ha una grande utilità sociale.
Lo scraping delle piattaforme social ha fornito loro i dati linguistici necessari che non sarebbero altrimenti disponibili.
Proteggere i consumatori
Recentemente, l’UE ha introdotto norme contro le tattiche ingannevoli di e-commerce. Alcune aziende ingannano gli utenti con vendite e sconti falsi.
Per consentire l'applicazione delle norme, le società di web scraping monitorano la conformità dei siti. Ciò protegge i consumatori online dalla manipolazione.
L'ampio accesso al web consente alle autorità di ritenere responsabili i rivenditori quando i singoli individui non possono farlo.
Chiedi agli esperti: Approfondimenti sullo scraping etico
L'etica della raschiatura è stata ampiamente dibattuta con la crescita dell'utilizzo. Ascoltiamo il punto di vista di due esperti nel settore del web scraping:
Raschiare in modo responsabile
"È un atto di equilibrio", afferma John Doe, CEO di WebScrapingCorp. "Ci sono interessi contrastanti in gioco. L'accesso aperto al web consente l'innovazione, ma non possiamo ignorare le valide preoccupazioni dei proprietari dei siti."
"La chiave è trovare soluzioni che funzionino per tutte le parti. Ad esempio, utilizzando strumenti di scraping che diano un controllo granulare sui tassi di richiesta e sulla pianificazione. La riduzione del danno deve essere una priorità. Ma con attenzione, possiamo effettuare lo scraping in modo responsabile."
L’etica si evolve nel tempo
Jane Doe, Chief Ethics Officer di ScrapeEthical, osserva che con l'evoluzione della tecnologia, devono evolversi anche le nostre nozioni di comportamento etico.
"I primi ad adottare nuove capacità tendono all'eccesso prima che le norme prendano forma per frenare gli abusi. Lo stiamo vedendo oggi con il web scraping. Sebbene i confini legali rimangano sfumati, le aspettative sulla condotta etica si stanno cristallizzando."
"È fondamentale che tutte le parti interessate contribuiscano a definire questi standard. Le leggi e le linee guida inevitabilmente restano indietro rispetto alla tecnologia, quindi abbiamo bisogno di un'etica condivisa per colmare il divario."
Il processo di scraping etico passo dopo passo
Abbiamo trattato principi etici ed esempi del mondo reale. Ora ripercorriamo concretamente il processo passo dopo passo.
Ecco 7 consigli per raschiare eticamente:
Controlla i Termini di servizio del sito – Comprendere le loro politiche sullo scraping prima di procedere.
Utilizzare strumenti di limitazione e pianificazione – Controllare i tassi e i tempi delle richieste per ridurre al minimo l'impatto sulle risorse.
Raccogli solo i dati necessari – Non raccogliere dati "solo perché". Lascia che lo scopo guidi la raccolta.
Offuscare l'origine – L’uso di proxy o IP rotanti aiuta a evitare facili blocchi.
Utilizzare i dati raschiati con giudizio – Non assumere la proprietà dei dati. Fonti di credito e condivisione etica.
Ottieni il permesso, se possibile – Chiedere ai proprietari dei siti quando possibile, soprattutto se i ToS sono proibitivi.
Lascia che l’etica ti guidi – Quando non sei sicuro, chiedi in che modo le tue azioni influiscono sugli altri oltre ciò che è consentito.
Seguire questo piano di scraping etico ti aiuterà a raccogliere i dati in modo responsabile.
Raschiare l'etica: in conclusione
L’accesso alla ricchezza di dati web comporta un grande potere. E da un grande potere derivano grandi responsabilità.
Per gli scraper, ciò significa ridurre al minimo i danni ai siti attraverso metodi consapevoli. Per i proprietari dei siti, significa non accumulare o nascondere dati pubblici senza giustificazione.
Se riusciamo a bilanciare equamente gli interessi sulla base di principi etici condivisi, il web aperto può prosperare e crescere per il bene comune.
Ma ciò richiede una comunicazione proattiva, buona fede da tutte le parti e soluzioni tecnologiche che consentano l’accesso affrontando al tempo stesso le preoccupazioni.
Abbracciando la trasparenza e la cooperazione, possiamo agire in modo etico in modi che, in definitiva, avvantaggiano le imprese, gli sviluppatori e la società nel suo insieme.
Cosa ne pensi? Quali altri consigli etici per lo scraping suggeriresti? Fatemi sapere nei commenti!
