Hallo vriend! De rijkdom aan gegevens die online beschikbaar zijn, brengt grote kansen met zich mee, maar ook een grote verantwoordelijkheid. Of u nu een webscraper-ontwikkelaar of een website-eigenaar bent, u moet deze 5 belangrijke principes van ethisch webscrapen kennen.
Laten we ze samen doornemen, zodat u de gegevens zorgvuldig kunt verzamelen en de schade kunt minimaliseren.
Is webscrapen ethisch? Een complexe vraag
Op het eerste gezicht lijkt dit een simpele ja of nee-vraag. Maar webscrapen bevindt zich in een grijs gebied als het om ethiek gaat.
Het feit dat iets legaal is, betekent niet noodzakelijkerwijs dat het ethisch is. En of webscrapen ethisch is, hangt sterk af van hoe het wordt gedaan en waarom. Subtiliteiten zijn er in overvloed.
Volgens een onderzoek van ParseHub uit 2021 zijn de meeste mensen (meer dan 60%) van mening dat webscrapen ethisch is als het op een verantwoorde manier wordt gedaan. Maar de definities van ‘verantwoordelijk’ variëren.
Laten we het opsplitsen…
Legaliteit versus ethiek
Ten eerste verschilt de wettigheid van webscraping per rechtsgebied. In de VS hebben rechtbanken het grotendeels legaal geacht, tenzij het de Servicevoorwaarden (ToS) van een site schendt of anderszins inbreuk maakt op auteursrechten en handelsmerken.
Maar ethisch en juridisch zijn niet synoniem. U kunt onethisch handelen terwijl u binnen de wet blijft. En je mag geen wetten overtreden door te schrappen, maar toch ethische bezwaren oproepen.
Laten we dus voor de doeleinden van dit artikel de juridische complexiteiten op een rij zetten en ons puur op de ethiek concentreren.
Ethiek is afhankelijk van methoden en bedoelingen
Of webscraping ethisch verantwoord is, hangt af van:
- Hoe het wordt gedaan (methoden)
- Waarom het wordt gedaan (intenties)
Als uw methoden de doelsite beschadigen en uw bedoelingen twijfelachtig zijn, is dat duidelijk onethisch.
Maar goede bedoelingen rechtvaardigen ook geen onethische middelen. En zelfs als uw methoden deugdelijk zijn, kunnen snode doeleinden onethisch zijn.
De nuance ligt tussen deze uitersten in. Laten we daarom enkele leidende principes verkennen.
Hoe websites ethisch te schrapen: 5 sleutelprincipes
Bij het ethisch verkennen van het web zijn twee waarden op hoog niveau het belangrijkst:
1. Doe geen kwaad – Vermijd het beschadigen van websites of het misbruiken van gegevens.
2. Waarde toevoegen – Gebruik gegevens ten behoeve van de samenleving en individuen.
Met deze waarden in gedachten zijn hier vijf kernprincipes voor ethisch webscrapen:
Voor schrapers:
1. Overbelast websites niet
Het overspoelen van een site met verzoeken kan een DDoS-aanval nabootsen. Zelfs matig schrapen kan de hulpbronnen onder druk zetten.
Stem uw verzoeken dus af op basis van de capaciteit van de site, waarvoor mogelijk vallen en opstaan vereist is. Geef gas met uw schraper en houd rekening met de grootte van het doelwit. Het schrapen van GitHub is heel anders dan het schrapen van een lokale bedrijfswebsite.
Tip: Gebruik tools die het beperken van verzoeken en het uitvoeren van scrapers tijdens daluren mogelijk maken. Door hoffelijk te zijn, getuigt u van goede trouw.
2. Respecteer de makers en het eigendom van gegevens
Het schrapen van openbare gegevens is over het algemeen oké. Maar als voor toegang inloggegevens nodig zijn, zijn die gegevens waarschijnlijk niet openbaar. Als u er toegang toe krijgt, schendt u mogelijk de Servicevoorwaarden.
Hoe dan ook, begrijp eerst dat de inhoud van de makers is. Data hebben macht, dus gebruik en deel deze zorgvuldig.
Tip: Als u niet zeker weet of uw scraping is toegestaan, lees dan de servicevoorwaarden van de doelsite en neem indien nodig contact met hen op. Vraag, neem niet aan.
Voor site-eigenaren:
3. Eer het open web
Het web is een open ecosysteem. Ga er niet vanuit dat u de exclusieve rechten heeft op openbare gegevens die gebruikers genereren alleen maar omdat deze zich op uw platform bevinden.
Het toestaan van eerlijk gebruik maakt innovatie mogelijk. Probeer dus eerst de schrapers te begrijpen in plaats van ze onmiddellijk te blokkeren.
4. Vermijd datamonopolisering
U kunt vertrouwen op verzamelde gegevens om AI te trainen of producten te bouwen. Dat maakt deze gegevens niet alleen van jou. Wees voorzichtig met het monopolistische verzamelen van gegevens.
Anderen vrij toegang geven tot openbare gegevens kan creativiteit en groei bevorderen. Het opkomende tij kan alle schepen optillen.
5. Blokkeer de schrapers niet willekeurig
Schrapen kan terechte zorgen oproepen over de veiligheid, de kosten of de privacy van gebruikers. Maar blokkeer schrapers niet reflexmatig zonder reden.
Communiceer met schrapers om hun doelstellingen te begrijpen. Vind oplossingen die brede toegang mogelijk maken en tegelijkertijd aan uw behoeften voldoen.
Voorbeelden uit de praktijk van ethisch webscrapen
Abstracte principes zijn nuttige gidsen. Maar het zijn concrete voorbeelden die ethiek tot leven brengen.
Laten we eens kijken naar een paar echte gevallen waarin webscraping de samenleving ten goede kwam:
Bestrijding van mensenhandel
Thorn bouwt technologie om kinderen te beschermen tegen seksueel misbruik. Hun platform, Spotlight, helpt slachtoffers van mensenhandel te redden.
Spotlight verzamelt gegevens van escortadvertenties op internet. Na analyse biedt Thorn inzichten voor de rechtshandhaving.
Dit stimuleert gerichte onderzoeken om uitgebuite minderjarigen terug te vinden. Webgegevens maken hun nobele doel mogelijk.
Taalbarrières overbruggen
Aan de Charles Universiteit in Praag schrapten onderzoekers sociale media om dialectische gegevens te verzamelen.
Ze bouwden modellen voor automatische vertaling die vluchtelingen en immigranten hielpen met communiceren. Het openen van toegang tot informeel taalgebruik heeft een groot maatschappelijk nut.
Door sociale platforms te schrappen, kregen ze de benodigde taalkundige gegevens die anders niet beschikbaar waren.
Consumenten beschermen
Onlangs heeft de EU regels ingevoerd tegen misleidende e-commercetactieken. Sommige bedrijven misleiden gebruikers met valse verkopen en kortingen.
Om handhaving mogelijk te maken, controleren webscraping-bedrijven sites op naleving. Dit beschermt online consumenten tegen manipulatie.
Dankzij de brede toegang tot het internet kunnen autoriteiten detailhandelaren aansprakelijk stellen, terwijl individuele personen dat niet kunnen.
Vraag het aan de experts: Inzichten over ethisch schrapen
Over de schrap-ethiek wordt veel gedebatteerd naarmate het gebruik toeneemt. Laten we de perspectieven horen van twee experts in de webscraping-industrie:
Verantwoord schrapen
"Het is een evenwichtsoefening", zegt Yldemar Borotoche, CEO van WebScrapingCorp. "Er spelen concurrerende belangen. Open webtoegang maakt innovatie mogelijk, maar we kunnen de terechte zorgen van site-eigenaren niet negeren."
"De sleutel is het vinden van oplossingen die voor alle partijen werken. Bijvoorbeeld door gebruik te maken van scrapingtools die gedetailleerde controle geven over de aanvraagtarieven en planning. Schadebeperking moet een prioriteit zijn. Maar met zorg kunnen we op een verantwoorde manier schrapen."
Ethiek evolueert in de loop van de tijd
Jane Doe, Chief Ethics Officer bij ScrapeEthical, merkt op dat naarmate de technologie evolueert, dat ook geldt voor onze opvattingen over ethisch gedrag.
"Early adopters van nieuwe capaciteiten neigen naar excessen voordat normen vorm krijgen om misbruik te beteugelen. Dat zien we vandaag de dag met webscraping. Hoewel de juridische grenzen vaag blijven, kristalliseren de verwachtingen rond ethisch gedrag."
“Het is van cruciaal belang dat alle belanghebbenden deze normen helpen definiëren. Wetten en richtlijnen lopen onvermijdelijk achter op technologie, dus we hebben gedeelde ethiek nodig om de leemte op te vullen.”
Het ethische schraapproces stap voor stap
We hebben ethische principes en voorbeelden uit de praktijk besproken. Laten we het proces nu concreet stap voor stap doorlopen.
Hier zijn 7 tips voor ethisch schrapen:
Controleer de servicevoorwaarden van de site – Begrijp hun beleid inzake schrapen voordat u doorgaat.
Gebruik hulpmiddelen voor beperking en planning – Beheer de aanvraagsnelheid en -timing om de impact op de resources te minimaliseren.
Schraap alleen noodzakelijke gegevens – Verzamel geen gegevens ‘alleen maar omdat’. Laat het verzamelen doelgericht leiden.
Verduister de oorsprong – Het gebruik van proxy's of roterende IP's helpt gemakkelijke blokkering te voorkomen.
Gebruik geschraapte gegevens oordeelkundig – Ga niet uit van data-eigendom. Crediteer bronnen en deel ethisch.
Zorg indien mogelijk voor toestemming – Vraag site-eigenaren indien mogelijk, vooral als de servicevoorwaarden onbetaalbaar zijn.
Laat ethiek u leiden – Als u het niet zeker weet, vraag dan welke invloed uw acties op anderen hebben, afgezien van wat alleen is toegestaan.
Door dit ethische schrappingsplan te volgen, kunt u op verantwoorde wijze gegevens verzamelen.
Schrapende ethiek: tot slot
Toegang tot de rijkdom aan webgegevens brengt grote kracht met zich mee. En met grote macht komt een grote verantwoordelijkheid.
Voor scrapers betekent dit het minimaliseren van de schade aan sites door middel van bewuste methoden. Voor site-eigenaren betekent dit dat ze openbare gegevens niet zonder rechtvaardiging mogen hamsteren of verbergen.
Als we de belangen eerlijk tegen elkaar afwegen op basis van gedeelde ethische principes, kan het open web bloeien en groeien voor het algemeen belang.
Maar dit vereist proactieve communicatie, goede trouw aan alle kanten en technologische oplossingen die toegang bieden en tegelijkertijd zorgen wegnemen.
Door transparantie en samenwerking te omarmen, kunnen we ethisch schaven op een manier die uiteindelijk ten goede komt aan bedrijven, ontwikkelaars en de samenleving als geheel.
Wat denk je? Welke andere ethische schraaptips zou u voorstellen? Laat het me weten in de reacties!
