你好朋友！丰富的在线数据带来了巨大的机遇，但也带来了巨大的责任。无论您是网络抓取开发者还是网站所有者，您都应该了解道德网络抓取的这 5 个重要原则。
让我们一起了解一下它们，以便您可以深思熟虑地抓取数据并最大程度地减少伤害。
网络抓取是否道德？一个复杂的问题
从表面上看，这似乎是一个简单的是或否的问题。但就道德而言，网络抓取存在于灰色地带。
仅仅因为某件事是合法的并不一定意味着它是道德的。网络抓取是否合乎道德很大程度上取决于它的完成方式和原因。微妙之处比比皆是。
根据 ParseHub 2021 年的一项调查，大多数人（超过 60%）认为，如果负责任地进行，网络抓取是合乎道德的。但“负责任”的定义各不相同。
让我们来分解一下……
合法性与道德
首先，网络抓取的合法性因司法管辖区而异。在美国，法院基本上认为其合法，除非它违反网站的服务条款 (ToS) 或以其他方式侵犯版权和商标。
但道德和法律并不是同义词。您可以在遵守法律的情况下做出不道德的行为。而且，您的抓取行为可能不会违反法律，但仍然会引起道德问题。
因此，出于本文的目的，让我们列出法律的复杂性并纯粹关注道德。
道德取决于方法和意图
网络抓取是否合乎道德取决于：
- 是如何做到的（方法）
- 为什么这样做（意图）
如果您的方法损害了目标站点并且您的意图值得怀疑，那么这显然是不道德的。
但良好的意图也不能证明不道德的手段是正当的。即使你的方法是合理的，邪恶的目的也可能是不道德的。
细微差别介于这两个极端之间。因此，让我们探讨一些指导原则。
如何合乎道德地抓取网站：5 个关键原则
当以道德方式抓取网络时，两个高级价值观最重要：
1.不要伤害 – 避免损坏网站或滥用数据。
2.增值 – 利用数据造福社会和个人。
考虑到这些价值观，以下是道德网络抓取的 5 条核心原则：
对于刮刀：
1.不要让网站负担过重
向站点发送大量请求可以模仿 DDoS 攻击。即使是适度的抓取也会导致资源紧张。
因此，请根据站点的容量调整您的请求，这可能需要反复试验。调节刮刀速度并考虑目标的大小。抓取 GitHub 与抓取本地商业网站有很大不同。
提示：使用允许在非高峰时段限制请求和运行抓取工具的工具。礼貌是表现善意的表现。
2.尊重数据创造者和所有权
抓取公共数据通常是可以的。但如果访问需要登录凭据，则该数据可能不公开。访问它可能会违反服务条款。
无论哪种方式，首先要了解内容属于创作者。数据具有力量，因此请谨慎使用和共享数据。
提示：如果不确定您的抓取是否被允许，请阅读目标网站的服务条款并在需要时联系他们。询问，不要假设。
对于网站所有者：
3. 尊重开放网络
网络是一个开放的生态系统。不要仅仅因为用户生成的公共数据驻留在您的平台上而对其拥有专有权。
允许合理使用可以促进创新。因此，首先要了解抓取工具，而不是立即阻止它们。
4.避免数据垄断
您可以依靠抓取的数据来训练人工智能或构建产品。这并不意味着这些数据仅属于您。小心垄断性数据囤积。
让其他人自由访问公共数据可以促进创造力和成长。涨潮可以抬起所有船只。
5、不要随意堵塞刮刀
抓取可能会引起对安全、成本或用户隐私的合理担忧。但不要无缘无故地本能地阻止刮刀。
与抓取者沟通以了解他们的目标。寻找允许广泛访问同时满足您的需求的解决方案。
道德网络抓取的真实示例
抽象原则是有用的指导。但正是具体的例子让道德变得生动起来。
让我们看一些网络抓取旨在造福社会的真实案例：
打击人口贩运
索恩开发了保护儿童免受性虐待的技术。他们的平台 Spotlight 帮助拯救人口贩卖受害者。
Spotlight 聚合来自开放网络上的伴游广告的数据。经过分析后，索恩为执法部门提供了见解。
这推动了有针对性的调查，以找回被剥削的未成年人。网络数据实现了他们崇高的目的。
消除语言障碍
在布拉格查尔斯大学，研究人员通过社交媒体收集辩证数据。
他们建立了机器翻译模型来帮助难民和移民进行交流。开放非正式语言具有巨大的社会效用。
抓取社交平台为他们提供了无法通过其他方式获得的所需语言数据。
保护消费者
最近，欧盟出台了针对欺骗性电子商务策略的规则。一些公司通过虚假销售和折扣来欺骗用户。
为了实现强制执行，网络抓取公司会监控网站的合规性。这可以保护在线消费者免受操纵。
广泛的网络访问使当局可以在个人无法追究零售商责任的情况下追究零售商的责任。
询问专家：关于道德抓取的见解
随着使用量的增加，抓取道德已经引起了广泛的争论。让我们听听两位网络抓取行业专家的观点：
负责任地刮擦
“这是一种平衡行为，”说 李四，WebScrapingCorp 首席执行官。 “存在相互竞争的利益。开放的网络访问可以实现创新，但我们不能忽视网站所有者的合理担忧。”
“关键是找到适合各方的解决方案。例如，利用抓取工具对请求率和调度进行精细控制。减少危害必须是首要任务。但只要小心，我们就可以负责任地抓取。”
道德随着时间的推移而发展
李四ScrapeEthical 首席道德官指出，随着技术的发展，我们的道德行为观念也必须随之发展。
“在遏制滥用行为的规范形成之前，新功能的早期采用者往往会过度使用。我们今天通过网络抓取看到了这一点。尽管法律界限仍然模糊，但对道德行为的期望正在具体化。”
“所有利益相关者都必须帮助定义这些标准，这一点至关重要。法律和指导方针不可避免地落后于技术，因此我们需要共同的道德规范来填补这一空白。”
道德抓取过程分步进行
我们已经介绍了道德原则和现实世界的例子。现在让我们具体一步一步地过一遍该过程。
以下是道德抓取的 7 个提示：
检查网站的服务条款 – 在继续之前了解他们的抓取政策。
使用限制和调度工具 – 控制请求率和时间，以尽量减少资源影响。
仅抓取必要的数据 – 不要“仅仅因为”而收集数据。让目的引导收集。
混淆起源 – 使用代理或轮换 IP 有助于避免轻易被阻止。
明智地使用抓取的数据 – 不要承担数据所有权。信用来源并以道德方式分享。
如果可能的话获得许可 – 在可行的情况下询问网站所有者，尤其是在服务条款禁止的情况下。
让道德指导你 – 当不确定时，询问您的行为对他人的影响超出了允许的范围。
遵循这个道德抓取游戏计划将帮助您负责任地收集数据。
刮擦道德：结论
访问丰富的网络数据会带来巨大的力量。权力越大，责任越大。
对于抓取者来说，这意味着通过谨慎的方法最大限度地减少对网站的伤害。对于网站所有者来说，这意味着不要无理地囤积或隐藏公共数据。
如果我们基于共同的道德原则公平地平衡利益，开放网络就能为了共同利益而蓬勃发展和发展。
但这需要积极的沟通、各方的诚意以及在解决问题的同时开放准入的技术解决方案。
通过拥抱透明度和合作，我们可以以最终有利于企业、开发商和整个社会的方式在道德上进行努力。
你怎么认为？您还建议哪些其他道德抓取技巧？请在评论中告诉我！
