Amazon から製品データを抽出することは、市場調査から競合他社の監視に至るまで、さまざまな用途に非常に役立ちます。 Amazon には Product Advertising API がありますが、レート制限があり、承認が必要で、費用がかかります。別の方法は、Amazon 製品データを Web サイトから直接収集することです。
この包括的なガイドでは、Web スクレイピングを通じて Amazon 製品情報を抽出するための主要な手順と考慮事項を説明します。
Amazon商品データのスクレイピングの概要
Web スクレイピングには、Web サイトからプログラムによってデータを抽出することが含まれます。倫理的かつ合法的に実行すると、Amazon などのサイトから大量のデータを収集できるようになります。
Amazon をスクレイピングすると、次のようなあらゆる種類の製品情報が提供されます。
- 役職
- 商品のURL
- 価格
- 画像
- 評価とレビュー
- 質問と回答
- 説明
- 箇条書き機能
- バリエーション（サイズ、カラーなど）
- 商品在庫
- 売り手名
- カテゴリ/ツリーを参照
このデータは、スプレッドシート、データベース、または分析プラットフォームにエクスポートできます。 Amazon をスクレイピングすると、次のような可能性が広がります。
- 競合他社の価格監視
- 製品動向の市場調査
- ニッチな分野でのベストセラー商品の発掘
- レビューの感情分析
- 在庫監視
- ドロップシッピング製品の調査
- 製品データベースの構築
- そしてもっと多く！
Amazonをスクレイピングすることは合法ですか?
最初の重要な疑問は、Amazon のスクレイピングが実際に合法なのかどうかです。簡単に言うと、ほとんどの場合、「はい」です。
Web スクレイピングは法的にグレーゾーンに分類されますが、通常は次の条件下で許可されます。
- 公的にアクセス可能なデータをスクレイピングした場合 (ログインやペイウォールの背後にないデータなど)
- 対象の Web サイトの利用規約に違反していないこと
- 知的財産や著作権で保護された素材を盗んではなりません
- 不当な数のリクエストで Web サイトのサーバーに過負荷をかけない
Amazon の利用規約では、Web スクレイピングを明示的に禁止していません。責任を持ってスクレイピングし、合理的なスクレイピングエチケットに従っている限り、公開リストにある Amazon データを抽出することは違法ではありません。
そうは言っても、Amazon はスクレイパーを検出してブロックするための技術的対策を講じています。したがって、詰まらずに効果的にこするためには、特別な注意が必要です。
Amazonをスクレイピングするためのツール
Amazon からデータを収集するために使用できるツールがいくつかあります。
Webスクレイピングライブラリ Python の BeautifulSoup や Scrapy のように、カスタム スクレイパーを作成できますが、プログラミングの知識が必要です。
ブラウザの拡張機能 Octoparse や ParseHub などは、Amazon ページからデータをスプレッドシートに抽出するためのポイントアンドクリック GUI を提供します。ただし、これらは単一ページのスクレイピングに限定されます。
既製のスクレーパー のような アマゾン製品スクレーパー Apify では、コードを必要とせずに Amazon カタログ全体の完全に自動化されたスクレイピングが可能になります。ただし、カスタマイズ機能はあまりありません。
商用WebスクレイピングAPI ScrapeStorm や ScraperAPI などはプロキシ管理とローテーションを処理しますが、API 呼び出しごとにコストがかかります。
ほとんどのユースケースでは、Apify などの既製のスクレイパーや Web スクレイピング ライブラリを使用すると、Amazon をスクレイピングする際のカスタマイズと使いやすさの最適なバランスが得られます。
ステップ 1: ASIN または製品 URL のリストを取得する
ASINはAmazon標準識別番号の略です。商品ごとに付与されるAmazon独自のIDです。
詳細な製品情報を取得するには、まず ASIN または製品 URL のリストが必要です。これを取得するには、いくつかの方法があります。
手動でコンパイルする – Amazon カテゴリおよび検索ページから ASIN をコピー/ペーストまたはエクスポートします。
シードサイト – Camelcamelcamel のような Amazon 製品をリストするサイトから ASIN をスクレイピングします。
HTMLを解析する – Amazonのカテゴリーページから直接ASINを取得します。
大規模な Amazon スクレイピング プロジェクトの場合、Amazon カテゴリ ページから ASIN を直接解析することが最良のアプローチです。これは、カテゴリの URL をスクレイピングし、HTML から ASIN または製品リンクを抽出することを意味します。
ほとんどの Amazon 製品 URL は次の構造に従います。
https://www.amazon.com/dp/ASINそのため、商品パスから ASIN を解析し、ページ分割されたカテゴリ ページをループして URL/ASIN の基本リストを作成できます。
ステップ 2: 製品ページをスクレイピングする
ASIN または製品 URL のリストを用意すれば、それぞれをループして各製品ページから必要なデータを抽出できます。
Apify などのツール、または BeautifulSoup などの Python ライブラリを使用して HTML を解析し、次のような製品の詳細を抽出します。
- 役職
- 説明
- 箇条書き機能
- 価格（英語）
- 評価
- 画像
- 商品在庫
- バリアントオプション
価格設定については、$29.99 などの書式設定された価格ではなく、実際の数値 (つまり 29.99) を抽出してください。これにより、後で分析して比較することが容易になります。
画像をサーバーにダウンロードしたり、Amazon S3 URL リンクをスプレッドシートに保存したりできます。
レビューを取得するには、レビューセクションまたはレビュー数をスクレイピングしますが、名前などのレビューアーの個人情報をスクレイピングすることは避けてください。
ステップ 3: スクレイピングした Amazon データを保存する
スクレーパーが各製品ページから必要な情報を抽出すると、さらに分析して使用できるように、このデータをどこかに保存することができます。
JSONの は、スクレイピングされた Amazon データを保存するのに適した標準形式です。そこからデータベースにロードしたり、Excel で開くことができます。
より大きなデータセットの場合は、次のようなデータベース MongoDBの スプレッドシートに読み込むよりも効率的です。
S3バケット AWS のようなクラウド プラットフォームでは、テラバイト単位にまで成長する可能性があるスクレイピングされたデータセット用のストレージを手頃な価格で提供します。
ステップ 4: データをクリーンアップして構造化する
スクレイピングされた生のデータには、必然的に不整合、フォーマットの問題、欠損値などが含まれます。
使用可能な Amazon 製品データベースを作成するには:
- 重複したエントリを削除する
- 価格を単一の数値形式に標準化する
- ASIN や商品 URL などのフィールドを検証してフォーマットする
- 評価数と平均評価などの結合フィールドを分割する
- 不足しているフィールドを入力または削除します
データ クリーニングと変換スクリプトには、Python の Pandas ライブラリまたは OpenRefine を使用します。
Excel で簡単に分析するには、Amazon 製品データをスクレイピングしてください。
- 行ごとに 1 つの製品が含まれます
- すべての属性 (タイトル、評価、価格など) に個別の列を使用します。
- セルから余分なスペース、カンマ、文字を削除します
適切に構造化されたデータにより、Amazon データセットの並べ替え、フィルタリング、ピボットが容易になり、洞察が得られます。
ステップ 5: Amazon データを分析および監視する
ここからが面白いところです…構造化された Amazon 製品データのデータベースを使って何ができるでしょうか?
価格追跡 – 時間の経過に伴う価格をグラフ化して、割引や傾向を特定します。
競合他社の監視 – 競合他社の価格と在庫レベルを確認します。
アマゾンSEO – あなたのニッチ分野で上位の製品を特定します。
市場調査 – 最も評価の高い製品とベストセラー製品をカテゴリ別にフィルタリングします。
需要予測 – レビュー数と評価に基づいて売上を予測します。
キーワード調査 – 製品のタイトル、機能、説明を分析します。
Amazon データセットを定期的に再スクレイピングして更新することで、あらゆる種類の重要な e コマース分析が可能になります。
Amazon を効果的にスクレイピングするための高度なヒント
ブロックを回避し、Amazon からデータを効率的に抽出するためのプロのヒントをいくつか紹介します。
リクエストレートの制限 – 責任を持ってスクレイピングし、サーバーへの攻撃を避けてください。
パフォーマンスの監視 – レート制限と CAPTCHA を確認します。
プロキシを使用する – 異なる IP をローテーションしてリクエストを分散します。
ユーザーエージェントをランダム化する – さまざまなデスクトップおよびモバイルヘッダーを使用します。
失敗したリクエストを再試行する – エラーと再試行を適切に処理します。
スクレイピングを並列化する – 複数の接続を開いてデータ抽出を高速化します。
フィルターを適用する – 処理を最小限に抑えるために、関連するデータのみをスクレイピングします。
結果のページ付け – 各製品リスト ページを順に実行します。
キャッシュを使用する – 再スクレイピングを避けるために、スクレイピングされたデータを一時的に保存します。
スクレイパーを最大限に活用し、Amazon データを抽出するための堅牢で効率的なワークフローを構築します。
法的および倫理的なスクレイピングの実践
Amazon 製品データのスクレイピングはほとんどの場合合法ですが、それでも責任ある Web スクレイピング慣行に従う必要があります。
robots.txt を尊重する – robots.txt によってブロックされたページのスクレイピングを避ける
利用規約を確認する – ユースケースが許可されていることを確認します。
スクレープ頻度を制限する – リクエストをより長い期間に分散します。
選択的に削り取る – 必要以上のデータを抽出しないでください。
属性データ – 情報源として Amazon をクレジットします。
データを保護する – データを安全に保存および処理します。
大規模な Web スクレイピング プロジェクトの前に、経験豊富な法律顧問に相談するのが賢明です。しかし、合理的な制限と倫理を遵守することは、Amazon の業績を維持するのに大いに役立ちます。
まとめ
Amazon の商品リストをスクレイピングすると、e コマース データの宝庫にアクセスできるようになります。このガイドで概説されている手順に従うと、公式の Amazon 製品 API を必要とせずに、研究、モニタリング、データ サイエンス アプリケーションなどのために Amazon から情報を正常に抽出することができます。
Web スクレイピングを行うときは常にそうであるように、必ず倫理的にスクレイピングを行い、パフォーマンスを監視し、ブロックを回避するためにプロキシなどの技術を採用してください。ある程度の技術スキルとベストプラクティスを収集すれば、Amazon のカタログを手に入れることができます。
これで、Amazon 製品データを大規模に収集して活用するために必要なツールと知識がすべて手に入りました。それで、進んでこすりましょう！
