Kickstarter est devenu l'une des plus grandes plateformes de financement participatif au monde, avec plus de 19 millions les bailleurs de fonds s'engagent plus de $ 6.1 milliards aux projets créatifs à ce jour. Pour les analystes commerciaux, les entrepreneurs, les concepteurs et les chercheurs, l’extraction des données Kickstarter peut débloquer des informations révolutionnaires.
Cependant, l’extraction programmatique de données à partir de Kickstarter présente des défis uniques qui nécessitent des solutions réfléchies. Dans ce guide complet de plus de 4000 XNUMX mots, nous couvrirons tout ce dont vous avez besoin pour réussir à gratter les pages Kickstarter et à extraire des données à grande échelle.
Pourquoi devriez-vous supprimer les données Kickstarter ?
Voici quelques-uns des principaux avantages du scraping des pages Kickstarter et de l'analyse des données agrégées :
Étude de marché – Identifiez les tendances de produits émergentes et les opportunités inexploitées en analysant les modèles de financement des plus de 100 XNUMX projets en direct de Kickstarter et 21 catégories diverses. Vous pouvez faire ressortir les lacunes du marché et identifier la demande de nouvelles innovations.
Veille Concurrentielle – Suivez et comparez les projets de financement participatif de vos concurrents. Analysez les détails du projet, les messages marketing, les styles de contenu vidéo, les mises à jour et les performances de financement au fil du temps. Essentiellement, procédez à une ingénierie inverse de ce qui résonne le plus auprès des bailleurs de fonds.
Influencer marketing – Découvrez des influenceurs faisant la promotion de projets pertinents dans votre niche. Contactez-nous pour collaborer ou obtenir leur soutien pour votre propre campagne. Vous pouvez également analyser les taux d'engagement sur les mises à jour de leurs projets.
Génération de leads – Compilez des listes ciblées de bailleurs de fonds segmentés par emplacement, montant de la promesse, catégorie d'intérêt, etc. et contactez-nous pour présenter vos prochaines campagnes.
Design Inspiration – Recherchez des projets à succès dans toutes les catégories pour découvrir des éléments de conception, des palettes de couleurs et des mises en page que vous pouvez intégrer dans vos propres œuvres et produits créatifs.
Analyse comparative des prix – Évaluez la demande actuelle et les modèles de tarification appropriés pour vos propres produits à venir en fonction des niveaux de promesses de don historiques, des montants et des niveaux de soutien de projets Kickstarter similaires.
Comme vous pouvez le constater, presque toutes les entreprises peuvent tirer profit de la récupération et de l’analyse des données Kickstarter à grande échelle. Bien que Kickstarter facilite la navigation et la recherche manuelles de projets, l'extraction systématique des données nécessite une approche de scraping programmatique.
Défis avec Scraping Kickstarter
Bien que Kickstarter fournisse une source de données riche, son extraction se heurte à quelques obstacles uniques :
Pas d'accès public à l'API – Contrairement à certains sites, Kickstarter ne fournit pas d’API pour faciliter l’extraction des données. Tout le scraping doit être effectué via l'interface utilisateur frontale, ce qui est plus difficile.
Défenses anti-grattage – Kickstarter bloque et met activement sur liste noire les robots de scraping et les requêtes automatisées. Les scrapers doivent imiter précisément le comportement de navigation humaine.
JavaScript lourd – Les pages Kickstarter s'appuient fortement sur JavaScript pour afficher le contenu de manière dynamique. Les scrapers doivent exécuter correctement JS pour extraire les données chargées.
CAPTCHA – Kickstarter peut déclencher des CAPTCHA pour dissuader les robots de scraping, ce qui nécessite l'intégration d'un service de résolution de CAPTCHA.
Limites de recherche – La recherche Kickstarter n’affiche qu’un nombre limité de résultats par requête – environ 2,400 XNUMX maximum actuellement. Les scrapers doivent effectuer plusieurs requêtes ciblées.
Zones grises juridiques – Bien que la récupération de données publiques soit généralement légale, elle viole les conditions d'utilisation de Kickstarter. Les scrapers doivent peser soigneusement les facteurs juridiques et éthiques.
Pour surmonter ces défis, il faut utiliser les bons outils, techniques et pratiques de scraping, comme nous l'explorerons dans les sections suivantes.
Scraping Kickstarter via les API des moteurs de recherche
Une technique pour récupérer indirectement les données Kickstarter consiste à exploiter les API de recherche de Bing ou de Google. En interrogeant site:kickstarter.com, vous pouvez faire apparaître les pages Kickstarter dans les résultats de recherche.
Cela évite de toucher directement les serveurs de Kickstarter. Cependant, les API de recherche présentent des inconvénients :
Avantages
- Contourne les défenses anti-grattage de Kickstarter
- Fournit des données structurées – titres, descriptions, URL
- Simple à mettre en œuvre à l’aide des bibliothèques clientes
Inconvénients
- Nécessite des crédits d'utilisation d'API payants
- Renvoie des champs de données limités par résultat
- Manque des données nécessitant des rendus pleine page
Voici un exemple de code Python utilisant l'API de recherche Web Bing pour extraire les résultats de base de Kickstarter :
import bing_api_client
client = bing_api_client.BingSearchAPI(api_key="YOUR_API_KEY")
results = client.search(query="site:kickstarter.com video games",
count=50, offset=0)
for result in results.web_pages.value:
print(result.name, result.url)L'API Bing fournit un moyen pratique d'extraire les listes Kickstarter, mais manque de données et de médias plus riches uniquement disponibles via des grattages de pleine page.
Outils de rendu des pages Kickstarter
Pour récupérer toutes les données disponibles de Kickstarter à grande échelle, les scrapers doivent restituer dynamiquement les pages à l'aide d'un navigateur ou d'un robot d'exploration sans tête. Voici quelques principales options :
Apifier
Apify fournit un acteur Kickstarter prédéfini qui gère les proxys, les navigateurs, les captchas et plus encore, pour un scraping facile. C'est le chemin de moindre résistance.
Scrapy + Sélénium
Pour le scraping Python, Scrapy peut explorer de manière récursive les pages Kickstarter tandis que Selenium restitue JavaScript. Vous devrez gérer vous-même les proxys et les captchas.
Dramaturge
Playwright fournit une API Node.js pour le scraping. Il lance Chromium sans tête pour émuler la navigation réelle pour un grattage dynamique.
Marionnettiste
Autre bibliothèque Node, Puppeteer contrôle Chrome sans tête via une simple API. Il gère l'exécution asynchrone JS pour le scraping moderne.
Examinons un exemple de code Python pour le scraping dynamique à l'aide de Scrapy et Selenium :
from selenium import webdriver
from scrapy import Selector
from scrapy.http import HtmlResponse
browser = webdriver.Chrome()
browser.get("https://kickstarter.com/discover")
html = browser.page_source
response = HtmlResponse(url=browser.current_url, body=html.encode())
sels = Selector(response)
for project in sels.xpath(‘//div[contains(@data-project, "true")]‘):
title = project.xpath(‘.//h2/a/text()‘).get()
print(title)
browser.quit()Cela exploite Selenium pour restituer JavaScript, analyse le HTML et utilise les sélecteurs Scrapy pour extraire les titres des projets. Vous pouvez l'étendre pour récupérer des points de données supplémentaires.
Pratiques clés de grattage
Lorsque vous supprimez Kickstarter à grande échelle, utilisez ces bonnes pratiques pour éviter d'être bloqué :
Utiliser des procurations – Acheminer les demandes via IP proxy résidentiel pour imiter le trafic réel des utilisateurs provenant de divers emplacements géographiques. Évitez les adresses IP des centres de données.
Ajouter des délais aléatoires – Rampez lentement, en ajoutant 5-15 seconde des délais aléatoires entre les demandes de page pour paraître humain.
Varier les agents utilisateurs – Utilisez un mélange diversifié de chaînes d’agent utilisateur de bureau et mobile par requête.
Résoudre les CAPTCHA – Intégrez un service de résolution de CAPTCHA comme AntiCaptcha si vous rencontrez des CAPTCHA.
Grattez sélectivement – Extrayez uniquement les points de données Kickstarter exacts dont vous avez réellement besoin pour rester sous le radar.
Vérifiez le fichier robots.txt – Respectez Kickstarter règles d'exclusion des robots pour éviter un accès bloqué.
Grattez de manière éthique – Tenez compte des facteurs juridiques et éthiques liés à la publication ou à la monétisation des données de Kickstarter.
Stockage et analyse des données Kickstarter récupérées
Une fois que vous avez créé des scrapers pour extraire les données de projet, d'utilisateur et de financement de Kickstarter, l'étape suivante consiste à les charger dans des bases de données pour analyse. Voici quelques bonnes options à considérer :
PostgreSQL – Base de données relationnelle open source idéale pour les données Kickstarter structurées.
MongoDB – Magasin de documents NoSQL flexible qui gère facilement les données de scraping JSON semi-structurées.
Tableau – Connectez les données Kickstarter abandonnées et créez de puissants tableaux de bord et visualisations interactifs.
R – Des bibliothèques comme rvest et RSelenium permettent le scraping basé sur R. dplyr et ggplot2 facilitent l'analyse.
Python – Pandas, NumPy, Matplotlib pour charger, nettoyer, analyser et visualiser les données extraites.
Excel – Option simple pour découper de petits ensembles de données Kickstarter et créer des graphiques.
Exemple concret : Scraping pour l'intelligence économique
Passons en revue un exemple de grattage de Kickstarter pour la veille concurrentielle, qui illustre la valeur en action :
John est un entrepreneur qui se prépare à lancer une nouvelle caméra de sécurité extérieure sur Kickstarter dans la catégorie Technologie. En éliminant les campagnes réussies existantes, il souhaite mieux comprendre le paysage concurrentiel.
Plus précisément, John doit rechercher les niveaux de tarification, les ensembles de fonctionnalités, la durée et les mises à jour de la campagne, ainsi que les messages qui trouvent le plus grand écho auprès des bailleurs de fonds. Ces informations lui permettront d’élaborer une campagne stratégiquement compétitive.
John utilise d'abord l'acteur Apify Kickstarter pour extraire les informations de base du projet à partir de 500 campagnes technologiques dans un fichier CSV. Il l'ouvre dans Excel, filtre les projets de caméras de sécurité réussis et trie par montant de contribution pour analyser les tendances des prix. Cela révèle les niveaux communs et les montants typiques des promesses de don.
Ensuite, John utilise Playwright pour créer un grattoir personnalisé qui capture des détails plus complets sur le projet : images, vidéos, niveaux de récompenses, mises à jour de campagne, commentaires, etc. Il charge les données extraites les plus riches dans MongoDB.
À l'aide de Compass, John regroupe et visualise les données pour découvrir des informations. Principales conclusions:
- Les caméras à résolution 4K attirent 19 % de financement en plus que 1080p
- Les caméras à fréquence d'images élevée (> 20 ips) ont un taux de réussite de 22 % contre 15 % pour des fréquences d'images inférieures.
- La connectivité cloud est une fonctionnalité indispensable (~ 85 % des caméras en sont équipées)
- Les campagnes les plus réussies durent 35 à 45 jours
- Les mises à jour quotidiennes du projet génèrent 34 % de commentaires et de partages en plus
En exploitant plus de 500 campagnes similaires, John a acquis des informations inestimables pour créer le produit, les prix, les fonctionnalités, la durée de la campagne et les messages marketing optimaux. Il pouvait en toute confiance élaborer une stratégie concurrentielle fondée sur des données.
Réflexions de clôture
Scraping Kickstarter ouvre des perspectives révolutionnaires aux spécialistes du marketing, aux entrepreneurs, aux concepteurs, aux analystes et bien plus encore. En tirant parti des bons outils et techniques, vous pouvez extraire les données Kickstarter par programmation tout en respectant ses ToS.
Les étapes clés consistent à utiliser des proxys, des scrapers comme Apify ou Playwright, des outils de base de données et d'analyse, et à adhérer à des pratiques éthiques en matière de données.
J'espère que ce guide de plus de 4000 XNUMX mots vous a fourni un plan complet pour réussir à supprimer Kickstarter à grande échelle. Faites-moi savoir si vous avez d'autres questions !
