Passer au contenu

Agents utilisateurs les plus courants pour la suppression des prix

Salut mon ami! Souhaitez-vous vous lancer dans le grattage des prix ? En tant que professionnel expérimenté du web scraping, je suis ravi de partager mes connaissances privilégiées pour vous aider à réussir. L’une des parties les plus délicates de tout projet de scraping consiste à configurer correctement les agents utilisateurs.

Je sais que les agents utilisateurs peuvent sembler déroutants au début – vous vous demandez probablement ce qu'est un agent utilisateur ? Laissez-moi vous expliquer ce qu'ils sont et pourquoi ils sont si importants pour la suppression des prix.

Qu’est-ce qu’un agent utilisateur ?

Chaque fois que votre navigateur envoie une requête à un site Web, il inclut un court morceau de texte appelé agent utilisateur. Cela identifie les détails sur le navigateur et le système d'exploitation que vous utilisez. Voici un exemple de chaîne d'agent utilisateur de Chrome sur Windows 10 :

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

Comme vous pouvez le voir, il contient le nom du navigateur (Chrome), le numéro de version (74.0.3729.169), les informations sur la plate-forme (Windows NT 10.0) et le moteur de mise en page (WebKit/Blink).

Les agents utilisateurs fournissent toutes ces informations pour aider les sites Web à adapter leur contenu à différents navigateurs et appareils. Par exemple, les sites peuvent proposer des pages plus légères et optimisées pour les mobiles sur les téléphones, plutôt que des sites de bureau complets sur les ordinateurs portables.

Un bref historique des agents utilisateurs

Les navigateurs ont inclus des chaînes d'agent utilisateur dès les premiers jours du Web. Le premier navigateur créé au National Center for Supercomputing Applications (NCSA) appelé Mosaic avait un agent utilisateur simple :

NCSA_Mosaic/2.0 (Windows 3.1)

Lorsque Netscape Navigator est arrivé en 1994, la guerre des navigateurs a commencé. Les entreprises se sont battues pour créer le navigateur le plus compatible avec les normes et doté des meilleures fonctionnalités. Des chaînes d'agent utilisateur plus détaillées ont aidé les sites Web à détecter différents navigateurs.

Internet Explorer et Firefox ont continué la guerre tout au long des années 2000. Leurs agents utilisateurs ont mis en avant des technologies propriétaires pour tenter d’optimiser les sites pour eux. Aujourd'hui, Chrome domine, mais l'agent utilisateur perdure.

Changer les agents utilisateurs pour le scraping

Alors, comment les agents utilisateurs s’intègrent-ils dans le web scraping ? Les sites bloquent souvent les scrapers et les robots basés sur des agents utilisateurs suspects. Un outil de scraping courant peut avoir un agent utilisateur tel que :

ScraperBot/3.0

Ceci est facile à identifier et à bloquer pour les sites. C'est pourquoi nous devons usurper les vrais agents utilisateurs du navigateur lors du scraping !

Les extensions de navigateur telles que User-Agent Switcher facilitent le test de différents agents utilisateurs. Les outils proxy comme Oxylabs vous permettent également de configurer des proxys résidentiels avec des agents utilisateurs mobiles, de bureau et personnalisés.

La rotation entre les agents utilisateurs de navigateur réels les plus courants est la clé du succès de tout scraper. Parlons des agents utilisateurs que vous êtes susceptible de voir.

Agents utilisateurs de bureau les plus courants

Le paysage des navigateurs de bureau est aujourd'hui dominé par les navigateurs utilisant le moteur Chromium (Chrome, Edge, Brave, Opera, etc.). Voici quelques-uns de leurs derniers agents utilisateurs :

Chrome: 
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36

Edge:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54

Opera:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 OPR/94.0.0.0

Firefox est le principal moteur de navigateur alternatif encore largement utilisé :

Firefox:  
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:107.0) Gecko/20100101 Firefox/107.0
NavigateurPart de marchéMoteur
Chrome65.4 %Clignotement (Chrome)
Safari18.7 %WebKit
Firefox7.2 %Gecko
Edge4.2 %Clignotement (Chrome)

Comme vous pouvez le constater, les moteurs Chromium dominent aujourd’hui la navigation sur ordinateur !

Agents utilisateurs mobiles les plus courants

La navigation mobile est dominée par les plateformes iOS d'Apple et Android de Google. Voici des exemples de leurs agents utilisateurs :

iOS:

Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1

Android:

Mozilla/5.0 (Linux; Android 10) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Mobile Safari/537.36

Android a une part de marché plus fragmentée, répartie entre ses versions :

versionNom de codePart de marché
12Cône de neige26.5 %
11Gâteau de velours rouge24.2 %
10Tarte aux coings22.9 %

Cela vous donne une idée des principaux agents utilisateurs mobiles à imiter pour le scraping.

Pourquoi les agents utilisateurs sont importants pour la suppression des prix

La suppression des prix nécessite souvent un trafic intense, ce qui rend les blocages plus probables. Les sites de commerce électronique tentent de manière agressive de détecter les scrapers qui récupèrent les données de prix des concurrents.

L’utilisation d’agents utilisateurs authentiques et en constante évolution est cruciale pour éviter les blocages lors de la suppression des prix. Cela aide vos scrapers à se faire passer pour une véritable activité de navigateur par rapport à des robots.

Un autre conseil intéressant : certains sites peuvent proposer aux agents utilisateurs mobiles des prix spéciaux réduits uniquement disponibles sur les applications mobiles ! Ainsi, tirer parti des agents utilisateurs mobiles pourrait vous fournir de meilleures données de tarification.

Testez continuellement les nouveaux agents utilisateurs

Les sites mettent constamment à jour leurs règles de détection de robots, nous devons donc continuellement tester de nouveaux agents utilisateurs dans nos scrapers. J'aime commencer par de petits volumes de tests pour voir si un nouvel agent est bloqué avant de monter en puissance. Cela évite de gaspiller du trafic.

Les outils proxy comme Oxylabs facilitent les tests en fournissant des milliers d'adresses IP résidentielles avec des agents utilisateurs associés. Je peux simplement sélectionner un nouvel échantillon aléatoire pour chaque éraflure.

La meilleure pratique consiste à toujours disposer d’une rotation diversifiée d’agents utilisateurs authentiques et mis à jour, prêts à être utilisés. Ce jeu du chat et de la souris n'est qu'une partie du travail de nous, les web scrapers !

J'espère que ces conseils d'agent utilisateur vous aideront dans vos aventures de grattage de prix. Faites-moi savoir si vous avez d'autres questions !

Prendre part à la conversation

Votre adresse email n'apparaitra pas. Les champs obligatoires sont marqués *