Ir para o conteúdo

Agentes de usuário mais comuns para redução de preços

Ei, amigo! Você está querendo começar com a redução de preços? Como um profissional experiente em web scraping, estou animado em compartilhar meu conhecimento interno para ajudá-lo a ter sucesso. Uma das partes mais complicadas de qualquer projeto de scraping é configurar os agentes do usuário corretamente.

Eu sei que os agentes de usuário podem parecer confusos no início – você provavelmente está se perguntando: o que é um agente de usuário? Deixe-me explicar o que são e por que são tão importantes para a redução de preços.

O que é um agente de usuário?

Sempre que seu navegador envia uma solicitação a um site, ele inclui um pequeno texto chamado agente do usuário. Isso identifica detalhes sobre o navegador e o sistema operacional que você está usando. Aqui está um exemplo de string de agente de usuário do Chrome no Windows 10:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36

Como você pode ver, ele contém o nome do navegador (Chrome), número da versão (74.0.3729.169), informações da plataforma (Windows NT 10.0) e mecanismo de layout (WebKit/Blink).

Os agentes de usuário fornecem todas essas informações para ajudar os sites a adaptar seu conteúdo para diferentes navegadores e dispositivos. Por exemplo, os sites podem exibir páginas mais leves e otimizadas para dispositivos móveis em telefones, em vez de sites completos para desktop em laptops.

Uma breve história dos agentes de usuário

Os navegadores incluíram strings de agente de usuário desde os primeiros dias da web. O primeiro navegador criado no National Center for Supercomputing Applications (NCSA), chamado Mosaic, tinha um agente de usuário simples:

NCSA_Mosaic/2.0 (Windows 3.1)

Quando o Netscape Navigator chegou em 1994, a guerra dos navegadores começou. As empresas lutaram para criar o navegador mais compatível com os padrões e com os melhores recursos. Strings de agente de usuário mais detalhadas ajudaram os sites a detectar diferentes navegadores.

O Internet Explorer e o Firefox continuaram a guerra durante os anos 2000. Seus agentes de usuário destacaram tecnologias proprietárias para tentar otimizar os sites para eles. Hoje o Chrome domina, mas o agente do usuário continua vivo.

Alterando Agentes de Usuário para Scraping

Então, como os agentes de usuário se enquadram no web scraping? Os sites geralmente bloqueiam scrapers e bots com base em agentes de usuários suspeitos. Uma ferramenta de scraping comum pode ter um agente de usuário como:

ScraperBot/3.0

Isso é fácil para os sites identificarem e bloquearem. É por isso que precisamos falsificar agentes de usuários reais do navegador durante a raspagem!

Extensões de navegador como User-Agent Switcher facilitam o teste de diferentes agentes de usuário. Ferramentas de proxy como Oxylabs também permitem configurar proxies residenciais com agentes de usuário móveis, de desktop e personalizados.

Alternar entre os agentes de usuários reais de navegadores mais comuns é fundamental para qualquer scraper bem-sucedido. Vamos falar sobre quais agentes de usuário você provavelmente verá.

Agentes de usuário de desktop mais comuns

O cenário dos navegadores de desktop hoje é dominado por navegadores que usam o mecanismo Chromium (Chrome, Edge, Brave, Opera, etc.). Aqui estão alguns de seus agentes de usuário mais recentes:

Chrome: 
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36

Edge:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54

Opera:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 OPR/94.0.0.0

O Firefox é o principal mecanismo de navegador alternativo que ainda tem uso significativo:

Firefox:  
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:107.0) Gecko/20100101 Firefox/107.0
NavegadorFatia de mercadoMotor
Chrome65.4%Piscar (cromo)
Safári18.7%WebKit
Firefox7.2%Lagartixa
borda4.2%Piscar (cromo)

Como você pode ver, os mecanismos Chromium dominam a navegação em desktops hoje!

Agentes de usuários móveis mais comuns

A navegação móvel é dominada pelas plataformas iOS da Apple e Android do Google. Aqui estão alguns exemplos de seus agentes de usuário:

iOS:

Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1

Android:

Mozilla/5.0 (Linux; Android 10) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Mobile Safari/537.36

O Android tem uma participação de mercado mais fragmentada, dividida entre os lançamentos de suas versões:

VersãoNome de códigoFatia de mercado
12Cone de neve26.5%
11Bolo de veludo vermelho24.2%
10Tarte de marmelo22.9%

Isso lhe dá uma ideia dos principais agentes de usuário móvel a serem imitados para raspagem.

Por que os agentes do usuário são importantes para a redução de preços

A redução de preços geralmente requer tráfego intenso, o que torna os bloqueios mais prováveis. Os sites de comércio eletrônico tentam agressivamente detectar scrapers que obtêm dados de preços dos concorrentes.

Usar agentes de usuário autênticos e em constante mudança é crucial para evitar bloqueios durante a queda de preços. Isso ajuda seus scrapers a se disfarçarem como atividade real do navegador versus bots.

Outra dica legal – alguns sites podem oferecer aos agentes de usuários móveis preços com descontos especiais disponíveis apenas em aplicativos móveis! Portanto, aproveitar os agentes de usuários móveis pode fornecer melhores dados de preços.

Teste continuamente novos agentes de usuário

Os sites estão sempre atualizando suas regras de detecção de bots, por isso temos que testar continuamente novos agentes de usuários em nossos scrapers. Gosto de começar com pequenos volumes de teste para ver se um novo agente é bloqueado antes de iniciar. Isso evita o desperdício de tráfego.

Ferramentas proxy como Oxylabs facilitam os testes, fornecendo milhares de IPs residenciais com agentes de usuário associados. Posso simplesmente selecionar uma nova amostra aleatória para cada arranhão.

A melhor prática é sempre ter uma rotação diversificada de agentes de usuário autênticos e atualizados, prontos para uso. Este jogo de gato e rato é apenas parte do trabalho para nós, web scrapers!

Espero que essas dicas de agente de usuário ajudem você em suas aventuras de redução de preços. Deixe-me saber se você tem alguma dúvida!

Junte-se à conversa

O seu endereço de e-mail não será publicado. Os campos obrigatórios são marcados com *