¿Cuáles son las mejores bibliotecas de web scraping de Python?

¡Hola! Como especialista en web scraping con más de 5 años de experiencia, he tenido la oportunidad de trabajar con las principales bibliotecas de Python. En esta guía, compartiré todo lo que he aprendido sobre el uso de Python para el web scraping.

Analizaremos en profundidad cómo funciona cada biblioteca y las mejores situaciones para usarlas. Mi objetivo es brindarle la información necesaria para elegir las herramientas de scraping adecuadas para cualquier proyecto. ¡Empecemos!

Bibliotecas HTTP principales: la base para el raspado de Python

El primer paso en cualquier proyecto de web scraping es descargar el contenido de la página web. Las solicitudes de Python y las bibliotecas HTTPX hacen que esto sea realmente simple.

Solicitudes: la biblioteca HTTP probada y verdadera

Requests es la biblioteca de Python más popular para solicitudes HTTP, utilizada por el 89% de los desarrolladores de Python según la Encuesta de desarrolladores de Python de 2020.

Es fácil ver por qué. Realizar una solicitud con Solicitudes requiere solo una línea de código:

response = requests.get(‘https://www.example.com‘)

Requests admite todos los verbos HTTP comunes como GET, POST, PUT, DELETE con la misma interfaz simple. Lo maneja:

Codificación de parámetros en cadenas de URL
Agregar encabezados y cookies
Envío de cargas de archivos de varias partes
Codificación de cuerpos de solicitud JSON

Y decodifica automáticamente el contenido de la respuesta según los encabezados HTTP. No es necesario llamar manualmente a json() como otros lenguajes.

Las solicitudes incluso manejan:

Siguiendo redirecciones
Reintentando solicitudes
Conexiones persistentes
Cookies estilo navegador

Es todo lo que necesitas para solicitudes HTTP básicas en una interfaz sencilla. Según mi experiencia, recomendaría Requests a cualquier desarrollador de Python que comience con el web scraping.

HTTPX: un cliente HTTP asíncrono más avanzado

HTTPX proporciona la misma interfaz simple estilo Solicitudes con funciones avanzadas para casos de uso complejos:

Solicitudes asincrónicas
Soporte HTTP / 2
Manejo del tiempo de espera
Persistencia de cookies
Agrupación de conexiones
Proxies
Almacenamiento en caché similar al de un navegador

Realizar solicitudes de forma asincrónica es especialmente importante para el rendimiento. Así es como puedes recuperar varias URL simultáneamente con HTTPX:

import httpx

async with httpx.AsyncClient() as client:

  futures = [client.get(url) for url in urls]

  for response in await httpx.async_list(futures):
    print(response.url)

Según los puntos de referencia, HTTPX logra un rendimiento entre 2 y 3 veces mayor que las solicitudes para grandes lotes de solicitudes.

Sugiero HTTPX para crear raspadores web asincrónicos más avanzados. Combinado con multiprocesamiento y subprocesos múltiples, permite canalizaciones de recopilación de datos de rendimiento extremadamente alto.

Análisis de HTML: extracción de datos de páginas web

Una vez que tenga el contenido HTML, es hora de analizarlo y extraer los datos que necesita. Dos excelentes opciones aquí son Beautiful Soup y LXML.

Hermosa sopa: análisis HTML simple

Beautiful Soup hace honor a su nombre como una buena biblioteca para analizar e iterar sobre HTML y XML en Python. Según la encuesta de Python de 2020, es la biblioteca de Python más popular para procesar HTML y XML.

Proporciona métodos sencillos para navegar, buscar y modificar el árbol de análisis. Por ejemplo, podemos extraer todos los enlaces de una página como esta:

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, ‘html.parser‘)

for link in soup.find_all(‘a‘):
  print(link.get(‘href‘))

La API BeautifulSoup consta principalmente de:

Métodos como find(), find_all() para buscar nodos
Atributos como name, string, attrs para acceder a las propiedades del nodo
Métodos como get_text(), decompose() para modificar nodos

No utiliza una sopa de etiquetas abierta y cerrada como jQuery, que personalmente encuentro más fácil de leer y escribir.

Según mi experiencia, Beautiful Soup funciona excelentemente para tareas de web scraping pequeñas y medianas. La principal limitación es la velocidad, ya que es código Python puro bajo el capó.

LXML: análisis HTML/XML basado en C más rápido

Si está analizando muchos documentos XML/HTML grandes, le sugiero utilizar LXML en cambio. Es una biblioteca de análisis XML para Python construida sobre las bibliotecas C de alto rendimiento libxml2 y libxslt.

Según los puntos de referencia, LXML puede analizar documentos XML más de 40 veces más rápido que hermosa sopa y usos 80% menos de memoria.

A continuación se muestra un ejemplo del uso de LXML para extraer información de producto de un sitio de comercio electrónico:

from lxml import html

root = html.parse(page)

# XPath query to extract product attributes
for product in root.xpath(‘//div[@class="product"]‘):

  name = product.xpath(‘.//h2[@class="name"]/text()‘)[0]
  description = product.xpath(‘.//div[@class="description"]/text()‘)[0]
  price = product.xpath(‘.//span[@class="price"]/text()‘)[0]

  print(name, description, price)

LXML admite el análisis de HTML y XML y proporciona soporte para selector CSS, XPath y XSLT para extraer datos.

Para raspadores de producción a gran escala, sugiero usar LXML para obtener enormes ganancias en la velocidad de análisis. Es una de las bibliotecas de procesamiento XML más rápidas disponibles en cualquier idioma.

Automatización del navegador: rastreo de sitios JavaScript

Las solicitudes HTTP tradicionales y el análisis de HTML no son suficientes para los sitios web que dependen en gran medida de JavaScript para representar el contenido. Algunos ejemplos incluyen:

Aplicaciones de página única (SPA) como Gmail y Twitter
Sitios que cargan datos dinámicamente a través de solicitudes AJAX
Páginas que utilizan marcos de JavaScript como React y Angular

En estos casos, debe ejecutar JavaScript en un navegador real para permitir que se cargue el contenido completo de la página. Python tiene excelentes bibliotecas para automatizar navegadores, como Selenium y Playwright.

Selenium: la herramienta de automatización del navegador actual

Selenium ha sido la biblioteca de automatización de navegadores de referencia durante más de una década.

Le permite controlar navegadores web como Chrome, Firefox y Safari mediante programación. Algunos ejemplos de acciones que puedes realizar:

Navegar a páginas
Haga clic en botones y enlaces
Complete y envíe formularios
Desplazarse por la página
Toma capturas de pantalla
Capturar instantáneas HTML
Afirmar el contenido de la página

Todo desde una sencilla interfaz de Python.

A continuación se explica cómo utilizar Selenium para iniciar sesión en un sitio y extraer datos privados:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://example.com")

driver.find_element(By.NAME, ‘username‘).send_keys(‘myuser‘) 
driver.find_element(By.NAME, ‘password‘).send_keys(‘secret‘)
driver.find_element(By.ID, ‘login‘).click()

# Wait for dashboard page to load
WebDriverWait(driver, 10).until(EC.title_contains("Dashboard")) 

print(driver.find_element(By.ID, ‘apiKey‘).text)

driver.quit()

Aquí hay algunas estadísticas clave sobre el uso de Selenium:

Más de 500,000 pruebas de Selenium ejecutadas diariamente solo en BrowserStack
6.5 millones de preguntas relacionadas con Selenium en StackOverflow
Más de 100,000 estrellas de Selenium GitHub

Sin embargo, Selenium tiene algunos puntos débiles:

Pruebas frágiles propensas a fallar según las versiones del navegador
Las esperas y los tiempos de espera de los elementos de la página requieren un manejo especial
Desafíos de administrar controladores y navegadores en todos los entornos
Trabajo adicional para registro, generación de informes y paralelización

Entonces, si bien Selenium sigue siendo un elemento básico para las pruebas y la automatización, generalmente prefiero una biblioteca de automatización del navegador más moderna para tareas generales de web scraping.

Dramaturgo: un sucesor de próxima generación del selenio

Playwright es una nueva biblioteca de automatización y prueba de navegadores desarrollada por Microsoft. Proporciona una API más confiable, eficiente y sencilla que Selenium.

Algunas ventajas clave de Dramaturgo:

Espera automática de elementos antes de interactuar. – ¡No más tiempos de espera de localizador inestables!
Espera automática confiable para cargas de página – El dramaturgo espera que la red esté inactiva, evitando condiciones de carrera.
Seguridad web desactivada – Las páginas se cargan correctamente sin detectar automatización.
API con todas las funciones – Contextos del navegador, trabajadores, emulación móvil integrada.
Gran depuración – Incluye visualización de movimientos del mouse, captura de pantalla y depuración paso a paso.
Compatibilidad con varios navegadores – Funciona en Chromium, Firefox y WebKit con una API consistente.

Así es como se ve el ejemplo de inicio de sesión usando Playwright:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
  browser = p.chromium.launch()
  page = browser.new_page()  

  page.goto("https://example.com")
  page.type("#username", "myuser")
  page.type("#password", "secret")
  page.click("#login")
  page.wait_for_load_state(‘domcontentloaded‘) 

  print(page.text_content(‘#apiKey‘))

  browser.close()

¡Mucho más robusto y fiable! Playwright también ofrece excelentes controladores integrados para:

Capturas de pantalla, vídeos, rastreo, registros de consola
Emulación móvil y pruebas responsivas
Manipulación de red, almacenamiento en caché, limitación
Gestión del contexto del navegador
Arquitecturas y trabajadores de varias páginas.

Por estas razones, sugiero usar Playwright en lugar de Selenium para la mayoría de los casos de uso de automatización del navegador en la actualidad.

Potentes marcos de scraping para rastreo a gran escala

Si bien las bibliotecas anteriores proporcionan componentes básicos, para proyectos de scraping a gran escala se necesita un marco sólido. Scrapy y Selenium Grid son excelentes opciones.

Scrapy: marco de raspado web de alta resistencia

Si necesita rastrear miles o millones de páginas en sitios web grandes, Scrapy es mi principal recomendación.

Algunas ventajas clave:

Rastreadores asíncronos – Scrapy maneja solicitudes de páginas asincrónicas, rastreo y procesamiento de datos.
Potentes herramientas de extracción – Motores de consulta CSS y XPath para analizar páginas.
Canalizaciones de artículos – Arquitecturas limpias de almacenamiento y procesamiento de datos.
Limitación y almacenamiento en caché – Integrados para obedecer retrasos de rastreo y robots.txt.
Piel escamosa – Soporte de rastreo distribuido para flujos de datos masivos.

Aquí hay un ejemplo de clase Spider para rastrear HackerNews:

import scrapy

class HackerNewsSpider(scrapy.Spider):

  name = ‘hackernews‘

  def start_requests(self):
    yield scrapy.Request(‘https://news.ycombinator.com/‘, callback=self.parse)

  def parse(self, response):
    for post in response.css(‘.athing‘):
      yield {
        ‘title‘: post.css(‘.titlelink::text‘).get(),
        ‘votes‘: post.css(‘.score::text‘).get()
      }

Según un punto de referencia de Crawl.be, Scrapy puede superar 175 páginas por segundo por rastreador. Con el rastreo distribuido, se ha utilizado para extraer terabytes de datos de sitios masivos.

Si está haciendo scraping a escala, Scrapy es mi principal recomendación para un marco de scraping de Python. La arquitectura asíncrona y las herramientas de administración de rastreo son perfectas para trabajos de rastreo de gran tamaño.

Selenium Grid: automatización escalable del navegador

Selenium Grid le permite escalar la automatización del navegador distribuyendo pruebas en varias máquinas. Esto elimina el cuello de botella que supone ejecutar todas las pruebas en una secuencia en una sola máquina.

La arquitectura consta de tres componentes:

Centro de selenio – Centro central para distribuir pruebas a nodos.
Nodo – Instancia de Selenium conectada al hub ejecutando pruebas
Probar – Su lógica de prueba que se ejecuta en nodos

Para ejecutar una cuadrícula simple:

# On main host 
java -jar selenium-server-standalone.jar -role hub

# On each node 
java -Dwebdriver.chrome.driver=chromedriver -jar selenium-server-standalone.jar -role node -hub <hubIp:port>

Con esta configuración de Grid, puede paralelizar masivamente Playwright, Selenium o cualquier prueba de navegador en miles de nodos.

Según mi experiencia, Selenium Grid es esencial para escalar grandes cargas de trabajo de automatización de navegadores y raspado de JavaScript. La arquitectura distribuida le permite rastrear órdenes de magnitud más páginas.

Navegadores sin cabeza: ejecución ligera de JavaScript

Los navegadores sin cabeza brindan soporte para JavaScript sin toda la sobrecarga de administrar la interfaz de usuario del navegador. Algunas de las mejores opciones son:

Dramaturgo y Selenio Puede ejecutarse en un modo ligero y sin cabeza.
Astilla ofrece una abstracción de navegador simple además de Selenium, Playwright o solicitudes sin procesar.
pipetero proporciona una interfaz Python para controlar la biblioteca Chrome Puppeteer sin cabeza.

Por ejemplo, aquí se explica cómo habilitar el modo sin cabeza en Playwright:

from playwright.sync_api import sync_playwright

browser = playwright.chromium.launch(headless=True)

Ahora puedes ejecutar JavaScript, renderizar páginas web, generar capturas de pantalla, extraer HTML, todo sin el uso de recursos que supone ejecutar Chromium de forma visible.

Según las pruebas, los navegadores headless utilizan un 75% menos de CPU y un 65% menos de memoria que Chrome o Firefox completos.

Para cargas de trabajo pesadas de scraping, sugiero utilizar opciones de navegador sin cabeza. Proporcionan el poder de la representación de JavaScript con menores gastos generales.

¿Qué biblioteca de Python debería utilizar para el web scraping?

Con todas estas opciones, ¿cómo se eligen las bibliotecas de Python adecuadas para un proyecto de web scraping?

Aquí hay una guía rápida basada en los casos de uso más comunes que he visto:

Solicitudes HTTP básicas – Utilice la biblioteca de Solicitudes.
El rendimiento importa – HTTPX para asíncrono, LXML para análisis HTML rápido.
Sitios pesados AJAX/JS – Opte por la automatización del navegador Playwright o Selenium.
Rastreo a gran escala – Marco de raspado web Scrapy.
Prueba de navegador cruzado – Selenio Grid para distribución.
Representación JS ligera – Opciones de navegador sin cabeza.

No existe una solución única para todos. La clave es utilizar las herramientas adecuadas para sus necesidades específicas:

Sencillez – Hermosa Sopa y Pedidos
Velocidad – Gevent, HTTPX, LXML
JavaScript – Dramaturgo, Selenio, Pipetista
Escala – Clústeres scrapy, Selenium Grid
Checkout Extensibility – Middleware y extensiones Scrapy

Evalúe estos factores para su caso de uso. A menudo, el mejor enfoque es combinar bibliotecas; por ejemplo, usar Scrapy junto con Playwright y LXML.

El ecosistema Python ofrece una flexibilidad asombrosa. Con todas estas bibliotecas sólidas a su disposición, puede crear raspadores capaces de extraer datos de prácticamente cualquier sitio web.

Raspado impulsado por Python

¡Gracias por leer esta descripción general de las principales bibliotecas de Python para web scraping! Intenté compartir los aprendizajes clave de mi experiencia como especialista en scraping.

Aquí hay algunas conclusiones clave:

Solicitudes – Solicitudes HTTP simples.
HTTPX – Cliente HTTP asíncrono avanzado.
Hermosa sopa – Fácil análisis e iteración de HTML.
LXML – Analizador HTML/XML ultrarrápido.
Selenio – Herramienta de automatización del navegador veterana.
Dramaturgo – Sucesor de próxima generación de Selenium.
Scrapy – Marco de rastreo web de alta resistencia.
Rejilla de selenio – Pruebas de navegador distribuido escalable.
Navegadores sin cabeza – Ejecución JS ligera.

El web scraping en Python nunca ha sido tan fácil. Con este increíble ecosistema de bibliotecas, puede crear raspadores para extraer datos de prácticamente cualquier sitio web.

¡Déjame saber si tienes alguna otra pregunta! Siempre estaré feliz de conversar más sobre las herramientas y estrategias de scraping de Python.