¿Cuáles son algunas alternativas de BeautifulSoup para el análisis de HTML en Python?

Como desarrollador de Python, probablemente esté familiarizado con BeautifulSoup (también conocido como BS4), la venerable biblioteca de análisis HTML/XML que ha sido un elemento básico del web scraping de Python durante más de una década.

Pero es posible que no sepas que Beautiful Soup está lejos de ser la única opción para analizar HTML en Python hoy en día. De hecho, existe una sorprendente cantidad de alternativas capaces de BeautifulSoup que en algunos casos incluso superan a BS4 en funcionalidad y rendimiento.

En esta guía completa, exploraremos algunas de las alternativas de BeautifulSoup más populares y poderosas para el raspado y análisis de HTML con Python.

¿Por qué considerar alternativas a BeautifulSoup?

Antes de profundizar en las opciones, es posible que se pregunte: ¿por qué considerar alternativas en primer lugar?

Aquí hay algunas razones por las que quizás quieras mirar más allá de BeautifulSoup para tus proyectos de web scraping de Python:

Mejor rendimiento – Algunos analizadores más nuevos superan significativamente a BS4 en los puntos de referencia. La velocidad es fundamental cuando se raspan sitios grandes.
más características – Bibliotecas como lxml proporcionan capacidades adicionales como compatibilidad con XPath.
Mejor análisis de HTML5 – BeautifulSoup ocasionalmente puede tener problemas con HTML moderno y con formato incorrecto.
API más sencillas – Bibliotecas como parsel ofrecen API Pythonic más intuitivas.
Multi-threading – Algunos analizadores alternativos permiten el análisis de subprocesos múltiples para aprovechar múltiples núcleos de CPU.
Cumplimiento de normas – Es posible que necesite un analizador que siga rigurosamente las especificaciones HTML.
Instalación más sencilla – BS4 tiene algunas dependencias de C que pueden causar problemas de instalación, especialmente en sistemas restringidos como AWS Lambda. Las alternativas con código Python puro se pueden implementar más fácilmente.

Entonces, si bien BS4 sigue siendo una buena opción, vale la pena considerar otras opciones excelentes. ¡Echemos un vistazo a algunas de las mejores alternativas de BeautifulSoup para el análisis de HTML y el web scraping en Python!

lxml – Rápido como un rayo

Una de las alternativas BeautifulSoup más populares y poderosas es lxml. La biblioteca lxml proporciona una API extremadamente rápida y rica en funciones para analizar HTML y XML con Python.

En los puntos de referencia, lxml supera consistentemente a BeautifulSoup por márgenes significativos. No es raro ver Mejoras de velocidad de 10 a 100 veces cuando se usa lxml para el análisis de HTML en lugar de BeautifulSoup.

Esto hace que lxml sea una herramienta esencial para cualquiera que busque sitios grandes o analice documentos HTML enormes. Las ventajas de velocidad le permiten analizar el marcado de manera mucho más eficiente y reducir los costos del raspado con muchos hilos.

Algunas ventajas clave de lxml:

Increíble velocidad de análisis de XML y HTML
Soporte para documentos muy grandes.
Soporte XPath 1.0 para consultas sofisticadas
Soporte de selector CSS similar a BeautifulSoup
Subprocesamiento más sencillo: lxml libera el GIL, por lo que permite el análisis de subprocesos múltiples
Soporte de análisis HTML5

Veamos un ejemplo rápido para ver lxml en acción:

from lxml import html
import requests

page = requests.get(‘https://en.wikipedia.org/wiki/Web_scraping‘)
tree = html.fromstring(page.content)

# Get headlines 
headings = tree.xpath(‘//h1/text()|//h2/text()|//h3/text()|//h4/text()|//h5/text()|//h6/text()‘)

print(headings)

Este sencillo ejemplo demuestra la velocidad de lxml: ¡puede analizar y consultar una página completa de Wikipedia en milisegundos!

Algunas desventajas a considerar sobre lxml:

Curva de aprendizaje más complicada que BeautifulSoup. Las consultas XPath tienen una curva de aprendizaje más pronunciada que los selectores CSS.
Sin detección de codificación incorporada como BS4.
No hay representación de objetos Pythonic de elementos como BS4. La manipulación se realiza a través de las API de navegación DOM.

Aún así, para la mayoría del web scraping de producción, lxml es una parte esencial de su conjunto de herramientas. Las ganancias de velocidad le permiten extraer muchos más datos de manera mucho más eficiente.

parsel – lxml, simplificado

Si le gusta lo que lxml aporta pero encuentra la API demasiado compleja, consulte parcela.

Parsel proporciona una API más Pythonic y más fácil de usar al envolver lxml y proporcionar una interfaz basada en selectores para extraer datos de HTML/XML.

La ventaja clave del pársel es simplicidad y legibilidad. Parsel fue diseñado desde cero teniendo en cuenta el web scraping, mientras que lxml admite una gama mucho más amplia de funciones de análisis XML.

En comparación con lxml, parsel ofrece:

Expresiones de selector CSS simplificadas
Manejo de codificación automática
API de extracción de texto y atributos mucho más sencillas
Enfoque más intuitivo en general

Por ejemplo, aquí se explica cómo extraer texto y atributos usando selectores de parsel:

from parsel import Selector

html = ‘‘‘<div>
             <p class="summary">Some text <a href="/es/more">More</a></p>
           </div>‘‘‘

sel = Selector(text=html)

print(sel.css(‘p::text‘).get()) # Some text More 

print(sel.css(‘a::attr(href)‘).get()) # /more

La API TheSelector resultará muy familiar para cualquiera que provenga de BeautifulSoup o jQuery. ¡Pero obtienes todos los beneficios de rendimiento de lxml bajo el capó!

En general, parsel es una excelente opción cuando desea una interfaz de scraping simple e intuitiva pero no quiere sacrificar la velocidad o las ventajas de compatibilidad de lxml.

html5lib – Análisis compatible con estándares

Una de las mejores alternativas de BeautifulSoup es html5lib.

html5lib es único porque analiza HTML exactamente de la misma manera que lo hace un navegador web moderno. Se acerca rigurosamente a la especificación HTML y genera un modelo de objeto de documento que se adhiere estrechamente a la especificación DOM oficial del W3C.

Las ventajas de html5lib incluyen:

Análisis HTML fiel y compatible según las reglas del navegador HTML5
Manejo elegante del marcado mal formado en el mundo real
Fácil instalación ya que está implementado exclusivamente en Python.
Puede actuar como reemplazo directo de BS4 en la mayoría de los casos.
Altamente personalizable y extensible

Veamos el uso básico de html5lib:

import html5lib

html = ‘<div><span>Example</span></div>‘

parser = html5lib.HTMLParser()
dom = parser.parse(html)

print(dom.getElementsByTagName(‘span‘)[0].toxml())  
# <span>Example</span>

Podemos ver que html5lib produce un objeto DOM estándar a partir del documento.

Una desventaja es que html5lib es más lento que algo como lxml. Pero es una excelente opción cuando necesita un analizador que pueda manejar incluso el marcado con formato incorrecto de una manera compatible con el navegador.

Analizadores HTML de Python alternativos

Si bien lxml, parsel y html5lib se encuentran entre las alternativas de BeautifulSoup más capaces, existen algunas otras opciones:

PyQuery – Manipulación DOM estilo jQuery.
HermosaSopa4 – La hermosa sopa OG. API más lenta pero muy accesible.
Analizador HTML – Analizador HTML integrado de Python.
htmlmin – Para minimizar HTML.
Marcado seguro – Implementa un analizador HTML/XML que expone el marcado como objetos Python.

Estas bibliotecas satisfacen diferentes necesidades de análisis. PyQuery, por ejemplo, proporciona manipulación DOM al estilo jQuery. BeautifulSoup4 sigue siendo popular debido a su sencilla API.

También hay enlaces de Python para analizadores HTML rápidos como Ganso y jrápido que aprovechan otros motores de análisis subyacentes de alta velocidad.

Si bien no es un reemplazo directo, para tareas básicas de análisis, el HTMLParser integrado de Python también puede funcionar.

El punto es: no se limite solo a BeautifulSoup. Evalúe sus necesidades comparándolas con las numerosas herramientas de análisis disponibles.

Cómo se comparan los analizadores en los puntos de referencia

Para demostrar las diferencias de rendimiento, comparemos algunas operaciones comunes utilizando BeautifulSoup, lxml, html5lib y HTMLParser de Python.

He creado un simple secuencia de comandos de referencia que multiplica varios analizadores en 3 tareas:

Analizando una página HTML de Wikipedia de ~3 KB
Encontrar todos los enlaces
Encontrar elementos específicos

Y aquí están los resultados en mi computadora portátil:

Analizador	Tiempo de análisis	Buscar todos los enlaces	Buscar elemento
lxml	3.5ms	9ms	0.1ms
html5lib	33ms	64ms	7ms
BeautifulSoup	12ms	18ms	1ms
Analizador HTML	4ms	32ms	0.5ms

Como era de esperar, lxml es extremadamente rápido: 10 veces más rápido que html5lib en algunas operaciones. Sorprendentemente, HTMLParser se mantiene firme en el análisis básico, pero comienza a retrasarse al consultar elementos.

Estos puntos de referencia en un pequeño documento acentúan las diferencias. Las brechas crecerían aún más en documentos HTML más grandes donde la velocidad de lxml realmente brilla.

Ejemplos del mundo real

Veamos ahora algunos ejemplos del mundo real utilizando estos analizadores alternativos para tareas de web scraping:

Raspado de listados de productos con lxml

Aquí extraeremos algunas listas de productos de un sitio de comercio electrónico. Lxml agiliza la extracción de cualquier dato que necesitemos:

from lxml import html
import requests

page = requests.get(‘https://myshop.com/products‘)
doc = html.fromstring(page.content)

# Extract product listings
products = doc.xpath(‘//div[@class="product"]‘) 

for product in products:
   name = product.xpath(‘.//h2[@class="name"]/text()‘)[0]
   price = product.xpath(‘.//span[@class="price"]/text()‘)[0]

   print(name, price)

Con lxml podemos analizar rápidamente incluso documentos HTML grandes y utilizar consultas XPath breves para extraer cualquier dato que necesitemos.

Tablas de scraping con pandas y html5lib

Digamos que necesitamos raspar tablas HTML en un DataFrame de pandas. Html5lib analiza tablas de forma fiable:

import html5lib
import pandas as pd

html = ‘‘‘<table>
  <tr>
    <th>Name</th>
    <th>Age</th> 
   </tr>
   <tr>
     <td>John</td>
     <td>30</td>  
   </tr>
   <tr>
     <td>Jane</td>
     <td>32</td>  
   </tr>
</table>‘‘‘

parser = html5lib.HTMLParser()
dom = parser.parse(html)

rows = []
for tr in dom.getElementsByTagName(‘tr‘):
  rows.append([td.text for td in tr.getElementsByTagName(‘td‘)])

df = pd.DataFrame(rows[1:], columns=rows[0])
print(df)  
#    Name  Age
# 0  John   30   
# 1  Jane   32

El cumplimiento de los estándares de Html5lib garantiza que el raspado de tablas funcione de manera consistente incluso en marcas problemáticas.

Raspado de texto con parsel

Para páginas con mucho texto, Parsel facilita la extracción:

from parsel import Selector 

html = ‘‘‘<div>
            <p>Paragraph 1</p>
            <p>Paragraph 2</p>
         </div>‘‘‘

sel = Selector(text=html)  
content = sel.xpath(‘//div//text()‘).getall()
print(content)

# [‘Paragraph 1‘, ‘Paragraph 2‘]

¡Parsel nos brinda la simplicidad de BeautifulSoup combinada con la velocidad de lxml!

Criterios para elegir una biblioteca de análisis HTML

Al evaluar todas estas alternativas de BeautifulSoup, ¿qué criterios son los más importantes para su proyecto?

Velocidad – Si el rendimiento es crítico, lxml es difícil de superar.
Exactitud – Para un análisis confiable de páginas problemáticas, html5lib brilla.
Conjunto de características – Lxml proporciona navegación DOM más completa y compatibilidad con XPath.
API familiar – Los selectores CSS de BeautifulSoup son los más fáciles de aprender.
Manejo de marcas mal formadas – Lxml y html5lib manejan HTML del mundo real de manera más sólida.
Conformidad con los estándares – Html5lib tiene el más estricto cumplimiento del comportamiento del navegador HTML5.
Facilidad de uso – Parsel y PyQuery ofrecen las API de raspado más simples.

No existe un mejor analizador para todos los escenarios. Analice sus requisitos específicos y casos de uso para decidir qué es óptimo.

A menudo, lo mejor es utilizar una combinación de bibliotecas, por ejemplo, html5lib para analizar y lxml para consultar. Pruebe diferentes opciones en páginas de muestra para tener una idea de qué funciona bien y de manera confiable para sus necesidades particulares de web scraping.

Sin analizador para el web scraping

Aquí nos hemos centrado en las bibliotecas de análisis HTML. Pero vale la pena señalar que existen alternativas al enfoque de análisis.

Es posible extraer datos sin un analizador HTML usando:

Expresiones regulares – Regex se puede utilizar para hacer coincidir patrones HTML sin procesar y extraer datos. Frágil pero a veces viable para casos simples.
Operaciones de cadena – Utilice métodos de cadena de Python para buscar, dividir y dividir cadenas HTML.
Solicitudes HTTP – Realizar solicitudes directamente a las API y extraer respuestas de las API.
Automatización del navegador – Aproveche herramientas como Selenium para extraer contenido de JavaScript renderizado.
Convertir a formatos como JSON/XML – Elimina feeds de datos estructurados en lugar de HTML.

Estos enfoques pueden ser útiles, pero normalmente no se escalan ni funcionan de manera confiable, especialmente para sitios complejos. Generalmente se recomiendan las bibliotecas de análisis HTML para mayor solidez.

Pero si sus páginas son extremadamente simples o necesita renderizado JS, un enfoque sin analizador puede ser suficiente.

Puntos clave

Si bien Beautiful Soup resuelve muchas necesidades comunes de análisis de HTML, vale la pena considerar alternativas como lxml, parsel y html5lib:

Lxml – El estándar de oro en velocidad y rendimiento. Ideal para raspado web a escala de producción.
parcela – API simple para facilitar el scraping. Se basa en la velocidad lxml.
html5lib – Análisis compatible con el navegador para mayor precisión y cumplimiento de estándares.
Los puntos de referencia – Lxml es hasta 100 veces más rápido que html5lib en algunas operaciones.
Criterios – Velocidad vs legibilidad vs corrección. Evalúe las compensaciones para su caso de uso.
Sin analizador – Para casos simples, las operaciones de expresiones regulares/cadenas pueden funcionar.

No se limite solo a BeautifulSoup: el ecosistema Python ofrece una variedad asombrosa en capacidades de análisis de HTML. ¡Aprovecha las herramientas adecuadas para cada trabajo!