El web scraping es el arte de extraer datos de un sitio web de forma automatizada y bien estructurada. Puede haber diferentes formatos para el scraping de datos, como Excel, CSV y muchos más. Algunos casos prácticos de uso del web scraping son la investigación de mercado, la supervisión de precios, la inteligencia de precios, la investigación de mercado y la generación de clientes potenciales. El web scraping es una técnica instrumental para hacer el mejor uso de los datos disponibles públicamente y tomar decisiones más inteligentes. Por lo tanto, es bueno que todo el mundo conozca al menos los conceptos básicos del web scraping para beneficiarse de él.
Ahora hemos visto cómo funciona el proceso de web scraping. Vamos a empezar con la codificación,
En la mayoría de los casos, Colab viene con paquetes de terceros ya instalados. Pero aún así, si sus sentencias import no funcionan, puede resolver este problema instalando algunos paquetes mediante los siguientes comandos,
pip install peticiones
pip install html5lib
pip install bs4importar solicitudes
URL = "http://www.values.com/inspirational-quotes"
r = requests.get(URL)
print(r.contenido)Mostrará la salida del formulario,
Intentemos entender este trozo de código,
importar peticiones
from bs4 import BeautifulSoup
URL = "http://www.values.com/inspirational-quotes"
r = requests.get(URL)
soup = BeautifulSoup(r.content, 'html5lib') # Si esta línea provoca un error, ejecuta 'pip install html5lib' o instala html5lib
print(soup.prettify())Da una salida muy larga; a continuación se adjuntan algunas capturas de pantalla.
Una de las mejores cosas de Beautiful Soup es que está construido sobre las bibliotecas de análisis HTML como html5lib, html.parse, lxml etc que permite que el objeto de Beautiful Soap y especificar la biblioteca de análisis se creen simultáneamente.
En el código anterior, hemos creado el objeto Beautiful Soup pasando dos argumentos:
Por último, se imprime soup.prettify(), que ofrece una representación visual del árbol de análisis a partir del contenido HTML sin procesar.
Ahora es el momento de extraer algunos de los datos útiles del contenido HTML. Los objetos sopa contienen los datos en forma de estructura anidada, que pueden extraerse mediante programación. En nuestro caso, estamos raspando una página web que consiste en algunas citas. Así que vamos a crear un programa que resuelve estas citas. El código se da a continuación,
#Python program to scrape website
#and save quotes from website
import requests
from bs4 import BeautifulSoup
import csv
URL = "http://www.values.com/inspirational-quotes"
r = requests.get(URL)
soup = BeautifulSoup(r.content, 'html5lib')
quotes=[] # a list to store quotes
table = soup.find('div', attrs = {'id':'all_quotes'})
for row in table.findAll('div', attrs = {'class':'col-6 col-lg-3 text-center margin-30px-bottom sm-margin-30px-top'}):
quote = {}
quote['theme'] = row.h5.text
quote['url'] = row.a['href']
quote['img'] = row.img['src']
quote['lines'] = row.img['alt'].split(" #")[0]
quote['author'] = row.img['alt'].split(" #")[1]
quotes.append(quote)
filename = 'inspirational_quotes.csv'
with open(filename, 'w', newline='') as f:
w = csv.DictWriter(f,['theme','url','img','lines','author'])
w.writeheader()
for quote in quotes:
w.writerow(quote)Antes de seguir adelante, se recomienda revisar el contenido HTML de la página web, que imprimimos utilizando el método soup.prettify() e intentar encontrar un patrón para navegar a las citas.
Ahora explicaré cómo conseguimos esto en el código anterior,
Si navegamos a través de las comillas, encontraremos que todas las comillas están dentro de un contenedor div cuyo id es 'all_quotes'. Así que encontramos ese elemento div (denominado tabla en el código) utilizando el método find():
table = soup.find('div', attrs = {'id':'all_quotes'})El primer argumento de esta función es la etiqueta HTML que debe buscarse. El segundo argumento es un elemento de tipo diccionario para especificar los atributos adicionales asociados con esa etiqueta. método find() devuelve el primer elemento coincidente. Se puede probar table.prettify() para tener una mejor idea de lo que hace este trozo de código.
Si nos centramos en el elemento tabla, el contenedor div contiene cada cita cuya clase es cita. Así que haremos un bucle a través de cada contenedor div cuya clase sea quote.
Aquí es muy útil el método findAll() que es similar al método find() en cuanto a los argumentos, pero la mayor diferencia es que devuelve una lista de todos los elementos coincidentes.
Estamos iterando a través de cada cita utilizando una variable llamada fila.
Analicemos un ejemplo de contenido de fila HTML para comprenderlo mejor:
Ahora considere el siguiente fragmento de código:
for row in table.findAll('div', attrs = {'class':'col-6 col-lg-3 text-center margin-30px-bottom sm-margin-30px-top'}):
quote = {}
quote['theme'] = row.h5.text
quote['url'] = row.a['href']
quote['img'] = row.img['src']
quote['lines'] = row.img['alt'].split(" #")[0]
quote['author'] = row.img['alt'].split(" #")[1]
quotes.append(quote)
filename = 'inspirational_quotes.csv'
with open(filename, 'w', newline='') as f:
w = csv.DictWriter(f,['theme','url','img','lines','author'])
w.writeheader()
for quote in quotes:
w.writerow(quote)Además, también podemos añadir, eliminar, modificar y acceder a los atributos de las etiquetas. Para ello, tratamos la etiqueta como un diccionario:
quote['url'] = fila.a['href']Por último, generaremos un archivo CSV, que utilizaremos para guardar nuestros datos.
nombre_archivo = 'citas_inspirativas.csv'Hemos llamado a nuestro archivo inspirational_qoutes.csv y hemos guardado en él todas las citas para utilizarlas también en el futuro. Este es el aspecto de nuestro archivo inspirational_quotes.csv,
En la salida anterior, sólo hemos mostrado tres filas, pero en realidad hay 33 filas. Esto significa que hemos extraído una cantidad considerable de datos de la página web con un simple intento.
Algunos de los escenarios del mundo real en los que el web scraping podría tener una utilidad masiva son,
Realizar un estudio de mercado adecuado es el elemento más importante de toda empresa en funcionamiento y, por lo tanto, requiere información muy precisa. El análisis de mercado se nutre de un gran volumen de datos, de alta calidad y muy perspicaces, que pueden ser de diferentes tamaños y formas. Estos datos pueden ser una herramienta muy útil para realizar inteligencia empresarial. El estudio de mercado se centra principalmente en los siguientes aspectos empresariales:
El web scraping puede ser una técnica muy útil y fructífera para crear los listados según los tipos de negocio, por ejemplo, inmobiliarias y tiendas de comercio electrónico. Una herramienta de web scraping puede ayudar a la empresa a examinar miles de listados de productos de la competencia en su tienda y recopilar toda la información necesaria, como precios, detalles del producto, variantes y opiniones. Se puede hacer en sólo unas horas, lo que puede ayudar aún más a crear listados propios, centrándose así más en las demandas de los clientes.
El raspado web ayuda a varias empresas a recopilar y comparar información y a proporcionar esos datos de forma significativa. Pensemos en los sitios web de comparación de precios que extraen opiniones, características y todos los detalles esenciales de otros sitios web. Estos datos pueden recopilarse y adaptarse para facilitar el acceso. Así, se puede generar una lista de diferentes minoristas cuando el comprador busca un producto concreto. De este modo, el web scraping facilitará enormemente el proceso de toma de decisiones al consumidor, mostrándole diversos análisis de productos en función de su demanda.
El web scraping puede ayudar a agregar la información y mostrarla de forma organizada al usuario. Consideremos el caso de los agregadores de noticias. El web scraping se utilizará de las siguientes maneras,
Así que en este artículo, hemos hecho un análisis en profundidad de cómo funciona el web scraping considerando un caso de uso práctico. También hemos hecho un ejercicio muy sencillo sobre la creación de un simple web scraper en Python. Ahora puedes scrapear cualquier otro sitio web de tu elección. Además, también hemos visto algunos escenarios del mundo real en los que el web scraping puede desempeñar un papel importante. Esperamos que hayas disfrutado del artículo y que todo haya sido claro, interesante y comprensible.