Web scraping can be defined as the method of collecting and restructuring data from websites. It can also be defined as the programmatic approach of obtaining website data in an automated manner. For instance, you want to extract the email IDs of all people who commented on a Facebook post. You can do this by
El web scraping puede definirse como el método de recopilación y reestructuración de datos de sitios web. También puede definirse como el método programático de obtener datos de sitios web de forma automatizada. Por ejemplo, desea extraer los ID de correo electrónico de todas las personas que comentaron un post de Facebook. Puede hacerlo de dos maneras. En primer lugar, puedes apuntar con el cursor a la cadena de direcciones de correo electrónico de cualquier persona. A continuación, puedes copiarla y pegarla en un archivo. Este método se conoce como scraping manual. Pero, ¿y si quiere reunir 2.000 direcciones de correo electrónico? Con la ayuda de una herramienta de web scraping, puede extraer todos los ID de correo electrónico en 30 segundos en lugar de 3 horas si utiliza el scraping manual.
Puedes utilizar herramientas de web scraping para extraer información de sitios web. Sólo hay que saber hacer clic y no se requieren conocimientos de programación. Estas herramientas consumen pocos recursos y ahorran tiempo y dinero. Puedes raspar millones de páginas en función de tus necesidades sin preocuparte por los anchos de banda de la red. Algunos sitios web implementan anti-bots que disuaden a los scraper de recopilar datos. Pero las buenas herramientas de raspado web tienen funciones integradas para evitar estas herramientas y ofrecer una experiencia de raspado sin problemas.
Python dispone de excelentes herramientas para scrapear los datos de la web. Por ejemplo, puedes importar la librería requests para recuperar el contenido de una página web y bs4(BeautifulSoup) para extraer la información relevante. Puedes seguir los siguientes pasos para hacer web scrape en Python. Vamos a extraer información de esta página web.
Tiene que importar la biblioteca de peticiones para obtener el HTML del sitio web.
solicitudes de importaciónTienes que hacer una petición GET al sitio web. Puedes hacerlo pegando la URL en la función requests.get().
r = requests.get('http://www.cleveland.com/metro/index.ssf/2017/12/case_western_reserve_university_president_barbara_snyders_base_salary_and_bonus_pay_tops_among_private_colleges_in_ohio.html')Extraiga el contenido de la página web utilizando r.content. Proporciona el contenido del sitio web en bytes.
c = r.contenidoTienes que importar la librería BeautifulSoup ya que facilita el scrapeo de información de páginas web.
from bs4 import BeautifulSoupTienes que crear un objeto BeautifulSoup a partir del contenido y analizarlo utilizando varios métodos.
sopa = BeautifulSoup(c)
print(sopa.obtener_texto())Obtendrás la salida (es sólo una parte) más o menos así.
Tenemos que encontrar los selectores CSS adecuados ya que necesitamos extraer nuestros datos deseados. Podemos encontrar el contenido principal de la página web utilizando el método .find() del objeto soup.
main_content = soup.find('div', attrs = {'class': 'entry-content'})Podemos recuperar la información como texto de la tabla utilizando el atributo.text de la sopa.
content = contenido_principal.find('ul').text
print(contenido)
Recuperamos el texto de la tabla como una cadena. Pero la información será de gran utilidad si extraemos las partes específicas de la cadena de texto. Para lograr esta tarea, necesitamos pasar a las Expresiones Regulares.
Las expresiones regulares(RegEx) son una secuencia de patrones que definen un patrón de búsqueda. La idea básica es que
Supongamos que queremos extraer la siguiente información de la tabla de texto.
Puede extraer los tres datos siguiendo los pasos que se mencionan a continuación.
Importa re y para extraer los salarios, tienes que hacer un patrón de salarios. Utilice el método re.compile () para compilar un patrón de expresión regular proporcionado como cadena en un objeto patrón RegEx. Además, puede utilizar pattern.findall() para encontrar todas las coincidencias y devolverlas como una lista de cadenas. Cada cadena representará una coincidencia.
importar re
patrón_salario = re.compile(r'\$.+')
salarios = salary_pattern.findall(contenido)Repita el mismo procedimiento para extraer los nombres de las universidades. Haga un patrón y extraiga los nombres.
school_pattern = re.compile(r'(?:,|,\s)([A-Z]{1}.*?)(?:\s\(|:|,)')
schools = school_pattern.findall(content)
print(schools)
print(salaries)
Repita el mismo procedimiento para extraer los nombres de los presidentes. Haz un patrón y extrae los nombres necesarios.
name_pattern = re.compile(r'^([A-Z]{1}.+?)(?:,)', flags = re.M)
names = name_pattern.findall(content)
print(names)
Los salarios se ven desordenados y no son comprensibles. Por lo tanto, utilizaremos la comprensión de listas de Python para convertir los salarios de cadena en números. Utilizaremos el corte de cadenas, la división y unión, y la comprensión de listas para conseguir los resultados deseados.
salarios = ['876.001$', '543.903$', '2453.896 $']
[int(''.join(s[1:].split(','))) for s in salarios]La salida es como:
La visualización de datos le ayuda a entender los datos visualmente para que puedan exponerse las tendencias, los patrones y las correlaciones. Puedes traducir una gran cantidad de datos en gráficos, diagramas y otros elementos visuales para identificar los valores atípicos y obtener información valiosa.
Podemos utilizar matplotlib para visualizar los datos, como se muestra a continuación.
Importe las bibliotecas necesarias como se muestra a continuación.
importar pandas como pd
import matplotlib.pyplot como pltHaz un dataframe pandas de escuelas, nombres y salarios. Por ejemplo, puede convertir las escuelas en un dataframe como:
df_escuela = pd.DataFrame(escuelas)
imprimir(df_escuela)La salida es:
Del mismo modo, puede hacer lo mismo con los salarios y los nombres.
Para visualizar los datos, podemos trazar un gráfico de barras como el que se muestra a continuación.
df.plot(kind='barh', x = 'Presidente', y = 'salario')La salida es como:
El raspado web ayuda a las empresas a extraer información útil sobre perspectivas de mercado e industrias para ofrecer servicios impulsados por datos y tomar decisiones basadas en datos. Los proxies son esenciales para raspar datos de varios sitios web por las siguientes razones de manera efectiva.
¿Sabe cuántos proxies se necesitan para obtener las ventajas mencionadas? Puede calcular el número necesario de proxies utilizando esta fórmula:
Número de proxies = Número de solicitudes de acceso / Crawl Rate
El número de solicitudes de acceso depende de los siguientes parámetros.
Por otro lado, la tasa de rastreo está limitada por el número de peticiones que el usuario realiza en un determinado periodo de tiempo. Algunos sitios web permiten un número limitado de solicitudes por usuario para diferenciar las solicitudes automatizadas de las humanas.
Puedes utilizar proxies en Python siguiendo los pasos que se indican a continuación.
solicitudes de importaciónproxy = ' http://114.121.248.251:8080'
url = 'https://ipecho.net/plain'page = requests.get(url,
proxies={"http": proxy, "https": proxy})imprimir(página.texto)La salida es como:
Hemos hablado de que podemos utilizar el web scraping para extraer datos de sitios web en lugar de utilizar el scraping manual. El web scraping es un proceso rentable que ahorra tiempo. Las empresas lo utilizan para recopilar y reestructurar información web para tomar decisiones basadas en datos y obtener información valiosa. El uso de proxies es esencial para el web scraping seguro, ya que oculta la dirección IP original del usuario del sitio web de destino. Puede utilizar proxies de centro de datos o residenciales para el web scraping. Pero es preferible utilizar proxies residenciales, ya que son rápidos y no pueden ser detectados fácilmente. Además, podemos utilizar expresiones regulares en Python para encontrar conjuntos de cadenas. Esto significa que podemos extraer cualquier patrón de cadena del texto con la ayuda de expresiones regulares. También vimos que la visualización de datos convierte cantidades voluminosas de datos en cuadros, gráficos y otros elementos visuales que nos ayudan a detectar anomalías e identificar tendencias útiles en los datos.