La gente puede recopilar y raspar fácilmente información de múltiples fuentes como Facebook, Reddit y Twitter. Se puede pensar en un scraper como una herramienta especializada que extrae datos de una página web con precisión y rapidez. Las API de scraping ayudan a los scrapers a evitar ser baneados por las técnicas anti-scraping que colocan los sitios web. Sin embargo, es caro utilizar las API en comparación con una herramienta proxy gestionada por uno mismo.
Reddit tiene una API llamada Python Reddit API Wrapper, abreviada como PRAW, para rastrear datos. En este blog, voy a mostrar los pasos sobre cómo raspar Reddit utilizando Python. Pero antes de eso, usted necesita saber por qué usted tiene que raspar Reddit.
Si hablamos del diseño de Reddit, entonces está dividido en varias comunidades conocidas como "subreddits". Puedes encontrar cualquier subreddit de tu tema de interés en Internet. Los investigadores sociales realizan análisis, hacen inferencias y ponen en marcha planes de acción cuando extraen los debates de Reddit sobre un tema concreto.
Puedes extraer muchos datos de Reddit, por ejemplo:
Puedes scrapear cualquier información de Reddit relevante para tu negocio por las siguientes necesidades:
Por ejemplo,
Reddit scraping utiliza web scrapers (programas informáticos) para extraer datos disponibles públicamente del sitio web de Reddit. Es necesario utilizar los raspadores de Reddit debido a las limitaciones a las que se enfrenta al utilizar la API oficial de Reddit. Sin embargo, si utiliza el raspador web que no utiliza la API de Reddit para extraer datos de Reddit, violará las condiciones de uso de Reddit. Pero esto no significa que el web scraping sea ilegal.
Para tener una sesión de scraping sin problemas, tendrás que evadir los sistemas anti-scraping puestos en marcha por Reddit. Las técnicas anti-scraping más comunes utilizadas por Reddit son:
Puede resolver el problema del rastreo de IP con la ayuda de proxies y rotación de IP. Por otro lado, puede resolver el problema de Captchas utilizando Captcha solves como 2Captcha.
Hay cinco formas de scrapear Reddit, y son:
Veamos cómo podemos scrapear Reddit utilizando la API de Reddit con la ayuda de los siguientes pasos.
En primer lugar, importaremos los módulos incorporados de Pandas, es decir, datetime, y dos módulos de terceros, PRAW y Pandas, como se muestra a continuación:
importar praw
import pandas como pd
import datetime como dtPuedes acceder a los datos de Reddit usando Praw, que significa Python Reddit API Wrapper. Primero, necesitas conectarte a Reddit llamando a la función praw.Reddit y almacenándola en una variable. Después, tienes que pasar los siguientes argumentos a la función.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS ', \
user_agent='TU_NOMBRE_APP', \
nombre_usuario='YOUR_REDDIT_USER_NAME', \
contraseña='YOUR_REDDIT_LOGIN_PASSWORD')subreddit = reddit.subreddit('Nootrópicos')Cada subreddit tiene las siguientes cinco formas diferentes de organizar los temas creados por los Redditors:
Puedes coger los temas más votados como:
top_subreddit = subreddit.top()Obtendrá un objeto en forma de lista con los 100 mejores envíos en r/Nootropics. Sin embargo, el límite de peticiones de Reddit es 1000, por lo que puedes controlar el tamaño de la muestra pasando un límite a .top as:
top_subreddit = subreddit.top(limit=600)Puedes raspar los datos que quieras. Sin embargo, vamos a raspar la siguiente información sobre los temas:
Para ello, almacenaremos los datos en un diccionario y utilizaremos un bucle for como se muestra a continuación.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Ahora podemos extraer los datos de la API de Reddit. Añadiremos la información a nuestro diccionario iterando a través de nuestro objeto top_subreddit.
for envío in top_subreddit:
topics_dict["id"].append(envío.id)
topics_dict["título"].append(envío.título)
topics_dict["puntuación"].append(puntuación.envío)
topics_dict["creado"].append(envío.creado)
topics_dict["cuerpo"].append(envío.autotexto)Ahora, ponemos nuestros datos en Pandas Dataframes ya que los diccionarios de Python no son fáciles de leer.
topics_data = pd.DataFrame(topics_dict)Es muy fácil crear ficheros de datos en varios formatos en Pandas, así que usamos las siguientes líneas de código para exportar nuestros datos a un fichero CSV.
topics_data.to_csv('FILENAME.csv', index=False)Ya sabes que Reddit no es un sitio muy estricto en cuanto a las restricciones de uso de proxies. Pero puedes ser atrapado y penalizado si automatizas tus acciones en Reddit sin usar proxies.
Así pues, veamos algunos de los mejores proxies para Reddit que se dividen en dos categorías:
Estos son algunos de los mejores proxies residenciales y de centros de datos para Reddit.
ProxyScrape ofrece tres tipos de servicios a sus usuarios,
Necesitas proxies cuando trabajas con algunas herramientas automáticas en Reddit. Esto se debe a que Reddit es un sitio web muy sensible que detecta fácilmente las acciones automáticas y bloquea tu IP de acceso a la plataforma. Así que, si estás automatizando algunas de las tareas como votos, posts, unirte/desunirte de grupos, y gestionar más de una cuenta, definitivamente necesitas usar proxies para evitar malos resultados.
Puede optar por el scraping manual si sus requisitos de scraping de Reddit son pequeños. Pero si los requisitos son grandes, debe aprovechar las metodologías de raspado automatizadas, como las herramientas de raspado web y las secuencias de comandos personalizadas. Los raspadores web demuestran ser rentables y eficientes en cuanto a recursos cuando sus requisitos diarios de raspado no superan unos pocos millones de publicaciones.
Por lo tanto, echemos un vistazo a algunos de los mejores raspadores de Reddit como la mejor solución para raspar grandes cantidades de datos de Reddit.