~ Un cuento de webscraping por Arya - Un usuario de ProxyScrape
Para que quede claro, debo aclarar que no soy un representante oficial de ProxyScrape. Sin embargo, soy un gran fan y cliente de sus servicios. Si aún no los utiliza, le recomiendo encarecidamente que lo haga. Las siguientes opiniones y pensamientos son enteramente míos.
"Oh $!*^, no hay manera"
Esa es exactamente la sensación que me encontré murmurando a las 3 de la madrugada, al darme cuenta de que una empresa que en su día estuvo tan de moda como los repartos de leche, algo que la mayoría de la gente relegaría a la época de la música disco y los trajes de neón, sigue dando vueltas como un mal corte de pelo de los 80. Y, por desgracia, está en todas partes.
Esta empresa era el verdadero negocio en su mejor momento. No podías escapar de ella durante su apogeo. Ahora, su nombre sólo se murmura con una pizca de nostalgia en las residencias de ancianos.
"Páginas Amarillas".
Quizá se pregunte: "¿Por qué importa esto? ¿Por qué debería importarle a alguien? ¿Por qué no es un TikTok de los años 30 con un tío jugando a GTA 5 en la otra mitad?" Pues bien, uno de los usos más populares del web scraping es el descubrimiento y la generación de oportunidades. En el país de las maravillas del capitalismo, donde todo el mundo vende alguna locura, tiene sentido buscar en Internet a los imbéciles que se "HODL" y "FOMO" en su cripto multipropiedad con forma de "medio rombo". Y oye, para que quede claro, "NO es un esquema piramidal... sólo tiene la forma de esas famosas cosas puntiagudas de Egipto".
So, here’s the kicker. One of the absolute gems for B2B lead generation, in my humble opinion, is none other than YellowPages (or Yell for you “chewsday” people). Why? Well, let me break it down:
Puede que no sea la palabra de moda en los círculos de marketing, pero ahí reside la oportunidad. Mientras otros persiguen las últimas tendencias, los menos avispados reconocen el potencial de los rincones olvidados de Internet. Puede que YellowPages sea una reliquia del pasado, pero en el mundo de la generación de contactos es una reliquia con un potencial sin explotar y una hoja de ruta hacia el éxito.
Ahora, te estarás preguntando: "¿Cómo podría aprovechar una oportunidad así?". - Vamos a recorrer juntos cada paso y, con un poco de suerte, incluso algunos de vosotros, neandertales, seréis capaces de rascar YellowPages al final de esto.
Vamos a enfocar esto como lo haríamos con cualquier otro sitio web. El primer paso es averiguar cómo coño funciona el sitio web. Esto normalmente requiere que tú, sí, tú, averigües cómo navegar hasta donde se encuentran esos jugosos datos. ¿Cómo esperas extraer los datos si no puedes encontrarlos?
Arriba: Página de aterrizaje de YellowPages Canadala desafortunada víctima de este post.
Como puedes ver en la página de inicio, hay dos entradas de texto: una para el término de búsqueda y otra para la ubicación. Rellenémoslos y hagamos una búsqueda; yo buscaré "Dentistas" en "Toronto, Ontario".
Arriba: Página de resultados de YellowPages Canada.
Una vez que averigüe su ABC y los rellene y consiga localizar el botón de búsqueda Y hacer clic en él (estoy impresionado), debería ser redirigido a una página como la de arriba que tiene una ruta como la siguiente:
/buscar/si/1/Dentistas/Toronto+ON
Podemos deducir la siguiente estructura de caminos (esto nos será útil más adelante):
/buscar/si/[Número de página]/[Término de búsqueda]/[Localidad]+[Código de región].
Otra cosa a tener en cuenta, ya hemos localizado los datos que queremos, los listados de negocios - vamos a averiguar donde estos listados de negocios se están cargando en, debe ser enviado dentro del documento O obtenido de un punto final de la API (o si eres torpe, y confía en mí que lo he visto - websockets).
Se muestra arriba: Las peticiones fetch/XHR originadas en la página. (Spoiler: los datos no están en ninguna de ellas).
Arriba: Los listados de empresas dentro del documento. (OMGEEE Los datos estaban de hecho dentro del documento).
Al escudriñar las solicitudes de la API en busca de los datos, resultó inútil. Entonces nos centramos en el HTML. Después de "navegar por el panorama digital durante más de una década", supe instintivamente que los datos estaban en el documento, gracias a la ágil capacidad de respuesta de las páginas.
Pero seamos realistas. Dado que YellowPages es una empresa de guías telefónicas que busca desesperadamente relevancia y, lo que es más importante, ingresos, es improbable que hagan alarde de tecnología punta. Las posibilidades de que contraten a desarrolladores que presumen de franelas y tienen cincuenta aplicaciones de tareas pendientes basadas en React en su currículum son mínimas. Así que, ¿estamos realmente sorprendidos de que la página web sea estática?
Sin embargo, los listados de la página están contenidos en un div, extraíble mediante el selector "div.resultList". Cada listado individual, convenientemente anidado dentro del elemento mencionado, puede extraerse con el selector div[itemtype="http://schema.org/LocalBusiness]
Te dejaré que descubras cómo extraer individualmente los datos más allá de este nivel de granularidad; de lo contrario, estaríamos aquí para siempre. Utiliza el atributo "itemprop" - debería facilitarte significativamente el proceso.
Ahora, a automatizar la extracción: Deberías paginar a través de los resultados usando la URL (recuerda la estructura de rutas que discutimos antes), extrayendo elementos y datos de cada página hasta que llegues a una página vacía. Personalmente, he optado por utilizar Rust para este proyecto, ya que es rápido y proporciona una fácil paralelización (que será importante en un segundo), aprovechando las cajas "reqwest" y "select" para manejar el trabajo pesado. Y aquí van unos cuantos consejos profesionales: recuerda rotar tu agente de usuario, configurar tu referrer correctamente, usar un proxy, y POR FAVOR, no hagas DDOS.
Arriba: Página de resultados vacía de YellowPages.
Your script should be good to go now. But how can we elevate this even further? Let’s put our singular combined brain cell to work and ponder… “Do we need to sequentially request each page?” Absolutely not. YellowPages makes it remarkably easy for us to parallelize this process by providing the number of pages available for the query – hint, hint, wink, wink.
Arriba: Recuento de páginas de YellowPages en la parte inferior de la página de resultados.
Sin embargo, esta estrategia de paralelización tiene un inconveniente: Aunque YellowPages puede sugerir que existen más de 60 páginas de resultados, intentar acceder a cualquier página más allá de 60 en los resultados no se renderizará. Por lo tanto, establezca un límite máximo para su paralelización en 60. Suponiendo que el ancho de banda y la potencia de cálculo sean adecuados, cada página de resultados debería rasparse en el mismo tiempo que le llevaría raspar una página con el modelo secuencial.
Arriba: Ejemplo de datos de anuncios de YellowPages extraídos.
Ahora te preguntarás, ¿se trata de un "clickbait"? ¿Qué tiene que ver lo de "millonario" con todo esto? Bueno, si me has seguido y ahora posees un script funcional, puedo o no puedo ser capaz de atestiguar personalmente que nada te impide teóricamente iterar a través de cada ciudad en Canadá y sacar cada listado de negocios de una consulta dentro de dicha ciudad de YellowPages. Estos datos pueden, literalmente, tener un valor en dólares de millones si se aumentan adecuadamente, pero también son, literalmente, millones de empresas dentro de su directorio que ahora están a su alcance.
Puede que YellowPages evoque recuerdos de una época pasada, pero su potencial para la generación de contactos B2B sigue siendo un tesoro oculto en el panorama digital. Al navegar por las peculiaridades de su interfaz web estática, la extracción de datos de esta plataforma aparentemente obsoleta revela una amplia gama de oportunidades de negocio. La naturaleza olvidada e infrautilizada de YellowPages la convierte en una oportunidad única.
Mi único objetivo es que esta entrada del blog no les deje pensando "el verdadero tesoro fueron los amigos que hicimos por el camino". Espero que haya demostrado las oportunidades únicas que existen, especialmente con el conjunto de habilidades que muchos de nosotros damos por sentado, y también espero que haya servido como una lectura interesante para aquellos de ustedes que tienen experiencia en este campo, y haya dado una idea a aquellos de ustedes que no la tienen.
Como siempre, manténgase a salvo, use protección y, por el amor de Dios... no haga algo donde el FBI estará sobre su trasero - bueno.. en este caso sería la RCMP.
Arriba: El equivalente canadiense del FBI: la RCMP.