Why Lead Generation Matters Lead generation is an essential part of growing your business. If your sales team doesn’t have leads to approach, they can’t do their job. Cold-calling prospects is rarely effective, especially for brands that sell higher-value products where there’s some friction to the idea of making a purchase. Every Sale Started as
La generación de clientes potenciales es una parte esencial del crecimiento de su negocio. Si su equipo de ventas no tiene clientes potenciales a los que dirigirse, no puede hacer su trabajo. Llamar en frío a los clientes potenciales no suele ser eficaz, sobre todo en el caso de las marcas que venden productos de mayor valor en los que la idea de realizar una compra entraña cierta fricción.
Las ventas proceden de los clientes potenciales. El informe Technology Content Marketing: Benchmarks, Budgets and Trends elaborado por el Content Marketing Institute y MarketingProfs destaca que el 77% de los profesionales del marketing tecnológico utilizan leads cualificados por marketing para impulsar las ventas (frente al 64% en 2019).
Los clientes potenciales cualificados son más fáciles de convertir porque son personas (o empresas) que ya han expresado interés en su producto o servicio. Al identificar a su público objetivo y centrar sus esfuerzos de marketing en esas personas en concreto, ahorrará tiempo y energía a su equipo de ventas para que pueda centrarse en los clientes potenciales de mayor calidad.
Generar clientes potenciales es hoy más fácil que nunca. La comunicación instantánea, las opciones de marketing en redes sociales con objetivos muy concretos y el acceso a bases de datos que contienen casi cualquier tipo de información imaginable hacen que los propietarios de pequeñas empresas tengan el poder de conseguir lo que se propongan.
Antes, si se quería llegar a un público determinado, había que pagar mucho dinero a una empresa de marketing para que enviara folletos por correo a las empresas de su base de datos.
Hoy en día, eso no es necesario. Si quiere encontrar una lista de restaurantes mexicanos en la costa este o de escuelas K-12 en su estado, puede encontrarla en línea. Las empresas que operan en el espacio B2B pueden crear una base de datos de clientes potenciales de forma rápida y sencilla, filtrarla y enviar mensajes de marketing personalizados.
Para las entidades B2B que se dirigen a un área geográfica relativamente pequeña, una simple búsqueda en Internet podría ser suficiente para encontrar una lista de posibles clientes. Sin embargo, si quieres llegar a empresas de todo el estado o incluso de todo el país, recopilar manualmente todos esos datos te llevaría muchísimo tiempo.
El raspado web puede ahorrarle a usted y a su equipo de marketing una cantidad significativa de tiempo y dinero, ya que recopila los datos que necesita de forma automática.
El Web Scraping es una técnica automatizada para extraer datos de un sitio web o de varios, de modo que pueda utilizarlos en otras aplicaciones. Por ejemplo, supongamos que quieres crear una lista de nombres y direcciones de restaurantes de tu zona, en lugar de visitar manualmente cada uno de los restaurantes locales que aparecen en Yelp o Tripadvisor. En ese caso, podrías utilizar un raspador web para recorrer esas páginas y extraer esos datos, creando una lista que podrías utilizar para enviar correos.
El web scraping puede ahorrar a las empresas mucho tiempo y esfuerzo a la hora de crear una lista de marketing. También es sorprendentemente fácil de hacer si tienes las herramientas adecuadas o conocimientos de programación.
Los raspadores web cargan las páginas de las que quieres extraer datos y las leen en busca del tipo de información que quieres encontrar. Esa información podría ser:
Cuando un raspador web descarga una página, lee el código fuente para buscar patrones. Dependiendo del sitio del que extraiga los datos, podría simplemente buscar algo que coincida con el patrón 123-456-78901 de un número de teléfono o el formato [email protected] de una dirección de correo electrónico.
Otra posibilidad es que el desarrollador del raspador sepa que, en un determinado sitio web de directorios, los datos de contacto están rodeados por un conjunto específico de etiquetas en el HTML y haga que el raspador extraiga la información de entre esas etiquetas.
Algunos programas de raspado pueden ser configurados por el usuario final, de modo que se le puede enseñar a entender casi cualquier sitio web.
Uno de los problemas de utilizar software de scraper es que normativas como el GDPR de la UE obligan a los usuarios a ser muy cuidadosos con los datos que recopilan y cómo los utilizan. Según el GDPR, una organización debe contar con el permiso de una persona para conservar o procesar datos sobre un individuo.
Algunos sitios web tratan de proteger la privacidad de sus usuarios y los recursos de sus propios servidores intentando bloquear a los "web scrapers". Hay varias opciones para hacerlo, como comprobar el "agente de usuario" devuelto por el software cliente y limitar el número de peticiones de páginas que proceden de una dirección IP concreta.
Si quieres utilizar los scrapers de forma eficaz, tendrás que asegurarte de que entiendes las normas que rigen la comercialización en tu país, procesar los datos que recopiles de forma responsable y saber cómo recopilar datos de las fuentes que elijas de una forma eficaz y no destructiva que no haga que te expulsen de ese sitio.
Por ejemplo, en ProxyScrape, ofrecemos proxies residenciales que pueden utilizarse para recopilar datos. Te recomendamos que, si estás pensando en utilizar esos proxies, te asegures de que tu scraper no emite un número excesivo de peticiones a un sitio web de destino en un breve periodo de tiempo. Realiza el scraping de forma responsable para no perjudicar a los sitios web con los que trabajas.
El scraping de contenidos permite a los empresarios acceder a enormes cantidades de información que de otro modo sería difícil recopilar, pero esa información sólo es tan útil como la fuente de la que procede.
Uno de los retos de la recopilación de datos a partir del scraping es asegurarse de que la información está actualizada. Hay miles de directorios en Internet y muchos de ellos están mal elaborados y desactualizados.
Si recopila datos de una fuente obsoleta y de baja calidad, en el mejor de los casos, perderá tiempo en correos electrónicos que no serán leídos. En el peor de los casos, podría enfrentarse a reclamaciones por realizar repetidas llamadas telefónicas no solicitadas a un número que ya no pertenece a la empresa que usted creía.
Entonces, ¿cómo puede aumentar las posibilidades de que los datos que recopile sean útiles?
Antes de empezar a recopilar datos con una herramienta de scraping, investiga manualmente el sitio web con el que estás pensando trabajar. Recoge algunas pistas a mano e investígalas.
¿Siguen funcionando las empresas? ¿Siguen siendo correctos los datos de contacto? ¿Parece que el propietario del directorio verifica la información antes de añadirla?
Supongamos que la mitad de los clientes potenciales que recopila manualmente están muertos, obsoletos o son potencialmente falsos. En ese caso, hay muchas posibilidades de que cualquier base de datos que construyas raspando ese sitio sea de baja calidad.
Es más probable que los sitios de directorios más grandes, como Tripadvisor, Yelp o FourSquare, tengan datos de calidad que los directorios más pequeños y menos conocidos, porque estas plataformas tienen una base mucho mayor de usuarios que las actualizan.
Los directorios especializados pueden ser útiles si desea dirigirse a un grupo de interés poco conocido o a un tipo de empresa muy especializada, pero debe contar con que tendrá que limpiar muchos datos antes de utilizar la información recopilada con fines de marketing.
En muchos casos, obtendrás datos mucho más valiosos si los obtienes de un sitio que requiera un inicio de sesión. LinkedIn y Twitter, por ejemplo, se pueden rastrear si utilizas un limitador de velocidad para mantener el número de solicitudes que envía tu bot a un nivel razonable y si has iniciado sesión en el sitio cuando realizas las solicitudes.
Otra opción es utilizar una API en lugar de un simple raspador HTTP y recopilar detalles de uno de los servicios de mapas más populares. Por ejemplo, Google proporciona una API de búsqueda de empresas que se puede utilizar para recopilar información sobre las organizaciones incluidas en Google Maps, pero antes de acceder a la API hay que aceptar los términos y condiciones de Google.
En general, si hay una API disponible, es mejor recopilar los datos a través de ella que mediante web scraping. Tendrás muchas menos probabilidades de tener problemas con los propietarios de los sitios web y será más fácil limpiar los datos suministrados a través de una API.
Hay un dicho en programación informática que dice "basura entra, basura sale", y que sin duda se aplica a la recogida de datos. Asegúrate de construir cuidadosamente cualquier búsqueda que realices.
Por ejemplo, si quiere dirigirse a constructores de Newcastle, no olvide que hay más de un Newcastle en Inglaterra, y también hay un Newcastle en Australia. Si busca "Newcastle" a través de un proxy, la mayoría de los sitios web intentarán adivinar a qué Newcastle se refiere mirando cuál está más cerca de la ubicación geográfica del proxy.
Intente acotar la búsqueda todo lo posible, facilitando información sobre la ciudad, el estado e incluso el país si el sitio web de destino lo permite. Así evitará acabar con una base de datos llena de datos de contacto de organizaciones situadas a cientos de kilómetros de la zona deseada.
El scraping web puede ser tan sencillo o complejo como usted quiera. Si es la primera vez que prueba el scraping, no es necesario gastar mucho dinero en software sofisticado.
Algunas buenas opciones son:
Scraper es una extensión del navegador web que permite a los usuarios extraer datos de páginas web de forma rápida y sencilla. Si quieres extraer información de una sola página de resultados o de un pequeño número de páginas, Scraper es una forma sencilla y eficaz de hacerlo, y puede que descubras que es mucho más fácil de usar que un rastreador web más sofisticado.
ProWebScraper es una herramienta más avanzada que tiene versiones gratuitas y premium. La herramienta gratuita se puede utilizar para raspar hasta 100 páginas, lo que significa que debería ser suficiente para un negocio más pequeño, de nicho. ProWebScraper es relativamente fácil de usar para el software de raspado, con una interfaz de apuntar y hacer clic y reglas prediseñadas que le permiten configurar el raspado, incluso si usted no está seguro en el aspecto técnico.
ProWebScraper puede descargar imágenes y crear volcados JSON, CSV o XML. Incluso puede configurarse para raspar sitios en un horario para que pueda recopilar los datos y actualizar sus registros de marketing.
Scrapy es un framework de scraping web gratuito y de código abierto. Esta herramienta requiere conocimientos técnicos, pero es rápida, flexible y puede utilizarse para raspar grandes cantidades de datos. Scrapy puede ejecutarse en tu propio ordenador Linux, OS X, Windows o BSD o en un servidor web.
Existe una comunidad activa de Scrapy, que incluye el chat IRC, Reddit y StackOverflow. Puedes pedir consejo a la comunidad y aprovechar las extensiones o módulos creados por la comunidad, lo que te permitirá desbloquear la potencia de Scrapy aunque no seas un desarrollador experto.
Si necesita recopilar muchos datos o planea hacer scraping con regularidad, las herramientas gratuitas y las basadas en GUI pueden no ser lo suficientemente potentes para su caso de uso. Codificar tu propio scraper o contratar a un desarrollador para que lo haga por ti es una buena opción.
Existen varios frameworks gratuitos y de código abierto que pueden utilizarse para codificar un scraper en lenguajes populares como Python, Perl, Java, R o PHP.
Una de las bibliotecas más populares para el web scraping es BeautifulSoup. Se trata de una herramienta de scraping en Python capaz de extraer datos de archivos HTML o XML de forma rápida y sencilla. Necesitarás tener algunos conocimientos de programación para utilizarla, pero hace gran parte del trabajo detallado de scraping por ti, ahorrándote reinventar la rueda.
Una vez extraídos los datos, puede exportarlos como un archivo CSV o visualizarlos en varios formatos utilizando una biblioteca de procesamiento de datos como Pandas.
Codificar su propio raspador es una buena idea si tiene algunos conocimientos de programación. También puede ser útil codificar tu propio scraper si necesitas extraer muchos datos de una página web inusual que las herramientas de scraping gratuitas no pueden manejar.
Codificar su propio scraper o pagar a alguien para que lo haga por usted puede ser una buena idea si tiene necesidades específicas y sofisticadas. Un scraper codificado a medida puede diseñarse en torno a una página de destino de forma más eficaz que una herramienta más general, por lo que es menos probable que encuentres errores o problemas al manejar los datos.
Por el contrario, los scrapers con código personalizado también son útiles para trabajos más pequeños y sencillos. Una vez que haya escrito un scraper, puede modificar la rutina de análisis y utilizar el mismo script para extraer datos de otras páginas.
La desventaja de utilizar un scraper codificado a medida es que lleva tiempo escribir el scraper por primera vez, y si no eres un desarrollador experimentado, podrías pasar más tiempo luchando con el formato JSON o tratando de aprender una nueva biblioteca de lo que te llevaría simplemente leer el manual de ProWebScraper y configurarlo.
Dependiendo de la tarea, puede resultar más rentable pagar por una herramienta que escribir una a medida.
Además, si está pensando en escribir su propio scraper, tendrá que conocer las mejores prácticas de scraping y cuestiones de codificación, como:
Escribir un pequeño scraper para extraer información sobre unos pocos cientos o miles de empresas tiene mucho sentido. Si vas a extraer grandes cantidades de datos, es posible que desees buscar asesoramiento o trabajar con un experto para asegurarte de que cumples plenamente con la normativa local sobre privacidad.
Si decides escribir tu propio scraper, recuerda "ser amable". Esfuérzate al máximo por hacer scraping de forma considerada, enviando solicitudes correctamente formadas, haciendo scraping lentamente y utilizando un rango de direcciones IP cuando hagas scraping.
Intenta que tu scraper parezca humano. Eso significa solicitar páginas lentamente e intentar no seguir un patrón fijo al recorrer las páginas. Considera, por ejemplo, sacar una lista de resultados de búsqueda, hacer una lista de los enlaces de la página de resultados y luego ir a esos enlaces en un orden aleatorio, para que sea menos obvio que eres un bot.
No envíes múltiples peticiones desde la misma IP al mismo tiempo. Las herramientas anti-scraping detectarán que estás poniendo una carga anormal en el servidor.
Respete la información del archivo Robots.txt del sitio web. Si hay páginas, el webmaster no quiere que se indexen. No sería ético que lo ignorara.
Considera la posibilidad de utilizar una biblioteca como Selenium para hacer que tu bot parezca más humano enviando clics a la página o interactuando de otro modo con ella. Algunas herramientas ant-scraper más sofisticadas buscan patrones de interacción similares a los de los bots y bloquean una dirección IP si detectan una falta de desplazamiento, clics y otras interacciones.
Existe una carrera de armamentos tecnológicos entre los desarrolladores de raspadores y los que intentan bloquear los raspadores de sus sitios web. Es muy difícil hacer un scraper que pueda recoger grandes volúmenes de datos sin ser detectado. Sin embargo, para proyectos pequeños o medianos, si sigues las reglas de ser amable y no ser avaricioso, deberías ser capaz de obtener los datos que necesitas con un scraper lento y constante y algunos proxies.
Recuerda que tu bot puede trabajar 24 horas al día, recopilando datos en segundo plano, por lo que no es necesario que descargues toda la lista de pequeñas empresas de Yelp de una sola vez.
Existen varios problemas potenciales con los que te puedes encontrar al utilizar un rascador. Estos pueden incluir:
La buena noticia es que todos estos problemas pueden solucionarse si entiendes cómo funcionan los rascadores.
Los raspadores web sencillos siguen un patrón:
Hay algunas áreas en las que las cosas pueden ir mal.
Si el scraper no recoge ningún dato, podría deberse a un problema con la forma en que has configurado el analizador sintáctico, o podría ser que el scraper no está viendo el mismo sitio que tú cuando utilizas un navegador web.
Para averiguar qué ha fallado, configure su scraper para que muestre el HTML de la página y compárelo con la salida normal del navegador.
Si ves un error o una página diferente, puede ser que tu cliente de scraping haya sido bloqueado. El sitio podría haber baneado tu dirección IP o el software del cliente de scraping.
Intenta cambiar el User-Agent que identifica tu scraper por uno que lo haga parecer un navegador web moderno como Firefox o Chrome. Esto podría ayudarte a evitar las restricciones de algunos sitios.
Si eso no funciona, considera la posibilidad de configurar tu scraper para que utilice un proxy para conectarse al sitio web en cuestión. Un proxy es un servidor que envía peticiones web en tu nombre, de modo que el sitio web no puede saber que proceden de tu conexión a Internet.
Si ves una página "normal", es más probable que el problema esté en la forma en que has configurado el scraper para extraer los datos. Cada programa de scraping tiene su propia forma de hacer coincidir los patrones, aunque la mayoría utiliza alguna variación de las expresiones regulares. Asegúrese de que no hay errores tipográficos en la coincidencia de patrones. Recuerde que el programa hace exactamente lo que usted le dice, por lo que incluso un pequeño error romperá por completo las reglas de coincidencia.
Otro problema común es que un scraper funcione durante un breve periodo de tiempo y luego deje de hacerlo. Esto suele significar que el sitio web ha bloqueado tu dirección IP, temporal o permanentemente, porque has enviado demasiadas solicitudes en poco tiempo.
Si esto ocurre, puedes eludir la prohibición utilizando un proxy. Proxyscrape ofrece proxies premium y residenciales para que la gente los utilice para el raspado de datos. Los proxies premium para centros de datos son rápidos y ofrecen ancho de banda ilimitado, pero tienen direcciones IP que los webmasters pueden reconocer como de un centro de datos. Los proxies residenciales parecen de "usuarios domésticos", pero el caudal disponible en ellos puede ser menor.
Considera cambiar el proxy que utilizas después de unas cuantas peticiones para reducir el riesgo de que la dirección IP del proxy sea baneada. También puedes reducir el riesgo de bloqueos de IP reduciendo la velocidad a la que tu scraper envía las peticiones.
Recuerde que un scraper puede trabajar en segundo plano, 24 horas al día, sin interrupciones. Incluso si limitas la velocidad del scraper a analizar una página cada 15-30 segundos, trabajará más rápido que un ser humano.
Ten en cuenta que muchos sitios web, especialmente los más pequeños, están alojados en servidores que tienen límites de velocidad y de cantidad de datos que pueden transmitir cada mes. Puede que te parezca razonable que tu bot rastree algunos datos, pero si muchos otros usuarios hacen lo mismo, o si tu bot se "pierde" e intenta descargar sin parar las mismas páginas una y otra vez, podrías perjudicar el rendimiento del sitio web para los usuarios humanos o costarle dinero al webmaster por consumir demasiados recursos.
Otro problema común con el que se encuentran los profesionales del marketing cuando intentan utilizar un raspador web es que el raspador se confunda y descargue páginas que no debería.
Imaginemos que el plan de tu scraper es encontrar una lista de albañiles en tu ciudad, y lo envías a un directorio donde busca eso. El scraper debería:
Algunos sitios web están diseñados para incluir "honeypots" que atrapan y confunden a los robots. Estos "honeypots" son fragmentos de HTML con una etiqueta "display:none", por lo que no aparecen en un navegador normal. Sin embargo, los robots pueden verlos y, si no están configurados para ignorarlos, los procesarán como si fueran HTML normal.
Es muy difícil programar un bot para que ignore por completo todo el HTML de trampa para bots porque algunas de estas trampas son increíblemente sofisticadas. Lo que puedes hacer, sin embargo, es establecer límites sobre cuántos enlaces seguirá tu bot. También puedes ver el código fuente de la página y buscar trampas obvias para que el bot las ignore.
El web scraping es algo que muchos sitios no ven con buenos ojos y que los propietarios de empresas deberían hacer con cuidado. Según el GDPR, es ilegal extraer información de un residente en la UE sin su consentimiento, por ejemplo.
Además, muchos sitios web que ocultan datos tras una pantalla de inicio de sesión prohíben explícitamente el web scraping en sus términos y condiciones. Esto significa que corres el riesgo de que te expulsen de ese sitio web si descubren que utilizas un raspador.
Si decide utilizar el scraping para captar clientes potenciales, intente hacerlo con sensatez. Piense en el scraping como una forma de ahorrar tiempo a la hora de reunir clientes potenciales que habría reunido de todos modos, más que como una forma de montar una campaña de marketing masiva.
Evite lanzar una red demasiado amplia con el scraping. Puede ser tentador recopilar los datos de contacto de todas las empresas o personas de su zona y alrededores, con la esperanza de convertir una de esas empresas en cliente, pero una campaña tan amplia y desenfocada probablemente será contraproducente.
Antes de iniciar su campaña de marketing, compruebe los datos que ha recopilado. Limpia la base de datos para eliminar cualquier dato obviamente incorrecto, como empresas que hayan cerrado, registros duplicados o registros de personas que no se encuentren en tu zona objetivo.
Una vez iniciada la campaña, mantenga actualizada la base de datos. Si un cliente potencial pide que se le elimine de la base de datos, elimínelo. Si la legislación de su jurisdicción se lo permite, conserve los datos suficientes sobre ellos para añadir su dirección de correo electrónico o número de teléfono a una lista de "no contactar", de modo que no puedan volver a incluirse en su base de datos de marketing la próxima vez que realice un scraping.
Otras cosas que hay que tener en cuenta a la hora de gestionar las campañas de marketing son:
Existe una delgada línea entre el marketing proactivo y el spam agresivo. Los contactos repetidos de los responsables de marketing forman parte del recorrido del cliente y es importante mantenerse en contacto con los clientes potenciales, pero un marketing demasiado agresivo podría alejar a los clientes potenciales y dar mala reputación a tu marca.
Considere la posibilidad de importar los datos que obtenga del scraping a un sistema CRM para poder realizar un seguimiento de cada cliente, en qué fase del proceso de conversión se encuentra y cómo ha respondido a los mensajes de marketing.
Esto no sólo le ayudará a estar al tanto de los clientes individuales, sino que también le facilitará ver cómo están funcionando sus campañas de marketing colectivamente para que pueda refinar sus mensajes.
El seguimiento del origen de los clientes potenciales también puede ser útil, ya que le dará una idea de qué fuentes de datos contienen la información de mayor calidad.