Cuando raspas datos de sitios web a gran escala, lo menos probable es que no hayas tenido que enfrentarte a un CAPTCHA para demostrar que eres humano. Como web scraper, es posible que ya sepas por qué los profesionales de la ciberseguridad se vieron obligados a inventarlos. Fueron el resultado de que sus bots automatizaran interminables peticiones de sitios web para acceder a ellos. Así que incluso los usuarios auténticos tuvieron que pasar por el suplicio de enfrentarse a CAPTCHAs que aparecen de diferentes formas. Sin embargo, puedes saltarte los CAPTCHAs tanto si eres un web scraper como si no, que sería el objetivo de este artículo. Pero primero, vamos a sumergirnos en lo que son los CAPTCHAs.
CAPTCHA son las siglas de Completely Automated Public Turing Test to tell Computers and Humans Apart. Es un acrónimo bastante largo, ¿verdad? Ahora te estarás preguntando qué significa la última parte de este acrónimo, Prueba de Turing - bueno, es una prueba sencilla para determinar si un humano o un bot está interactuando con una página web o un servidor web.
Después de todo, un CAPTCHA diferencia a los humanos de los bots, ayudando a los analistas de ciberseguridad a proteger los servidores web de ataques de fuerza bruta, DDoS y, en algunas situaciones, de web scraping.
Averigüemos cómo los CAPTCHA diferencian a los humanos de los bots.
Puede encontrar los CAPTCHA en los formularios de un sitio web, incluidos los formularios de contacto, registro, comentarios, inscripción o salida.
Los CAPTCHA tradicionales incluyen una imagen con letras, números o ambas cosas estiradas o borrosas en un recuadro con un color de fondo o un fondo transparente. Luego hay que identificar los caracteres y escribirlos en el campo de texto que aparece a continuación. Este proceso de identificación de caracteres es más fácil para los humanos pero algo complicado para un bot.
Por otro lado, algunos bots avanzados pueden interceptar letras distorsionadas con la ayuda del aprendizaje automático a lo largo de los años. Como resultado, algunas empresas como Google sustituyeron los CAPTCHA convencionales por CAPTCHA sofisticados. Uno de estos ejemplos es ReCAPTCHA, que descubrirá en la siguiente sección.
ReCAPTCHA es un servicio gratuito que ofrece Google. Pide a los usuarios que marquen casillas en lugar de escribir texto, resolver rompecabezas o ecuaciones matemáticas.
Un ReCAPTCHA típico es más avanzado que las formas convencionales de CAPTCHA. Utiliza imágenes y textos del mundo real, como semáforos en las calles, textos de periódicos antiguos y libros impresos. Como resultado, los usuarios no tienen que confiar en los CAPTCHA de la vieja escuela con texto borroso y distorsionado.
Hay tres tipos significativos de pruebas ReCAPTCHA para verificar si eres un ser humano o no:
Se trata de los ReCAPTCHAs que piden a los usuarios que marquen una casilla de verificación, "No soy un robot", como en la imagen superior. Aunque a simple vista pueda parecer que incluso un bot podría completar esta prueba, se tienen en cuenta varios factores:
Si el ReCAPTCHA no puede verificar que eres humano, te presentará otro desafío.
Estos ReCAPTCHAs proporcionan a los usuarios nueve o dieciséis imágenes cuadradas como puede ver en la imagen superior. Cada cuadrado representa una parte de una imagen más grande o diferentes imágenes. El usuario debe seleccionar cuadrados que representen objetos específicos, animales, árboles, vehículos o semáforos.
Si la selección del usuario coincide con las selecciones de otros usuarios que han realizado la misma prueba, el usuario es verificado. En caso contrario, el ReCAPTCHA presentará una prueba más desafiante.
¿Sabías que ReCAPTCHA puede verificar si eres humano o no sin utilizar casillas de verificación ni ninguna interacción con el usuario?
Ciertamente, lo hace teniendo en cuenta el historial de interacción del usuario con los sitios web y el comportamiento general del usuario mientras está en línea. En la mayoría de los casos, en función de estos factores, el sistema podría determinar si eres un bot.
De lo contrario, se volvería a cualquiera de los dos métodos mencionados anteriormente.
Los CAPTCHAs pueden activarse si un sitio web detecta actividades inusuales que se asemejan al comportamiento de un bot. Este comportamiento inusual incluye solicitudes ilimitadas en fracciones de segundo y clics en enlaces a un ritmo muy superior al de los humanos.
Entonces, algunos sitios web dispondrían automáticamente de CAPTCHAs para blindar sus sistemas.
En cuanto a los ReCAPTCHAs, no está exactamente claro qué los activa. Sin embargo, las causas generales son los movimientos del ratón, el historial de navegación y el rastreo de cookies.
Ahora ya tiene una idea clara de lo que son los CAPTCHA y los Rechaptchas, cómo funcionan y qué los activa. Ahora es el momento de analizar cómo afectan los CAPTCHA al web scraping.
Los CAPTCHA pueden dificultar el scraping de la web, ya que los robots automatizados realizan la mayoría de las operaciones de scraping. Sin embargo, no se desanime. Como se mencionó al principio de este artículo, hay formas de superar los CAPTCHAs al hacer scraping en la web. Antes de llegar a ellos, vamos a centrar nuestra atención en lo que debe tener en cuenta antes de hacer scraping.
Cuando te conectas a un sitio web, envías información sobre tu dispositivo al sitio web de conexión. Pueden utilizar esta información para adaptar el contenido a las especificaciones de tu dispositivo y realizar un seguimiento métrico. Por eso, cuando descubran que las solicitudes proceden del mismo dispositivo, cualquier solicitud que envíes después se bloqueará.
Otro dato que debes tener en cuenta es que el sitio web de destino no haya incluido tu dirección IP en una lista negra. Es probable que pongan tu dirección IP en la lista negra cuando envíes demasiadas solicitudes con tu scraper/crawler.
Rotar las cabeceras HTTP y los proxies (más sobre esto en la siguiente sección) con un pool asegurará que múltiples dispositivos accedan al sitio web desde diferentes ubicaciones. Por lo tanto, debería ser capaz de continuar el scraping sin interrupción de CAPTCHAs. Dicho esto, debes asegurarte de que no estás perjudicando el rendimiento del sitio web por ningún medio.
Además de los factores clave anteriores, debe conocer los CAPTCHA que se indican a continuación cuando realice web scraping con un bot:
Cambiar simplemente el agente de usuario no será suficiente, ya que necesitará tener una lista de cadenas de agente de usuario y luego rotarlas. Esta rotación hará que el sitio web de destino te vea como un dispositivo diferente cuando, en realidad, un dispositivo está enviando todas las solicitudes.
Como mejor práctica para este paso, sería estupendo mantener una base de datos de agentes de usuario reales. Además, elimine las cookies cuando ya no las necesite.
Un método más sencillo y menos técnico para resolver un CAPTCHA sería utilizar un servicio de resolución de CAPTCHA. Estos utilizan Inteligencia Artificial (IA), Aprendizaje Automático (AM), y una culminación de otras tecnologías para resolver un CAPTCHA.
Si deja que su scraper acceda directamente a una URL cada fracción de segundo, el sitio web receptor sospechará. Como resultado, el sitio web de destino activaría un CAPTCHA.
Para evitar tal escenario, podrías configurar la cabecera referer para que parezca referida desde otra página. Esto reduciría la probabilidad de ser detectado como un bot. Alternativamente, puedes hacer que el bot visite otras páginas antes de visitar el enlace deseado.
Los honeypots son elementos ocultos en una página web que los expertos en seguridad utilizan para atrapar bots o intrusos. Aunque el navegador muestra su HTML, sus propiedades CSS están configuradas para ocultarse. Sin embargo, a diferencia de los humanos, el código del honey pot sería visible para los bots cuando rastrearan los datos. Como resultado, cayeron en la trampa tendida por el honeypot.
Así que tienes que asegurarte de que compruebas que las propiedades CSS de todos los elementos de una página web no están ocultas o son invisibles antes de empezar el scraping. Solo cuando estés seguro de que ninguno de los elementos está oculto, configura tu bot para el scraping.
Este artículo le habrá dado una idea completa de cómo evitar CAPTCHAs mientras que raspa la tela. Evitar un CAPTCHA puede ser un proceso complicado. Sin embargo, con el uso de técnicas específicas discutidas en este artículo, usted puede desarrollar el bot de tal manera como para evitar CAPTCHAs.
Esperamos que saque partido de todas las técnicas comentadas en este artículo.