Cuando utilizas un proxy, no te conectas directamente al servidor de destino, sino que diriges tu petición al servidor proxy, que la evalúa y devuelve una respuesta. Los proxies tienen muchas ventajas, como ocultar tus direcciones IP reales, saltarse los filtros, la censura, etc.
Un proxy rotator puede ayudarte a eludir la mayoría de las medidas anti-scraping. También puede utilizarlo para eludir cualquier límite de velocidad implementado en el sitio web de destino y extraer datos con éxito. Pero, ¿qué es un proxy rotatorio? Es un proxy que asigna una nueva dirección IP para cada conexión desde el grupo de proxies. Esto significa que puedes enviar 1000 peticiones a cualquier número de sitios web lanzando un script y obteniendo 1000 direcciones IP diferentes.
Este artículo le ayuda a entender cómo utilizar proxies para rotar direcciones IP en python.
Debe importar el módulo requests de Python utilizando el comando siguiente.
solicitudes de importaciónSi el módulo no está instalado en su entorno, puede instalarlo utilizando el siguiente comando.
pip install peticionesdef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passAquí viene la sección principal del código. Tienes que leer tu archivo list_proxy.txt y guardarlo en la variable llamada proxies como se muestra a continuación.
if __name__ == "__main__":
with open('lista_proxy.txt', 'r') as file:
proxies = file.readlines()Tienes que usar el módulo requests para crear una sesión en Python. Usamos un bucle for para recorrer el proxy en el código de abajo. Luego pasamos la sesión y el proxy a la función send_request.
con requests.Session() como session:
for proxy in proxies:
send_request(session, proxy)Puede ejecutar el script y ver la salida como se muestra a continuación. Obtendrá una larga lista de proxies pero recuerde que no funcionarán.
python rotarproxy.pyTodo tu código será como:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)A continuación se dan algunos consejos para rotar proxies en Python cuando se utiliza un proxy rotativo.
La mayoría de los servicios proxy gratuitos disponibles están congestionados, lo que provoca caídas inesperadas y retrasos frustrantes. Por lo tanto, cuando te plantees optar por proxies gratuitos, tienes que comprobar si se ajustan a tus necesidades de scraping sin provocar caídas significativas.
La mayoría de los proxys gratuitos son válidos por un tiempo limitado, así que puedes construir tu propia lógica en Python que pueda rotar el rotador de listas de proxys gratuitos con direcciones IP que funcionen. De esta forma, no tendrás interrupciones durante el web scraping.
Debe evitar utilizar direcciones IP que sigan una secuencia determinada o un formato predecible, como pertenecer al mismo grupo. Esto se debe a que la mayoría de las herramientas anti-scraping pueden detectar fácilmente las peticiones enviadas desde este tipo de direcciones IP. Por ejemplo, debe abstenerse de utilizar la siguiente secuencia de direcciones IP rotativas, ya que levantará rápidamente la bandera roja.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
Los rotadores de IP proxy gratuitos son inseguros y lentos. Por lo tanto, utilizarlos no será adecuado si realiza proyectos de web scraping avanzados y a gran escala. Usando buenos proxies premium, puedes obtener un servicio de alta calidad y raspar miles de páginas web sin experimentar bloqueos o interrupciones.
Para utilizar un servicio proxy premium, tendrás que pagar unos cuantos dólares y conseguir un proveedor que satisfaga tus necesidades de extracción de datos y garantice tu privacidad.
A continuación se indican tres categorías principales de proxies en Internet.
Puede utilizar la rotación de IP para rotar varias direcciones IP y evitar ser detectado. Sin embargo, algunas medidas anti-scraping pueden identificar este tipo de actividades y bloquear la recolección de datos. Por lo tanto, además de rotar las direcciones IP, también debes rotar los agentes de usuario para aumentar tus posibilidades de éxito.