cURL es una abreviatura de URL de cliente y una herramienta de línea de comandos para enviar y recibir datos de un servidor. Se distribuye en los sistemas operativos modernos, incluidos Windows 10 y las distribuciones de Linux. Es una biblioteca conveniente que le permite enviar y recibir datos desde y hacia sitios web y es una herramienta vital para sus necesidades de raspado web. Antes de ver un ejemplo sencillo, vamos a ver lo que necesitas saber para instalarla.
sudo apt install curl.
En Windows, abra su terminal o símbolo del sistema y escriba:
<em><strong>curl https://www.yahoo.com</strong></em>En la consola, imprimiría el HTML de la página.
cURL transfiere datos hacia y desde páginas web con la ayuda de protocolos de Internet. Aunque inicialmente cURL se desarrolló para trabajar con protocolos HTTP, actualmente soporta muchos protocolos de red como FTP, IMAP, IMAPS, SMTP, POP3, POP3S y otros.
También soporta POST, GET, PUT, y algunos de los otros métodos que existen cuando se envían peticiones. Veamos un ejemplo de envío de algunos datos con los datos post.
curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"El trozo de código anterior -denota que estás usando el método post para pasar tu nombre y algún valor a la página post de ejemplowebsite.com.
Ahora ya sabes lo que es cURL, y vamos a pasar a su uso con proxies.
Configurar cURL con una dirección proxy ayudará a la gente a mejorar su comunicación de datos con todas esas características proxy.
El uso de cURL con un proxy garantizará que los usuarios puedan ocultar su identidad al servidor. Si los usuarios prefieren recuperar información sin dejar que otros conozcan su identidad real pueden configurar una dirección proxy con su petición de comando cURL. En este caso, el proxy reenviará la solicitud del usuario en su nombre, y la identidad real oculta. Proxyscrape proporciona proxies de todos los tipos de protocolo como HTTPs, Socks4, y Socks5 que pueden mantener el anonimato para todo tipo de solicitudes.
Cuando los usuarios de un lugar tienen restringido el acceso a contenidos de sitios de otros límites geográficos, los proxies les ayudan a saltarse esas restricciones. Proxyscrape ofrece proxies de varios países para que los usuarios puedan elegir el que necesiten para saltarse los bloqueos geográficos.
Puedes utilizar proxies para conectar con un sitio web utilizando cURL. Por ejemplo, los proxies son esenciales cuando se utiliza cURL para raspar datos. Así permanecerás anónimo ante el sitio web de destino desde el que estás haciendo el scraping.
Para conectarse con proxies, necesitaría la dirección del servidor proxy, el número de puerto y el tipo de protocolo, y si se requiere autenticación, tendría que introducir el nombre de usuario y la contraseña. Veamos un ejemplo sencillo: suponemos que la dirección del proxy es 127.0.0.1 y el número de puerto es 8920. Los ejemplos mencionados a continuación son fundamentos de proxies de conexión con cURL, que funcionarían para cualquier servicio proxy.
La sintaxis para conectarse a un proxy sería:
curl --proxy dirección del proxy: puerto https://examplewebsite.comsustituiría por:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comEl comando anterior dirigirá su conexión a través de un proxy a examplewebsite.com.
Ahora veremos un ejemplo que requiere autenticación donde nombre de usuario es nombre de usuario y contraseña es contraseña.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.comAhora puedes saber qué comandos usar cuando conectes cURL con un protocolo proxy, usando :
curl --helpSin duda nos devolvería una lista enorme, y nos centraríamos en el comando más fundamental que se enumera a continuación:
-x, --proxy [protocolo://]host[:puerto]En este comando, x junto con -proxy denota los detalles del proxy, donde puedes usar cualquiera de ellos ya que ambos son correctos. Sin embargo, tenga en cuenta que x distingue entre mayúsculas y minúsculas.
Además, para asegurarte de que estás usando proxies, puedes usar el siguiente comando:
rizo http://httpbin.org/ipEste comando suele devolver la dirección IP del origen. Así que si estás usando un servidor proxy, devolvería la dirección IP del servidor proxy en lugar de la tuya.
Así que ahora, juntándolo todo, podrías enviar la solicitud de la siguiente manera:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"Además, el siguiente comando sería el mismo que el anterior:
curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Un hecho importante a tener en cuenta aquí es que debe utilizar comillas tanto para la URL del proxy como para la URL de destino como mejor práctica. Esto se debe a la presencia de caracteres especiales en la URL.
Además, si obtiene algún error de certificado SSL, deberá añadir -k en minúsculas al final del comando, como se muestra a continuación:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Esto permitirá el paso de conexiones inseguras cuando se utilice la conexión SSL.
Cuando se utilizan proxies, el protocolo por defecto es HTTP a menos que se especifique explícitamente lo contrario. Por lo tanto, ambos comandos son correctos:
curl --proxy " http://username:[email protected]:8920" " http://httpbin.org/ip".
curl --proxy " nombredeusuario:[ email protected ]:8920" " http://httpbin.org/ip".Si desea tener un proxy para cURL, puede crear un archivo curl-config de la siguiente manera.
Si estás en macOS o Linux, en primer lugar, tienes que abrir el terminal e ir a tu directorio de inicio. Si hay un .curlrc, tienes que abrirlo y crear un nuevo archivo vacío. Puedes utilizar los siguientes comandos para navegar hasta el archivo:
cd~
nano .curlrc.Así que tienes que añadir esta línea en el archivo:
proxy="http://username:[email protected]:8920"Guarda el archivo, y ahora puedes usar el cURL con proxies. Simplemente tienes que ejecutar el cURL normalmente, y leerá el proxy desde el archivo anterior:
curl "http://httpbin.org/ip"echo %APPDATA%Así que el comando anterior devolverá la ruta, y tienes que navegar hasta ella. Entonces usted necesita para crear el archivo _curlrc y establecer el proxy de la misma como con macOS o Linux.