jueves, 21 de julio de 2016

Una manera facil de descargar TODO en una pagina con WGET

Es una herramienta que como a todas si le hechas mano puedes sacarle provecho y mucho, el error principal de las personas que se dedican a descargar en internet como una adiccion esque comunmente lo hacen con el famoso navegador y de uno en uno, cosa que lleva mucho tiempo hacer, pero por eso WGET llega al rescate.

Wget es una pequeña aplicación que permite hacer descargas de archivos, de páginas web y hasta de sitios completos de internet, usando el protocolo HTTP mediante la línea de comandos, increible verdad? comencemos.

1. Lo primero que ocuparas obviamente sera descargarte la aplicacion de su repositorio original que te sedo en el siguiente enlace (Si tienes Linux esta ya viene en la Shell de forma nativa).
Descarga AQUI
2. Mueve la descarga a la raiz principal del disco duro en C:/ y haz una carpeta dedicada a ello que se llame "WGET" o como gustes.
2. Lo que sigue es instalarlo y abrirlo posteriormente en la carpeta donde lo pusiste o lo tengas instalado:
 - Abre la consola de comandos (CMD) y teclea lo siguiente: 

cd.. (hasta que llegues a la carpeta llamada C:/)
cd WGET (suponiendo que hayas seguido los pasos anteriores)
3. Con lo anterior tu estarias ubicado desde la consola en la carpeta WGET ahora solo ocupas conocer los comandos para cada cosa.
 

4.Ejemplos practicos de archivos batch para usar WGET


1- Realizar una descarga recursiva.
wget -r -c -k http://www.apache.org/
Pruébalo pero cuando compruebes que funciona detenlo, porque si no, proseguirá hasta descargar el servidor completo de Apache.org.
2- Segundo ejemplo, con este descargas una página, en este caso es la página de Wget en la Wikipedia, pero asegurando de descargar todos sus elementos y que tenga la extensión de archivo html.
wget -p -E -nd http://es.wikipedia.org/wiki/Wget

3- Descargar página web y también todos los archivos a los que apunten los links que se encuentren en dicha página, pero solo con dos directorios de profundidad.
wget -r -l2 -p -c http://xhtml.com/en/xhtml/reference/index.html

4- Ejemplo de descarga de archivo segura.
wget -c -S -r http://download.mozilla.org/?product=firefox-4.0&os=win&lang=es-ES
Se descarga el instalador de Firefox, la versión 4, puedes interrumpir la descarga que cuando se ejecute de nuevo, proseguirá en el mismo punto donde se detuvo.

5- Ejemplo de la descarga de un archivo y la verificación posteriormente de su time-stamping, es decir si existe otro con el mismo nombre, pero varíe su fecha de creación o de modificación.
wget -N http://www.ssd.noaa.gov/goes/east/carb/vis.jpg
Descargará una foto de satélite del servicio meteorológico, pero cada vez que vuelvas a ejecutarlo, verificará en el servidor si hay alguna imagen más reciente de la que descargaste, si no mantendrá la original intacta.
5. Comandos regulares en WGET:
Nombre cortoNombre largoDescripción
-o archivo--output-file=archivoGuarda todo el informe de la operación en un archivo de texto, si se vuelve a realizar sobrescribe el archivo. Usando -a se agrega información al archivo ya creado.
-S--server-responseMuestra los encabezados o http headers enviados por la aplicación y las respuestas recibidas del servidor.
-d--debugModo desarrollador, muestra información más detallada.
-nv--no-verboseSe muestra solo información resumida.
-i archivo--input-file=archivoLee las direcciones URL de un archivo de texto externo.
-t numero--tries=numeroSe especifica el número de reintentos a realizar. Usa 0 o inf para infinitos reintentos. La opción predeterminada es 20.
-c--continueContinúa descargando un archivo descargado parcialmente al ocurrir un error en la conexión, o que esta se haya cancelado deliberadamente.
-E--adjust-extensionAgrega a las páginas web que no la posean la extensión .html para facilitar su ejecución offline.
-p--page-requisitesAl usar esta opción Wget descarga todos los archivos necesarios para que una página funcione offline, se descargarán imágenes, css, scripts, etc.
-r--recursiveCrea una descarga recursiva, es decir se descargan todos los archivos a los que apunten los links en la página.
-m--mirrorCrea un espejo o imagen de un sitio, similar a una descarga recursiva pero sin ninguna restricción, es lo mismo que utilizar las opciones: -r -l inf -N.
-l numero--level=numeroEspecifica el nivel de profundidad en las descargas recursivas, el predeterminado es 5.
-k--convert-linksDespués de finalizar la descarga, Wget re-escribe los links para que apunten directamente a los archivos descargados en el equipo y de esa forma estén funcionales las paginas descargadas.
-nc--no-clobberImpide que se vuelvan a descargar archivos que están ya en el equipo.
-nd--no-directoriesNo crea directorios en las descargas recursivas.
-P carpeta--directory-prefix=carpetaPermite establecer un directorio o carpeta determinado para todas las descargas.
-A archivos--accept archivosPermite especificar qué tipo de archivos solo se desean descargar, se relacionan separados por comas.
-R archivos--reject archivosPermite especificar qué tipo de archivos se desean rechazar, se relacionan separados por comas.
-I directorios--include directoriosRestringir directorios de los que solo descargar archivos en el modo recursivo, relacionarlos separados por comas.
-X directorios--exclude directoriosInversa a la opcion anterior, restringir directorios.
-np--no-parentEvita descargar los archivos de directorios superiores, aunque los links apunten a ellos en descargas recursivas.
-N--timestampingVerifica la la fecha de la última modificación del archivo solicitado, si existe una copia en nuestro equipo y solo lo descarga del servidor si existe una copia más reciente.
-O nombre--output-document=nombrePermite renombrar un archivo.
--referer=urlPermite incluir la dirección de la página de referencia, para poder descargar archivos que estén protegidos contra el hotlinking.
--spiderHace que Wget funcione como la araña de un buscador web, comprueba y muestra información sin descargar nada.
--limit-rate=cantidadLimita la velocidad de descarga a una determinada cantidad de bytes por segundos. Para expresarla en kilobytes usa el sufijo k, o m para megabytes.
--no-cacheDeshabilita el cache, Wget enviará al servidor la directiva Pragma: no-cache para obtener los archivos directamente del servidor remoto.

6. Para conocer mas sobre sus funcionalidades completas visita:
https://norfipc.com/internet/wget.html

No hay comentarios.:

Publicar un comentario