Comment utiliser Wget pour télécharger des sites Web sur votre PC

Vous vous êtes déjà demandé s’il existait un moyen de télécharger un site Web sans navigateur Web ? Vous avez de la chance. Avec la puissance de la ligne de commande Linux, tout est possible. Il existe plusieurs méthodes pour accomplir cette tâche, mais nous nous concentrons sur wget dans cet article.

Qu’est-ce que wget ?

wget est un utilitaire en ligne de commande GNU pour récupérer du contenu à partir de serveurs Web. En tant que téléchargeur, wget est très puissant en soi. wget est capable de fonctionner avec plusieurs protocoles, tels que HTTP, HTTPS et FTP. D’autres capacités de l’utilitaire wget incluent :

• capacité à fonctionner silencieusement ou en arrière-plan
• intégré aux scripts Linux ou aux tâches CRON
• peut exécuter plusieurs téléchargements en même temps
• télécharge des fichiers nécessitant un mot de passe

Pourquoi wget ?

Bien qu’il existe une multitude d’outils capables d’effectuer des activités sur les sites Web, wget permet une large portée. Il donne à l’utilisateur la possibilité de fonctionner sans navigateur Web en :

• téléchargeant une copie complète d’un site Web
• téléchargeant un fichier spécifique à partir d’un site Web
• automatisant la récupération d’un fichier à la demande
• obtenant un document à partir d’un portail d’authentification

wget est également intégré dans la plupart des distributions Linux, il est donc disponible dès le départ, et aucune installation supplémentaire n’est requise.

Les bases de wget

Commencer avec wget est assez simple. Tout d’abord, ouvrez un terminal Linux.

Une fois qu’une fenêtre de terminal est ouverte, vous pouvez exécuter wget comme indiqué ci-dessous :

wget URL

Remplacez “URL” par l’URL exacte du site Web.

Pour reprendre un fichier partiellement téléchargé, utilisez un commutateur -c dans votre commande comme suit :

wget -c URL

Pour rendre votre téléchargement wget silencieux, ajoutez le commutateur -q à votre commande wget initiale :

wget -q URL

Si vous n’êtes pas sûr de l’utilisation correcte des options dans wget, utilisez ce qui suit :

wget --help

En plus des sites Web, vous pouvez également télécharger un fichier en utilisant wget. Par exemple :

wget https://example.com/file.zip

Il récupérera simplement le fichier et l’enregistrera dans le répertoire actuel.

Si vous souhaitez enregistrer sous un nom de fichier différent ou à un emplacement différent, utilisez le drapeau -O.

wget https://example.com/file.zip -O ~/Documents/mon_fichier_téléchargé.zip

Options FTP

Comme mentionné précédemment, wget prend également en charge FTP. Si vous spécifiez simplement un site FTP :

wget ftp://ftp.example.com

wget supposera que vous souhaitez une connexion anonyme. Alternativement, vous pouvez spécifier manuellement des éléments comme le nom d’utilisateur et le mot de passe avec les drapeaux suivants :

• --ftp-user=USER : spécifie le nom d’utilisateur pour la connexion
• --ftp-password=PASS : spécifie le mot de passe
• --no-passive-ftp : désactive le mode de transfert passif

Délais d’attente, réessais et téléchargements échoués

Enfin, wget est livré avec plusieurs options relatives aux problèmes de connexion au serveur et aux délais d’attente. Toutes les pannes ne peuvent pas être gérées, bien sûr, mais les drapeaux suivants sont tous destinés à aider à gérer les problèmes de serveur :

• --tries=NUMBER : spécifie le nombre de fois à réessayer le téléchargement
• --retry-connrefused : réessaye le téléchargement même si la connexion est refusée par le serveur
• --timeout=SECONDS : paramètre global – combien de temps attendre avant les délais d’attente
• --wait=SECONDS : combien de temps attendre entre les téléchargements réussis (si répétition)

Qui utiliserait wget ?

En lisant ce post, vous vous dites peut-être : “Cela semble compliqué et bien plus difficile que d’utiliser un navigateur Web”, mais tout le monde peut trouver une utilisation pour cet utilitaire, que ce soit en tant qu’administrateur système ou programmeur. Voici deux exemples de la façon dont j’utilise cette commande tout au long de ma journée, mon rôle changeant parfois.

Cela facilite mon travail en tant que chercheur en sécurité car je peux programmer cette commande pour télécharger plusieurs sites Web à la fois. Je peux le faire en créant un fichier texte (en utilisant n’importe quel éditeur de texte) qui contient un certain nombre d’URLs dans une liste (une URL par ligne). En exécutant la commande ci-dessous avec le commutateur -i, wget téléchargera chaque site Web de la liste.

wget -i nom_du_fichier_de_téléchargement URL

En tant qu’administrateur système, je peux obtenir des documents à partir de lieux protégés par mot de passe avec facilité. Cela peut ne pas vous aider également hors ligne, mais en exécutant wget, cela vous permet d’ajouter des identifiants à un site.

wget --user=user_id --password=user_password URL

Voilà ! Était-ce aussi difficile que vous le pensiez ? Être capable d’automatiser vos actions avec wget vous fera gagner du temps et vous donnera également la possibilité de travailler hors ligne. Qu’avez-vous à perdre ?

Laissez un commentaire ci-dessous et faites-nous savoir si vous avez trouvé cela utile.