Comment puis-je télécharger un site Web entier?

75

Je souhaite télécharger tout un site Web (avec des sous-sites). Y a-t-il un outil pour cela?

    
posée UAdapter 07.01.2011 - 15:19
la source

8 réponses

120

Essayez l'exemple 10 de ici :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
  • –mirror : activer les options appropriées pour la mise en miroir.

  • -p : téléchargez tous les fichiers nécessaires pour afficher correctement un fichier donné. Page HTML.

  • --convert-links : après le télécharger, convertir les liens dans document pour l'affichage local.

  • -P ./LOCAL-DIR : enregistre tous les fichiers et répertoires dans le fichier spécifié répertoire.
réponse donnée shellholic 07.01.2011 - 15:34
la source
35

httrack est l’outil que vous recherchez.

  

HTTrack vous permet de télécharger un site Web depuis Internet vers un répertoire local, en créant récursivement tous les répertoires, en obtenant du code HTML, images et autres fichiers du serveur sur votre ordinateur. HTTrack organise la structure de liens relative du site d'origine.

    
réponse donnée Sid 07.01.2011 - 15:31
la source
7

Avec wget , vous pouvez télécharger un site Web entier, vous devez utiliser -r switch pour un téléchargement récursif . Par exemple,

wget -r http://www.google.com
    
réponse donnée Arthur Knopper 07.01.2011 - 15:44
la source
6

COPIE WEB DE WEBHTTRACK est un outil pratique pour télécharger tout un site Web sur votre disque dur pour une navigation hors ligne. Lancez le centre du logiciel ubuntu et tapez "Webhttrack website copier" sans les guillemets dans le champ de recherche. sélectionnez et téléchargez-le depuis le centre du logiciel sur votre système. lancez webHTTrack à partir du lanceur ou du menu Démarrer, à partir de là, vous pouvez commencer à profiter de cet excellent outil pour les téléchargements de votre site

    
réponse donnée frizeR 22.10.2012 - 03:30
la source
3

Je ne connais pas les sous-domaines, c’est-à-dire les sous-sites, mais wget peut être utilisé pour récupérer un site complet. Consultez la cette question sur le superutilisateur . Il indique que vous pouvez utiliser -D domain1.com,domain2.com pour télécharger différents domaines en un seul script. Je pense que vous pouvez utiliser cette option pour télécharger des sous-domaines, par exemple -D site1.somesite.com,site2.somesite.com

    
réponse donnée binW 07.01.2011 - 15:31
la source
1

J'utilise Burp - l'outil Spider est beaucoup plus intelligent que wget et peut être configuré pour éviter les sections si nécessaire. La suite burp en elle-même est un ensemble d'outils puissant pour faciliter les tests, mais l'outil spider est très efficace.

    
réponse donnée Rory Alsop 07.01.2011 - 21:54
la source
1

Vous pouvez télécharger un site Web entier avec cette commande:

wget -r -l 0 website

Exemple:

    wget -r -l 0 http://google.com

 -r
       --recursive
           Turn on recursive retrieving.    The default maximum depth is 5.

-l depth
       --level=depth
           Specify recursion maximum depth level depth.

Regardez ce tutoriel pour en savoir plus

Sources: man wget

    
réponse donnée Harish Kotikalapudi 18.06.2016 - 11:49
la source
0

Si la vitesse est un problème (et que le bien-être du serveur ne l'est pas), vous pouvez essayer puf , qui fonctionne comme wget mais peut télécharger plusieurs pages en parallèle. Ce n'est cependant pas un produit fini, pas maintenu et horriblement sans papiers. Néanmoins, pour télécharger un site Web contenant de nombreux petits fichiers, cela pourrait être une bonne option.

    
réponse donnée loevborg 07.01.2011 - 16:14
la source

Lire d'autres questions sur les étiquettes