Скачиваем сайты целиком - утилита wget. Linux статьи
Написать статью
Войдите, чтобы писать статьи

Скачиваем сайты целиком — утилита wget

90

wget — это утилита, которая предназначена для загрузки файлов по сети (из интернета). Я расскажу, как использовать wget, чтобы скачивать сайты из интернета целиком и затем просматривать их в автономном режиме.

С помощью wget можно скачивать сайты, включая картинки, всего лишь указав адрес сайта и определенные параметры. wget будет автоматически переходить по ссылкам на сайте и скачивать страницу за страницей. Рассмотрим несколько примеров от простых к более сложным использования wget для скачивания сайтов.

Чтобы скачать сайт целиком с помощью wget нужно выполнить команду:
wget -r -k -l 7 -p -E -nc http://site.com/

После выполнения данной команды в директорию site.com будет загружена локальная копия сайта http://site.com. Чтобы открыть главную страницу сайта нужно открыть файл index.html.

Рассмотрим используемые параметры:
-r указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
-k используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
-p указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
-l определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.
-E добавлять к загруженным файлам расширение .html.
-nc при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.

Мы рассмотрели лишь одно из возможных применений утилиты wget. На самом деле область применения wget значительно шире и wget обладает большим числом дополнительных параметров. За более подробной информацией обращайтесь к руководству, выполнив в командной строке: man wget.

Лайков: +7
войдите, чтобы ставить лайки

Материалы по теме:

90
  • Опубликовано: 11.03.2011

Комментарии

Akellacom
Активный пользователь
Активный
11.03.2011
14:53
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Круто
Скачаю htmlbook.ru ;)
yuriy
Активный пользователь
Активный
11.03.2011
14:58
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAkellacomРодительский комментарий
+1
войдите, чтобы ставить лайки
Удобно качать сайты на флешку а потом с ноутом на дачу ехать, инета нету, а сидишь что-нибудь интересное читаешь :)
Akellacom
Активный пользователь
Активный
11.03.2011
15:59
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийyuriyРодительский комментарий
+1
войдите, чтобы ставить лайки
Да, согласен Юр :)
Сергей
16.01.2018
14:44
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийyuriyРодительский комментарий
+1
войдите, чтобы ставить лайки
Так-то интернет всегда и везде есть, где ловит мобила :).
Максим
18.08.2022
12:47
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийСергейРодительский комментарий
0
войдите, чтобы ставить лайки
Дело не в доступе к Интернету из сельского толчка, а в том, что некоторые осень годные ресурсы, посвященные интересным технологиям, порой просто могут сгинуть. Человек забросил, домен просрочился, сайт лег и больше не увидит свет. Лурк - спорный пример в качестве пользы для общества, но очень наглядный и поучительный пример того, как один человек смог заруинить труд миллиона человек.
Сергей
05.07.2017
11:32
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAkellacomРодительский комментарий
+1
войдите, чтобы ставить лайки
что его скачаивать,я его 10 лет назад в формате htm скачал
deburger
Активный пользователь
Активный
11.03.2011
20:44
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
а я ещё с винды привык к Httrack
http://www.httrack.com/page/2/en/index.html

f за wget спасибо... как-то не вникал в такую глубино его возможностей ☺
Amarok17
12.03.2011
09:07
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
можете рассказать про параметр -i в даной утилите?
yuriy
Активный пользователь
Активный
12.03.2011
10:23
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAmarok17Родительский комментарий
+1
войдите, чтобы ставить лайки
wget -i file
-i используется, чтобы указать URL (который мы хотим скачать) в файле с именем file (т.е. мы не в командной строке вводим URL, а URL'ы записаны в файле file).

Вместо имени файла можно поставить дефис "-" и тогда после ввода команды вы должны будете ввести URL (по одному на строку) прямо в командной строке. Чтобы закончить ввод, нажмите Ctrl+d.
Т.е. выполняем: "wget -i -", затем вводим URL по одному на строку и нажимает Ctrl+d.
Amarok17
12.03.2011
21:19
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Спасибо.
Влад
24.10.2012
14:06
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAmarok17Родительский комментарий
+1
войдите, чтобы ставить лайки
Не за что
марин
19.08.2014
19:19
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAmarok17Родительский комментарий
+1
войдите, чтобы ставить лайки
не за что
Алексей
11.01.2019
10:01
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAmarok17Родительский комментарий
+1
войдите, чтобы ставить лайки
Не за что
Gibson
16.02.2019
13:02
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAmarok17Родительский комментарий
0
войдите, чтобы ставить лайки
Не за что.
Юрий
13.03.2011
09:56
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Спасибо автору за статью! Никогда бы не подумал, что понадобится скачать сайт целиком. Вы yuriy вовремя, только скажите, как узнать размер сайта и можно ли направить сразу в другую директорию, ну например непосредственно на флешку?
yuriy
Активный пользователь
Активный
13.03.2011
22:15
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийЮрийРодительский комментарий
+1
войдите, чтобы ставить лайки
Размер сайта скорее всего заранее узнать не получится.

Чтобы скачать сайт в определенную директорию можно или сначала перейти в эту директорию командной cd, например:
cd /media/disk1
wget .....
Или использовать параметр -P, после которого указывает путь до директории, в которую вы хотите сохранить файлы:
wget ... -P /media/disk1 ...
Max
03.04.2011
15:29
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Привет всем, у меня вопрос, как с помощью wget выкачивать с сайта файлы с конкретным расширением, например mp3, jpg и т.д.
yuriy
Активный пользователь
Активный
03.04.2011
16:28
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийMaxРодительский комментарий
+1
войдите, чтобы ставить лайки
Для этого применяется опция -A. После этой опции указывается список разрешенных для скачивания имен (точнее шаблонов имен файлов). Используется следующим образом:
wget -A.mp3 (скачать только mp3 файлы)
или
wget -A '.jpg,.jpeg' (скачать файлы с расширением jpg и jpeg)
Max
03.04.2011
18:17
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийyuriyРодительский комментарий
+1
войдите, чтобы ставить лайки
Странно, когда я так писал, он мне только Индекс скачивал почему-то))) Я вот так писал например wget -A.jpg http://example.ru
An
15.11.2019
02:37
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийMaxРодительский комментарий
+1
войдите, чтобы ставить лайки
Может сайт запрещает
Max
03.04.2011
18:29
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
wget -A.mp3 mail.ru
--2011-04-03 20:28:06-- http://mail.ru/
Преобразование адреса mail.ru... 94.100.191.203, 94.100.191.204, 94.100.191.202, ...
Устанавливается соединение с mail.ru|94.100.191.203|:80... соединились.
Запрос HTTP послан, ожидание ответа... 200 OK
Длина: 118150 (115K) [text/html]
Saving to: «index.html»
Вот пример почему-то index качает?? и так со всемы сайтами
yuriy
Активный пользователь
Активный
03.04.2011
19:43
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийMaxРодительский комментарий
+1
войдите, чтобы ставить лайки
Попробуйте вот так: wget -A.mp3 -p mail.ru
(С параметром -p)
Tamat
06.05.2014
22:44
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийyuriyРодительский комментарий
+1
войдите, чтобы ставить лайки
Юрий, вам наверное стоило бы дополнить статью тем что вы написали в комментариях. Ни первый раз попадаю на эту страницу, а комментарии прочел первый раз и оказалось что в них есть еще интересные вещи.
Max
04.04.2011
09:53
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Попробовал, всё рано index.html качает, может так защита какая нибудь стоит??
Fans
05.11.2013
22:09
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийMaxРодительский комментарий
+1
войдите, чтобы ставить лайки
такое бывает если на сайте стоит редирект с example.ru на www.example.ru, в таком случае нужно обращаться командой wget http://www.example.ru
bussel
22.04.2011
15:45
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Все это, ребята, конечно, здорово, но вот вам тема для размышления: вы качаете сайт целиком, т.е. за короткий промежуток времени с вашего IP идет обращение к разным его страницам. А теперь представьте, как это воспримет администратор веб-сервера, на который идут ваши постоянные запросы к очень большому сайту, который вы выкачиваете? Думаю, что ваш IP просто заблокируют, так как такие действия очень похожи на попытку ввести сервер в штопор. Для маленьких сайтов это не критично, а вот в случае с большим ресурсом можно запросто попасть в черный список, а потом просить администрацию сайта снять бан.
Abschieber
22.04.2011
21:45
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийbusselРодительский комментарий
+1
войдите, чтобы ставить лайки
Специально для этого есть параметры wait, waitretry, random-wait.
Например wait:
-w seconds
--wait=seconds
Пауза в секундах между несколькими загрузками. Чтобы указать значение в минутах, используйте "m".
bananascss
23.04.2011
23:28
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
ДА,поедей эта программа не легальна,я попробывал скачать сайт и залить его на бесплатный хост,и все робит!!
tamat
07.01.2013
10:27
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийbananascssРодительский комментарий
+1
войдите, чтобы ставить лайки
Поехавший
Voland
Активный пользователь
Активный
07.01.2013
14:31
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийbananascssРодительский комментарий
+1
войдите, чтобы ставить лайки
Ты в курсе, что утилитой ab (apache benchmark) можно с нескольких ПК завалить не очень мощный сервер в очень глубокий отказ? Хотя это программа для нагрузочных тестов.

А если я с помощью простого браузера буду распространять порнушку по сети, то это значит, что браузер тоже нелегальный? Выходит, что так.

Кстати, воровать чужой контент можно и при помощи браузера, и при помощи FTP, и SSH клиента. Так что, ты не прав. Утилита очень даже легальная.
frank
06.08.2011
00:21
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Вот так лучше делать если сайт целиком качать
wget -rp -np -nc --wait=45 -Q200m http://dls-mebli.com.ua/
sec
16.08.2011
15:28
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
доброго времени суток, уважаемые, есть засада с попыткой скачать с http://tile.openstreetmap.org/ все .PNG - шные файлы, они лежат по уровням приближения и месторасположению. в корне HTML про переходы в папки ничего нет, как скачать хотя бы 4 - 5 или 15 уровень?спасибо
USUB
Активный пользователь
Активный
07.01.2013
22:18
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийsecРодительский комментарий
+1
войдите, чтобы ставить лайки
попробуй Merkaartor http://merkaartor.be/ или
JOSM http://josm.openstreetmap.de/
san
21.11.2011
18:35
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Вот тоже прстая програмка, сайты скачивать http://www.httrack.com/
Алексей
05.10.2012
10:20
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Подскажите а как скачать сайт с защитой? У меня есть сертификат, с помощью которого я могу заходить на сайт и авторизовываться. Т.е. получается защита и по сертификату и по по логинпароль.
Как в этом случае будет выглядеть команда?
Abba
20.12.2012
21:28
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Не скачивается CSS,хотя ключ p указан. Причем это только на одном сайте такое, остальные скачивал нормально
Sergiy
11.01.2017
06:41
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийAbbaРодительский комментарий
+1
войдите, чтобы ставить лайки
Значит файл css лежит на другом сервере.
chrome2
28.12.2012
22:42
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Скажите а как качать сайты которые на пароли
S
26.04.2013
17:03
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Не забирает картинки, которые в css в бэкграунде (background: url(../images/bg.png))
Евгений
29.07.2013
15:45
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Удобно. Как раз на дачу собрался.)
Теперь под рукой есть документация к compass.))
mikael
28.10.2013
23:43
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Спасибо большое за статью. Это именно то, что я искал - а главное штатными средствами системы.
Denis
10.11.2013
06:33
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
можно ли выкачать сайт вместе со встроенным видео во флешплеере?
видео хранится также на этом же сайте
можете подсказать параметры ввода если wget такое умеет?
благодарю.
уксе8мниг
10.02.2014
22:02
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
в автономном режиме не правильно переходит по ссылкам
открываю file:///C:/Downloads/78679.com/index.html
далее по ссылкам переходит в file:///wiki/например
а должен в file:///C:/Downloads/78679.com/wiki/например
как исправить?
Иуда
13.04.2014
16:18
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
По умолчанию куда скачивается сайт ?
alex
10.05.2014
02:49
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийИудаРодительский комментарий
+1
войдите, чтобы ставить лайки
в папку откуда запущен wget
Reedych
06.07.2015
12:56
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Да так же и весь интернет можно скачать))
Андрей
18.02.2016
19:21
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Спасибо автору за простой и понятный мануал
Иван
12.05.2016
17:35
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Почему-то скачивается только один файл.
Испробовал несколько вариантов, ничего не помогает
Использую ВДС, Центос.
Ant
13.05.2016
19:11
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Привет. Если тут еще отвечают на вопросы, то можно и Я задам.

Как скачать сайт, только после каждой скаченной страницы, чтобы можно было её модифицировать, через тем, как скачать следующую.

Поясню, если скачать сайт, то форма поиска не будет работать локально. Я бы хотел залезть в .html удалить по регулярному выражению форму и тогда пусть приступает к скачиванию другой страницы.

PS: Вариант, отредактировать всё уже после скачивания - вариант, однако спросил, можно ли делать всё сразу.
Пётр Владимирович
24.09.2016
12:58
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Подскажите пожалуйста, а можно ли скачивать не весь сайт, а только файлы определенного формата, например *.doc(x);*.pdf
ness
Активный пользователь
Активный
25.09.2016
17:45
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийПётр ВладимировичРодительский комментарий
+1
войдите, чтобы ставить лайки
http://pingvinus.ru/note/wget-download-sites#c2863

это?')
belyi22
26.09.2016
19:12
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Доброго времени суток! Можно ли скачать сайт с авторизацией на нем? если нет то подскажите другую похожую программу которая могла бы так сделать?
Dexel
08.11.2016
00:56
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
А вот этот не хочет:
wget -r -k -l 7 -p -E -nc http://www.codeprogress.com/
и без www
wget -r -k -l 7 -p -E -nc http://codeprogress.com/
:(
Денис
14.12.2016
10:31
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Возникла проблема. Картинки и стили лежат на поддоменах основного сайта media.site.com cdn.site.com при этом wget их не скачивает и не преобразовывает ссылки
Сергей
28.01.2017
18:50
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
А у меня пытаетя весь российский сегмент скачать(((
Давид
27.05.2017
01:39
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Спасибо большое за статью!
А если такой случай.Сайт с видео файлами,автор сайта дает возможность скачать ролики,но открыв каждый ролик.Как скачать все ролики разом?
Спасибо большое,с уважением,Давид
VadimAndy
Активный пользователь
Активный
03.05.2018
15:45
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийДавидРодительский комментарий
+1
войдите, чтобы ставить лайки
ролики качают с помощью утилиты youtube-dl (если с ютуба), если нет - wget link.....Enter
Линуксоид
17.08.2017
23:18
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Эта программа поскорости бьёт все аналогичные на windows и к тому же бесплатна! Линукс уже в чём-то обходит тот треш
Андрей
08.11.2017
12:51
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
На сайте, который меня интересует, существует много ссылок на документы в формате ПДФ, что нужно добавить в команду, чтобы файлы скачались вместе со всем остальным ?
su
09.11.2017
10:07
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийАндрейРодительский комментарий
+1
войдите, чтобы ставить лайки
попробуй так wget -r -A *.pdf
[аноним]
10.11.2017
09:23
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийsuРодительский комментарий
+1
войдите, чтобы ставить лайки
не выходит , скачивание останавливается почти сразу после запуска
VadimAndy
Активный пользователь
Активный
03.05.2018
15:45
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийРодительский комментарий
+1
войдите, чтобы ставить лайки
wget -r -A http://site.ru/*.html
Сергей
24.01.2018
15:56
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Добрый день. Подскажите пожалуйста, можно ли скачать закрытый раздел форума?
beliy
01.03.2018
10:12
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Сайты с блогспота не выкачивает, только индексную страницу. httrack тоже самое. Не подскажете как можно решить вопрос?
VadimAndy
Активный пользователь
Активный
01.03.2018
22:04
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийbeliyРодительский комментарий
+1
войдите, чтобы ставить лайки
wget -r -A http://site.ru/*.html
Родион
15.03.2018
16:20
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
У меня есть сайт я хочу его скачать скачиваю без проблем но вот вылазит окно с просьбой залогинится но когда я ввожу логин и пароль меня перекидывает на веб страницу что делать ?
VadimAndy
Активный пользователь
Активный
16.03.2018
18:48
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийРодионРодительский комментарий
+1
войдите, чтобы ставить лайки
выкинуть роутер и больше никогда его не включать =))
Евгений
20.04.2018
12:26
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Если на сайте есть ссылки на внешние скрипты js например jquery и т.д какую команду дописать чтобы он то же выкачивал их а не с внешки тянул?
caen
28.04.2018
09:24
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Ключи GNU-совместимых утилит можно объединять. Тоесть чтобы скачать сайт целиком, можно можно wget -rkpE -l 7 -nc
Ольга
30.04.2018
23:22
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Как скачать сайт со всеми его поддоменами?
Сергей
17.07.2018
20:53
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийОльгаРодительский комментарий
+1
войдите, чтобы ставить лайки
Может типа *.vk.com
alibaba070785
23.07.2018
22:23
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
а как с помощью данной утилиты скачать сайт который размещен в вебархиве. Те, что на данный момент работающие сайты - не проблема выкачать, а как быть с вебархивом, когда самого сайта в онлайне нет, но он присутствует в вебархиве?
Ключ вида:
wget -k -x -P -U -o -nv -e robots=off
и
wget -r -k -l 7 -p -E -nc

не работают
Может кто-то подскажет?
Увася
07.09.2018
11:55
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Круто теперь точно Одноклассники для бабули скачаю.
bek
25.09.2018
15:48
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
как скачать php файлый и база данный
Влад
06.11.2018
02:31
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
расскажите подробнее что значит параметр "-l 7 " wget -r -k -l 7-p -E -nc в данной утилите , спрашиваю потому как вижу как люди ставят любую цифру , чаще всего "-l 1"
Acestor
06.11.2018
10:09
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийВладРодительский комментарий
+1
войдите, чтобы ставить лайки
из man`а:
-l depth
--level=depth
Максимальная глубина рекурсивной загрузки depth. По умолчанию ее значение равно 5.

Сайт это набор папок и файлов, параметр depth указывает на сколько уровней вниз скачивать.
Ангела
08.11.2018
17:13
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Это только на линукс? На виндовс10 работать не будет?
MS
05.04.2019
18:28
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Подскажите, как скачать сайт old-dos.ru, интересует все описания программ, скачиваются куча *.html и dl. файлов, но при при переходе перебрасывае на родной сайт, а хотелось-бы локальную копию с описанием программ
Вебер
21.05.2019
09:53
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийMSРодительский комментарий
+1
войдите, чтобы ставить лайки
Попробуй вот так!
wget --no-check-certificate -r -k -l 7 -p -E -nc http : // название сайта

Должно получиться
эндрю
13.04.2019
21:42
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Не получилось - не знаю почему. Команду скопировал отсюда - запустил батник - долго что-то качалось... часов 5-6, потм само почему то остановилось. Но т.к. программа вроде поддерживает докачку, значит ничего страшного можно всегда самому руками остановить а потом продолжить. (с ключом nc). Скачалась папка - размер гдето около 4Гб. Внутри много папок и подпапок ... в корне много html в том числе типа главный index.html - его открываю - а он типа грузится грузится а сам пустой. Ладно - ОК. Пытаюсь рандомно открывать другие html (статьи) они открываются , но все в поехавшей структуре и все без картинок, хотя картинки есть в скачанных (проверял по путям), но на индексе стоит путь в интеренет, а не в локалку.
Ну в общем даже с вашими подсказками сходу не получилось . Буду пробовать другие программы.
Вебер
21.05.2019
09:31
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Друзья, помогите пожалуйста!
Нужно скачать сайт но он в поддомене поддомен.сайт.ru
Напишите правильную команду которая скачает весь этот сайт!

Заранее всем спасибо!
Сергей
19.10.2019
14:08
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Сейчас не качает сайт ,с https ...Вопрос в этом,как скопировать с https,Срочно Надо,ЖДу Помощи от Вас ,Друзья!
Марк
16.12.2019
00:41
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
+1
войдите, чтобы ставить лайки
Скачал один сайт, в Ubuntu всё хорошо читается, Windows не видит html файлы нихрена(( Что с этим или с ними нужно сделать чтобы везде читалось. С другими файлами не было такого.
W495
Активный пользователь
Активный
14.01.2021
22:11
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийМаркРодительский комментарий
0
войдите, чтобы ставить лайки
Зависит от браузера. Или что значит не видит?
Мансур
14.08.2020
20:12
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
0
войдите, чтобы ставить лайки
Invoke-WebRequest : Не удается обработать параметр, так как имя параметра "p" неоднозначно. Возможные совпадения: -Prox
y -ProxyCredential -ProxyUseDefaultCredentials -PassThru -PipelineVariable.
строка:1 знак:17
+ wget -r -k -l 7 -p -E -nc сайт.ру
+ ~~
+ CategoryInfo : InvalidArgument: (:) [Invoke-WebRequest], ParameterBindingException
+ FullyQualifiedErrorId : AmbiguousParameter,Microsoft.PowerShell.Commands.InvokeWebRequestCommand
AST
22.09.2020
08:09
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
0
войдите, чтобы ставить лайки
Я новичок в LInux использую FEDORA 32. Автору респект.
Oleksandr
31.10.2022
21:53
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
0
войдите, чтобы ставить лайки
Такой вопрос. Можно ли скачать только определенные файлы (или наоборот заранее исключить папку или файлы с определенным именем).
Просто при запуске сайта на котором тысячи пользоватилей и они что то постоянно пишут и выкладывают(в моем случае книги) создает НЕРЕАЛЬНОЕ для скачивания количество файлов!
Мне нужна только основная структура сайта или хотя бы не все файлы.
Александр
12.01.2023
11:37
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
0
войдите, чтобы ставить лайки
Помогите пожалуйста. Скачал сайт по инструкции, по команде. У себя на компе открывается потрясающе. Перекинул каталог с сайтом на другой комп, index.html все картинки съехали, все поехало, как бывает при обрыве интернета - часть картинок прогружается и все выстраивается вертикально.
Побились CSS стили страницы, не могу понять?

Спасибо.

Возможно дело в команде wget? Какой ключ поставить, чтобы ссылки на html файлы и css стили вели в каталог с сайтом, из которого запускается index.

Видимо при копировании идут ссылки на другие пути, которых нет.
Alex
14.07.2023
19:30
Постоянная ссылка на комментарийПостоянная ссылка на комментарийРодительский комментарийАлександрРодительский комментарий
0
войдите, чтобы ставить лайки
Александр, вам нужно попробовать скачивать без "-k"
Alex
14.07.2023
19:29
Постоянная ссылка на комментарийПостоянная ссылка на комментарий
0
войдите, чтобы ставить лайки
Топ статья на все века пользуюсь в 2023 с начала времен

Написать комментарий

Ваше имя:
Текст комментария:
  • Уважать других.
  • Не ругаться.
  • Без оскорблений.
  • Без грубости.
  • Не переходить на личности.
  • Писать на русском языке.
  • Без политики.
  • Без флуда.
Правила