Wget + cURL

Автор: | 07/03/2024
Нет комментариев

Wget

Wget — (GNU Wget) свободнаяконсольная программа для загрузки файлов по сети. Поддерживает протоколы HTTP, FTP и HTTPS, а также поддерживает работу через HTTP прокси-сервер. Программа включена почти во все дистрибутивы GNU/Linux.

КомандаОписание
wget http://example.com/file.zipСкачивание файла file.zip в текущую директорию
wget -P /path/to/save http://example.com/file.zipСкачивание файла file.zip в директорию /path/to/save
wget -c http://example.com/file.zipДокачивание файла file.zip в случаи обрыва
wget -O arch.zip http://example.com/file.zipСкачивание файла file.zip и сохранение под именем arch.zip
wget -i files.txtСкачивание файлов из списка в files.txt
wget —tries=10 http://example.com/file.zipКоличество попыток на скачивание
wget -Q5m -i http://example.com/Квота на максимальный размер скачанных файлов, квота действует только при рекурсивном скачивании (-r)
wget —save-cookies cookies.txt —post-data ‘username=proft&password=1’ http://example.com/auth.phpИдентификация на сервере с сохранением кук для последующего доступа
wget —user-agent=»Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5″ http://example.com/Указание User Agent
echo ‘wget http://example.com/file.zip’ | at 12:00Скачать http://example.com/file.zip в 12:00 в текущую директорию
wget ftp://example.com/dir/*.zipСкачивание всех файлов по шаблону
wget http://example.com/dir/file{1..10}.zipСкачивание всех файлов по шаблону
wget -S http://example.com/Вывод заголовков HTTP серверов и ответов FTP серверов
wget —spider -i urls.txtПроверка ссылок в файле на доступность
wget -b http://example.com/file.zipСкачивание файла в фоне, лог пишется в wget.log, wget.log.1 и т.д.
export http_proxy=http://proxy.com:3128/;wget http://example.com/file.zipСкачивание файла *file.zip* через прокси
wget -m -w 2 http://example.com/Зеркалирование сайта с сохранением абсолютных ссылок и ожиданием 2-х секунд между запросами
wget —limit-rate=200k http://example.com/file.zipОграничение скорости скачивания
wget -R bmp http://example.com/НЕ скачивать bmp файлы
wget -A png,jpg http://example.com/Скачивать только файлы png и jpg

cURL

cURL — (распространяемая по лицензии MIT)[4]кроссплатформенная служебная программа командной строки, позволяющая взаимодействовать с множеством различных серверов по множеству различных протоколов с синтаксисом URL. Название расшифровывается как «client for URL».

КомандаОписание
curl http://proft.meПолучаем содержания главной страницы
curl -o index.html http://proft.meПолучаем содержания главной страницы в файл index.html
curl -L http://example.comПри получении содержимого страницы следовать по редиректам (если такие есть)
curl -u username:password http://example.com/login/Получение страницы скрытой за Basic HTTP Authentication
curl -x proxy.com:3128 http://proft.meПолучение страницы используя прокси
curl -I proft.meПолучаем http-заголовки с сайта
curl -H ‘Host: google.ru’ http://proft.meПодменить домен при обращении к серверу (передача своего заголовка)
curl —request POST «http://example.com/form/» —data «field1=value1&field2=value2»Передача данных POST-запросом
curl -X POST «http://example.com/form/» —data «field1=value1&field2=value2»Передача данных POST-запросом
curl -X POST -H «Content-Type: application/json» -d ‘»title»:»Commando»,»year»:»1985″‘ http://example.com/api/movies/Передача данных POST-запросом, данные в виде JSON
curl —request PUT «http://example.com/api/movie/1/» —data «title=DjangoUnchained»Передача данных PUT-запросом
curl -F uploadfiled=@file.zip -F submit=OK http://example.com/upload/Загрузка файла file.zip в форму (multipart/form-data)
curl -u username:password -O ftp://example.com/file.zipСкачать файл с FTP
curl -u username:password -T file.zip ftp://example.com/Закачать файл по FTP
curl —cookie «login=proft» http://example.com/login/Установить кукис
curl —cookie-jar cookies.txt http://example.comСохранение кукисов в файл
curl —cookie cookies.txt http://example.com/login/Использование сохраненных кукисов