Wget-каманды: прыклады. Кансольная праграма для загрузкі файлаў па сетцы Wget

Здавалася б, у свеце, дзе палова насельніцтва планеты актыўна карыстаецца кампутарамі і прывыкла да стыльных графічным інтэрфейсам і багатым магчымасцям такога, ужо няма месца для тэкставых прыкладанняў. Нейкіх 20 гадоў таму інтэрфейс кампутара ўяўляў сабой страшную чорную панэль, якая не адлюстроўвала нічога, акрамя набору белых сімвалаў, а ўсё кіраванне ажыццяўлялася за кошт тэкставых каманд. Дзіўна, але наколькі гэтыя праграмы выродлівыя, настолькі ж яны функцыянальныя і надзейныя.

Што такое Wget?

Wget (якая таксама называецца GNU Wget Linux) уяўляе сабой кансольнае, ня інтэрактыўнае прыкладанне для працы з файламі і вэб-старонкамі. Па сутнасці, гэта праграма для запампоўкі файлаў з сеткі Інтэрнэт, адрозная адсутнасцю графічнага інтэрфейсу і побач асаблівасцяў ва ўпраўленні, нетыповых для больш сучасных рашэнняў.

Праграма была распрацавана інжынерам з Харватыі Хрвожи Никшичем, а цяпер распрацоўку падтрымлівае Джузэпэ Скривано і супольнасць Linux. Першая зборка ўтыліты (тады яшчэ пад назвай GetURL) была прадстаўлена ў студзені 1996 года. Праграма была напісана на мове праграмавання Сі і выдавалася на ўмовах ліцэнзіі GNU. Першапачаткова інструмент быў выпушчаны на платформе Linux. З часам ўтыліта была перакладзеная на мноства моў і партавана на ўсе папулярныя платформы, уключаючы Wget для Windows 7 (і навей), Wget для MacOS і гэтак далей.

Дадзеная праграма - ня інтэрактыўная, а значыць, любы працэс, запушчанай у рамках яе магчымасцяў, немагчыма ўзяць пад кантроль, ім можна кіраваць, звярнуўшыся да сродкаў кіравання самой аперацыйнай сістэмы.

Нягледзячы на тое што сучасныя браўзэры звычайна маюць убудаваны менеджэр загрузак, яны ўсё ж разлічаны на інтэрактыўнае ўзаемадзеянне, таму праца ў ручным рэжыме становіцца цяжкай. Wget ж, наадварот, дазваляе шэраг працэсаў аўтаматызаваць. Напрыклад, існуе магчымасць загадзя падрыхтаваць тэкставы дакумент са спісам вэб-старонак, выкарыстоўваючы які можна загрузіць адразу некалькі файлаў і старонак.

Асноўныя функцыі праграмы

Ўсё ж у першую чаргу гэта праграма для запампоўкі файлаў, з чаго вынікае відавочнасць яе галоўнай функцыі.

Wget можа загружаць любыя матэрыялы з сеткі Інтэрнэт, няхай гэта будзе дакументы, выканаўчыя файлы або цэлыя вэб-старонкі ў фармаце HTML (па розных пратаколах). Файлы могуць быць загружаны з дырэкторый па пратаколе FTP.

Кліент можа выконваць рэкурсіўная загрузку, у аўтаматычным рэжыме пераходзячы па спасылках у рамках пэўнага вэб-сайта (або некалькіх вэб-сайтаў), пры гэтым аднаўляючы першапачатковую структуру вэб-старонкі. Маецца магчымасць праглядаць загружаныя вэб-сайты без доступу да сеткі (па змаўчанні загружаецца ў выглядзе адрасоў для онлайн-прагляду).

Першапачаткова Wget адаптаваўся пад павольныя і нестабільныя тыпы падлучэнняў, таму яго важнай асаблівасць з'яўляецца магчымасць аднавіць перапыненую загрузку файла (гэта магчыма, калі сервер падтрымлівае загалоўкі RANGE). Таксама Wget можа маніторыць стан сервераў (іх даступнасць) для дазагрузкі і абнаўлення (Wget правярае галаўныя файлы і падтрымлівае самую свежую версію) файлаў і вэб-старонкі.

Праграма таксама мае шэраг магчымасцяў, тыповых для так званых утыліт-павукоў, якія даследуюць розныя вэб-сайты і серверы на прадмет наяўнасці на іх пэўных файлаў.

Падтрымліваюцца платформы

Wget Linux стаў базай для дадзенага прадукту. Як ужо было сказана вышэй, першапачаткова ўтыліта працавала толькі на Linux, але хутка набрала папулярнасць і была адаптаваная пад іншыя сістэмы. Напрыклад, можна адшукаць версію Wget для Windows 7 і больш сучасных АС, прычым ёсць зборкі з графічным інтэрфейсам. Што тычыцца Linux, то там праграма нярэдка ўшываецца ў дыстрыбутыў. Тэрміналы ў некаторых зборках Linux першапачаткова падтрымліваюць Wget-каманды. Ubuntu, Fedora, openSUSE і іншыя спажывецкія дыстрыбутывы працуюць з праграмай, што называецца, з скрынкі. Далей разгледзім праграму больш падрабязна.

Wget-каманды: спіс асноўных параметраў

У базавы спіс каманд уваходзяць:

• -V - дазваляе даведацца, якая версія праграмы выкарыстоўваецца ў дадзены момант;
• -h - паказвае найбольш поўны спіс каманд для працы з дадаткам;
• -b - дазваляе перавесці праграму ў фонавы рэжым;

Спіс параметраў паведамленняў

Wget-каманды дазваляюць цалкам кантраляваць якая адлюстроўваецца інфармацыю. Вось іх спіс:

• -o logfile - стварае файл-часопіс, у які запісваецца увесь працэс працы прыкладання;
• -a logfile - дазваляе дапоўніць існуючы файл-часопіс замест стварэння новага;
• -d - адлюстроўвае неабходную распрацоўнікам і адладчыкам інфармацыю (дапамагае вырашаць праблемы і выпраўляць памылкі ў працы кліента);
• -q - адключае адлюстраванне паведамленняў;
• -v - дадзеная опцыя ўключана па змаўчанні, дае падрабязную справаздачу аб усіх працэсах, якія адбываюцца ў праграме (у рэальным часе);
• -nv - значна скарачае інфармацыю, што атрымліваецца карыстальнікам у паведамленнях. Застаюцца толькі самыя неабходныя дадзеныя і паведамленьня пра памылкі;
• -i file (з указаннем шляху да файла) - каманда дазваляе прасканаваць файл, адлучыўшы з яго спасылку і выканаць загрузку; можна выкарыстоўваць файлы розных фарматаў, у тым ліку HTML, але ў выпадку выкарыстання дадзенай каманды не варта паказваць шлях да файла ў камандным радку;
• -f - правакуе праграму на чытанне файла як HTML; пры выкарыстанні гэтай каманды для працы з лакальным HTML дакументам, можа адбыцца памылка, каб яе пазбегнуць, досыць паказаць у дакуменце

Спіс параметраў загрузкі

Асноўныя каманды для працы з загрузкай файлаў з дапамогу Wget. Вось іх базавы набор:

• --bind-address = ADDRESS - дадзеная каманда дазваляе перадаць дадзеныя bind у ADDRESS лакальнай машыны. Пры выкарыстанні злучэння TCP / IP, каманда неабходная для дакладнага ўказання IP-адрасы (калі іх некалькі).
• -t number (трэба паказаць лік) - дазваляе карыстальніку выбраць колькасць паўтораў загрузкі. Каб пазбегнуць паўтораў варта паказаць значэнне number роўнае нулю.
• -nc - дадзеная каманда дазваляе вярнуць ранейшы стан загружанага файла ў тым выпадку, калі адбыўся збой у сеткі, і загрузка перапынілася. Калі не выкарыстоўваць адну з каманд для дазагрузкі (-N, -nc, -r), то Wget створыць яго копію і пачне загрузку нанова. Параметр -r дазваляе замяніць існуючыя файлы.
• -з - таксама спрыяе дозагрузка файла, у выпадку страты злучэння (і калі Wget спыніў самастойныя спробы аднаўлення падключэння). Дастаткова перад спасылкай на файл пазначыць дадзеную каманду. Калі ў выкарыстоўванай дырэкторыі знойдзецца аналагічны файл, то Wget правядзе яе ідэнтыфікацыяй і ў аўтаматычным рэжыме прыме рашэнне аб яго дозагрузка. Каманду можна выкарыстоўваць толькі на тых серверах, дзе маецца падтрымка загалоўкаў RANGE.

• --progress - дазваляе выбраць тып адлюстравання прагрэсу загрузкі. Можна паказаць -progress = bar або progress = dot.
• --spider - замяняе каманду загрузкі файла на праверку яго наяўнасці на сэрвэры;
• -w (у секундах) - паказвае час перапынку паміж загрузка.
• -q (называецца ў колькасці кілабайт або мегабайт) - дазваляе выразна рэгуляваць памер загружаных дадзеных і лімітаваны празмерныя аб'ёмы. Тым не менш варта заўважыць, што адзін файл будзе загружаны незалежна ад выстаўленай квоты (то бок з адным файлам гэтая опцыя працаваць не будзе, якой-бы ён не быў цяжкі).

Спіс параметраў HTTP

• --http-user = і --http-passwd = - дазваляюць паказаць лагін і пароль для аўтарызацыі на вэб-рэсурсе, з якога будуць выгружацца файлы.
• -C = on / off - дазваляе ўключыць або выключыць кэшаванне дадзеных на боку сервера.
• --cookies = on / off - тое ж самае, што і для cache, толькі для cookies. Дазваляе альбо спыніць, альбо аднавіць абмен дадзенымі cookie, неабходнымі серверу для вядзення статыстыкі наведванняў. Па змаўчанні опцыя ўключаная, але cookie-файлы не захоўваюцца на жорсткі дыск.
• --save-cookies - дазваляе захаваць файлы cookie (толькі свежыя дадзеныя).
• --proxy-user і -proxy-passwd - дазваляе паказаць лагін і пароль для аўтарызацыі на проксі-сэрвэры (калі такі задзейнічаны).

Спіс параметраў FTP

Прасунутыя параметры для працы з Wget. Каманды FTP:

• -nr - забараняе выдаляць часовыя файлы з дырэкторыі .listing, якія самаадвольна генеруюцца пры працы з FTP;
• -g on / off - дазваляе выкарыстоўваць утыліце спецыяльныя сімвалы ў дырэкторыях FTP;
• --passive-ftp - дадзеную каманду можна выкарыстоўваць пры наяўнасці Firewall'а, каб актываваць пасіўны рэжым FTP (калі карыстальнік сам адказвае за ўстаноўку злучэння з серверам).

Wget-каманды: прыклады выкарыстання

Самым простым і банальным прыкладам для працы з праграмай з'яўляецца, вядома, загрузка файлаў. Каб пратэставаць Wget-каманды, можна пачаць з простага, знайсці спасылку на які-небудзь файл у сеткі і ўвесці ў кансоль / terminal: Wget * спасылка з указаннем дакладнага і поўнага шляху да файла *.

Каб працягнуць загрузку файла, выкарыстоўваецца: Wget -c * спасылка з указаннем дакладнага і поўнага шляху да файла *.

Калі маецца запланаваны спіс са спасылкамі на файлы і дакументы, то можна выкарыстоўваць каманду Wget -i filelist.txt.

Што тычыцца загрузкі вэб-старонак, тут усе некалькі складаней, але пры гэтым і колькасць магчымасцяў значна ўзрастае. Каб не ўводзіць параметры зноўку кожны раз, калі паўстала неабходнасць загрузіць вэб-сайт, можна стварыць скрыпты або прапісаць усе налады ў файл .wgetrc.

Захаваць вэб-старонку ў выглядзе спасылак (будзе складана адкрыць іх на лакальнай машыне) можна з дапамогай каманды Wget -m * спасылка з указаннем дакладнага і поўнага шляху да файла *.

Каб гэтая ж старонка апынулася даступнай для прагляду без падлучэння да сеткі Інтэрнэт, можна выкарыстоўваць каманду Wget -r -10 -k * спасылка з указаннем дакладнага і поўнага шляху да файла *.

Памылка фармату Wget каманда не знойдзена можа азначаць любую памылку друку і няправільна ўказаны параметр.