wgetコマンドで取得したコンテンツをカレントディレクトリ直下に保存する方法

2024年05月04日
development

wgetコマンドの基本構文

wgetコマンドはインターネットから、htmlファイルや画像などのコンテンツをダウンロードする際に使用するコマンドです。基本構文は以下です。コマンドの後にオプション、ダウンロード対象のURLと続けます。

wget [オプション] [URL]

階層毎のフォルダを作成しない方法

wgetには特定のURLを起点として、再帰的にコンテンツをダウンロードする -r オプションがあります。 -r オプションを指定するとデフォルトで5階層まで階層を深堀してコンテンツをダウンロードします。

ダウンロードしたコンテンツは、対象のコンテンツのドメイン名でフォルダが作成され、さらにその中にURL階層ごとのフォルダ内に保存されます。

この階層に応じたフォルダが不要な時は、-nd（–no-directories）オプション を指定することで、カレントディレクトリにすべてのコンテンツを保存することができます。同じ名前のファイルが複数ある場合は、末尾に数値が付いて保存されます。（index.html.5など）

以下のサンプルは、当ブログのトップページから再帰的にコンテンツを取得し、-A オプションで拡張子が png のファイル名のみを取得しています。

[root@hostname tmp]# wget -r -A png -nd https://uchy.me/blog/ 
[root@hostname tmp]# 
[root@hostname tmp]# ll
total 1528
-rw-r--r-- 1 root root 108113 Nov 22  2021 2021112201.png
-rw-r--r-- 1 root root  25703 Nov 26  2021 2021112601.png
-rw-r--r-- 1 root root  46145 Nov 28  2021 2021112602.png
-rw-r--r-- 1 root root  12256 Nov 26  2021 2021112603.png
-rw-r--r-- 1 root root 122412 Oct 21  2023 20231020-001.png
-rw-r--r-- 1 root root 114873 Oct 21  2023 20231020-002.png
-rw-r--r-- 1 root root  30807 Oct 21  2023 20231020-003.png
-rw-r--r-- 1 root root   3530 Oct 21  2023 20231020-004.png
-rw-r--r-- 1 root root  33653 Oct 21  2023 20231020-005.png
-rw-r--r-- 1 root root  36828 Oct 21  2023 20231020-006.png
-rw-r--r-- 1 root root  14856 Oct 21  2023 20231021-001.png
-rw-r--r-- 1 root root  31416 Oct 21  2023 20231021-002.png
-rw-r--r-- 1 root root  76836 Oct 21  2023 20231021-003.png
-rw-r--r-- 1 root root 116231 Oct 26  2023 20231021-004-min.png
-rw-r--r-- 1 root root  31502 Oct 26  2023 20231022-005-min.png
-rw-r--r-- 1 root root   9515 Oct 22  2023 20231022-006.png
-rw-r--r-- 1 root root  75081 Apr  6 10:34 2024040602-pl1-min.png
-rw-r--r-- 1 root root  79660 Apr  6 10:34 2024040602-pl2-min.png
-rw-r--r-- 1 root root  22410 Jun 21  2017 logo.png
-rw-r--r-- 1 root root 188891 Apr 20 00:25 pal1-min.png
-rw-r--r-- 1 root root 145306 Apr 20 00:25 pal2-min.png
-rw-r--r-- 1 root root 105356 Apr 20 00:25 pal3-min.png
-rw-r--r-- 1 root root   8749 Nov 28  2021 thumb-20211127.png
-rw-r--r-- 1 root root  39892 Nov 28  2021 thumb-mysql-s3.png
-rw-r--r-- 1 root root  14408 Apr 20 00:34 thumb-pal-vps-1.png
-rw-r--r-- 1 root root  18519 Nov 28  2021 thumb-unity.png

Linuxコマンドについて学べるおすすめ書籍
Linuxコマンドの知識は、プログラマにとって長く役立つ知識です。私はこちらの書籍で一通り知識を抑えました。基本から丁寧に解説されています。

リンク

Linux教科書図解でパッとわかる LPIC/LinuC
はじめてLPICを受ける方向け、手を動かしながらLinuxについて学びたい方におすすめ。30日間の無料体験もできる『Kindle Unlimited』でも読むことができます。

リンク

Linuxコマンドについて徹底的に学べるUdemy講座
もう絶対に忘れない Linux コマンド【Linux 100本ノック+名前の由来+丁寧な解説で、長期記憶に焼き付けろ！】