[Linux 명령어] 다양한 기능이 있는 다운로드 유틸리티 (wget)

wget

wget 명령어는 인터넷에서 파일을 다운로드하기 위한 명령줄 유틸리티다. HTTP, HTTPS, FTP 등 다양한 네트워크 프로토콜을 지원한다. 이 명령어는 견고성과 내결함성을 위해 Linux, macOS 및 기타 Unix와 유사한 운영 체제에서 널리 사용된다.

 

wget의 주요 기능에는 느리거나 불안정한 네트워크 연결 처리, 실패한 다운로드 재시도, 중단된 다운로드 재개 등이 있다. 또한 재귀적으로 파일을 다운로드하고, 특정 파일 유형을 필터링하고, 다운로드 속도를 제한하고, 다운로드 디렉토리를 지정하는 옵션을 제공한다.

---

wget 설치

Ubuntu / Debian

sudo apt update && sudo apt install wget

CentOS / RHEL

sudo yum install wget
sudo dnf install wget

---

사용 예시 및 옵션

1. 단일 파일 다운로드

wget http://example.com/path/to/file.txt

 

2. 특정 디렉토리에 파일 다운로드
파일을 특정 디렉토리에 다운로드하려면 -P 또는 --directory-prefix 옵션과 원하는 디렉토리 경로를 차례로 작성한다.

wget -P /path/to/directory http://example.com/path/to/file.txt

 

3. 다른 이름으로 파일 다운로드
다운로드한 파일을 다른 이름으로 저장하려면 -O 또는 --output-document 옵션 다음에 원하는 파일 이름을 작성한다.

wget -O new_file_name.txt http://example.com/path/to/file.txt

 

4. 중단된 다운로드 재개
중단된 다운로드를 재개하려면 -c 또는 --continue 옵션을 사용한다.

wget -c http://example.com/path/to/file.txt

 

5. 다운로드 속도 제한
다운로드 속도를 제한하려면 --limit-rate 옵션과 원하는 속도 제한(예: 100KB/s의 경우 100k)을 작성한다.

wget --limit-rate=100k http://example.com/path

 

6. 여러 파일 다운로드
여러 파일을 다운로드하려면 여러 URL과 함께 하나의 wget 명령어를 사용하거나 URL 목록이 포함된 텍스트 파일을 만들고 -i 또는 --input -파일 옵션을 사용한다.

wget http://example.com/path/to/file1.txt http://example.com/path/to/file2.txt

다른 방법) URL이 포함된 텍스트 파일(예: urls.txt)을 만든다.

sudo vi /path/urls.txt

http://example.com/path/to/file1.txt
http://example.com/path/to/file2.txt

그런 다음 -i 옵션을 사용하여 파일을 다운로드한다.

wget -i urls.txt

 

7. 재귀적으로 파일 다운로드
웹사이트나 FTP 서버에서 파일을 재귀적으로 다운로드하려면 -r 또는 --recursive 옵션을 사용하여라. 이렇게 하면 이미지 및 기타 파일과 같은 콘텐츠와 함께 지정된 URL이 다운로드된다.

wget -r http://example.com/path/to/website

 

8. 재귀 깊이 제어
wget 명령의 컨텍스트에서 재귀 깊이는 지정된 URL에서 파일이나 웹 페이지를 다운로드할 때 명령이 따라야 하는 최대 수준 수를 나타낸다. --recursive 옵션을 사용하는 동안 재귀 깊이를 제한하려면 -l 또는 --level 옵션 뒤에 원하는 깊이를 작성한다.

wget -r -l 1 http://example.com/path/to/website

 

9. 특정 파일 형식만 다운로드
특정 파일 형식만 다운로드하려면 -A 또는 --accept 옵션 다음에 쉼표로 구분된 파일 확장자 목록을 작성한다.

wget -r -A .jpg,.png http://example.com/path/to/website

 

10. 특정 파일 형식 제외
특정 파일 형식을 다운로드에서 제외하려면 -R 또는 --reject 옵션 다음에 쉼표로 구분된 파일 확장자 목록을 작성한다.

wget -r -R .jpg,.png http://example.com/path/to/website

 

11. 지정된 디렉토리에서만 파일 다운로드
지정된 디렉토리에서만 파일을 다운로드하려면 --include-directories 또는 --exclude-directories 옵션 다음에 쉼표로 구분된 디렉토리 목록을 작성한다.

wget -r --include-directories=dir1,dir2 http://example.com/path/to/website

 

12. 상대 링크만 따르기
기본적으로 wget은 절대 링크와 상대 링크를 모두 따른다. 상대 링크만 따라가려면 --no-parent 옵션을 사용한다.

wget -r --no-parent http://example.com/path/to/website

 

13. 재시도 횟수 제어
실패한 다운로드에 대한 재시도 횟수를 제어하려면 --tries 또는 -t 옵션 뒤에 원하는 재시도 횟수를 작성한다.

wget --tries=5 http://example.com/path/to/file.txt

 

14. 시간 초과 설정
연결 설정 또는 데이터 읽기에 대한 시간 초과를 설정하려면 --timeout 또는 -T 옵션 뒤에 원하는 시간 초과 값(초)을 작성한다.

wget --timeout=10 http://example.com/path/to/file.txt

---