Termux에서 huggingface-cli 사용하기

Huggingface CLI 설치 및 사용 방법

Hugging Face Hub는 머신러닝 모델과 데이터셋을 공유하고 다운로드할 수 있는 플랫폼입니다. huggingface-cli는 이 플랫폼의 모델과 데이터셋을 명령줄에서 쉽게 관리할 수 있게 해주는 도구입니다.

기본 설치

아래 명령어를 실행해서 기본적으로 필요한 패키지들을 설치해 줍니다. 설치 과정에 몇 분 정도 소요될 수 있습니다.

pkg install python clang make pkg-config rust build-essential -y

pip 명령어를 이용해서 huggingface-cli 자동 설치 파일을 다운받아 실행시켜줍니다. Huggingface에서 제공해준 문서의 명령어를 실행하면 pip의 컴파일 오류로 인해 진행이 안 되기 때문에 아래 명령어를 실행시켜 줘야 합니다.

pip install --only-binary=all "huggingface_hub[cli]"

로그인하기

최근 대기업들에서 업로드하는 모델들의 경우 Gated 되어서 일반적인 방법으로는 다운로드가 안 되는 경우가 많습니다. 이를 해결하기 위해 huggingface-cli를 이용하여 토큰 액세스를 활성화 한 다음 다운로드하면 정상적으로 파일을 다운받을 수 있습니다.

huggingface-cli login

명령어를 실행하면 토큰 입력을 요구합니다. Hugging Face 웹사이트에서 토큰을 생성하고 입력해주세요.

토큰 생성 방법:

1. Hugging Face에 로그인
2. 프로필 설정 → Access Tokens로 이동
3. "New token" 버튼 클릭
4. 토큰 이름 입력 및 권한 설정 (일반적으로 "Read" 권한으로 충분)
5. 생성된 토큰을 복사해서 CLI에 입력

모델 다운받기

기본 다운로드

모델을 다운로드하는 기본 명령어입니다:

huggingface-cli download [모델명]

예시:

huggingface-cli download microsoft/DialoGPT-medium

특정 파일만 다운로드

전체 모델이 아닌 특정 파일만 다운로드하고 싶을 때:

huggingface-cli download [모델명] [파일명]

예시:

huggingface-cli download microsoft/DialoGPT-medium config.json

다운로드 위치 지정

모델을 특정 디렉토리에 다운로드하고 싶을 때:

huggingface-cli download [모델명] --local-dir [경로]

예시:

huggingface-cli download microsoft/DialoGPT-medium --local-dir ./models/

대용량 모델 다운로드

대용량 모델의 경우 resume 기능을 사용하여 중단된 다운로드를 재개할 수 있습니다:

huggingface-cli download [모델명] --resume-download

유용한 추가 명령어

모델 정보 확인

huggingface-cli repo info [모델명]

업로드된 모델 목록 확인

huggingface-cli repo ls [모델명]

로그아웃

huggingface-cli logout

주의사항

• 인터넷 연결: 모델 다운로드 시 안정적인 인터넷 연결이 필요합니다
• 저장 공간: 대용량 모델의 경우 충분한 디스크 공간을 확보해주세요
• 토큰 보안: 생성한 토큰은 안전하게 보관하고 타인과 공유하지 마세요
• Gated Models: 일부 모델은 별도의 승인 절차가 필요할 수 있습니다

문제 해결

설치 오류 시

• Python 버전이 3.7 이상인지 확인
• pip를 최신 버전으로 업데이트: pip install --upgrade pip

토큰 관련 오류 시

• 토큰이 올바르게 입력되었는지 확인
• 토큰 권한 설정 확인
• 필요시 새 토큰 생성

다운로드 실패 시

• 네트워크 연결 상태 확인
• 모델명이 정확한지 확인
• --resume-download 옵션 사용

이제 huggingface-cli를 통해 다양한 AI 모델들을 쉽게 다운로드하고 활용할 수 있습니다!