작심삼일

에러 torchtext==0.16.0a0 일 때 아래와 같은 에러가 발생했다. ModuleNotFoundError: No module named 'torchtext.legacy' 해결 방법 pip install torchtext==0.12.0

에러 huggingface_hub.utils._errors.RepositoryNotFoundError: 401 Client Error. Repository Not Found for url: https://huggingface.co/xxx/xxx/model.pth. Please make sure you specified the correct `repo_id` and `repo_type`. If you are trying to access a private or gated repo, make sure you are authenticated. Invalid username or password. 해결 방법 1. 레포 주소를 올바르게 썼는지 확인해본다. 2. private레포라면 huggingface 로그인을 ..

Conda 설치 하기 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda $HOME/miniconda/bin/conda init bash 이 커맨드만 입력하면 편하게 conda를 설치할 수 있다.

Introduction Key Insight CNN과 transformer의 장점을 살리자! CNN local한 영역에서 강점을 가짐 Transformer Long-range의 관계를 잘 학습 함 Approach 이미지를 pixel 말고 codebook으로 나타내보자 Learning an Effective Codebook if Image Constituents for Us in Transformers 왜 Codebook을 사용하는가 이미지 영역에 Transformer 구조를 적용하려면, 이미지를 sequence형태로 나타내야 함 이미지 $x \in R^{H \times W \times 3}$ $\rightarrow$ codebook의 원소 $z_q \in R^{h \times w \times n_z}$들..

Introduction LLM같은 큰 모델을 fine-tuning하는 것은 너무 expensive하다 근래에 사용하는 quantization 방법들은 아직 부족하다 inference단에서만 사용 가능 QLoRA 는 pre-trained model을 4-bit로 quantize하는 high-precision technique이다. QLoRA를 사용하면 큰 모델들을 GPU 단 한개로 fine-tuning할 수 있다. 주요 방법들 4-bit NormalFloat Normally distributed data에 딱 맞는 quantization용 data type DoubleQuantization Quantization constants를 quantization함으로써 메모리 감소 Paged Optimizer O..

문제 AWS에서 sagemaker를 설치하려고하면 apt-get이 없다는 둥 잘 안된다. 해결 방법 yum을 사용하면 된다! sudo yum install -y amazon-linux-extras sudo amazon-linux-extras install epel -y sudo yum-config-manager --enable epel sudo yum install git-lfs

도커 이미지를 다른 곳에 올린다거나 다른 서버로 바꾸고 싶을 때가 있다. 그 환경에서 다시 docker를 build하는 방법도 있지만, 간단하게 압축해서 옮기는 방법도 있다. Docker image를 tar로 압축하기 docker save -o [tar로 저장할 이름] [docker image] # ex) docker save -o nginx.tar nginx:latest tar를 다시 docker image로 압축풀기 docker load -i [tar file] # ex) docker load -i nginx.tar

문제 AWS에 큰 파일이 들어있는 repository를 clone하려고 git lfs install을 했는데 설치가 잘 안됐다... 하지만 늘 그렇듯이 방법을 찾아냈지! 해결방법 sudo amazon-linux-extras install epel -y curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash sudo yum install git-lfs -y git lfs install 위 커맨드를 이용하면 git lfs가 설치된다