작심삼일

Introduction Key Insight CNN과 transformer의 장점을 살리자! CNN local한 영역에서 강점을 가짐 Transformer Long-range의 관계를 잘 학습 함 Approach 이미지를 pixel 말고 codebook으로 나타내보자 Learning an Effective Codebook if Image Constituents for Us in Transformers 왜 Codebook을 사용하는가 이미지 영역에 Transformer 구조를 적용하려면, 이미지를 sequence형태로 나타내야 함 이미지 $x \in R^{H \times W \times 3}$ $\rightarrow$ codebook의 원소 $z_q \in R^{h \times w \times n_z}$들..

Introduction LLM같은 큰 모델을 fine-tuning하는 것은 너무 expensive하다 근래에 사용하는 quantization 방법들은 아직 부족하다 inference단에서만 사용 가능 QLoRA 는 pre-trained model을 4-bit로 quantize하는 high-precision technique이다. QLoRA를 사용하면 큰 모델들을 GPU 단 한개로 fine-tuning할 수 있다. 주요 방법들 4-bit NormalFloat Normally distributed data에 딱 맞는 quantization용 data type DoubleQuantization Quantization constants를 quantization함으로써 메모리 감소 Paged Optimizer O..

문제 AWS에서 sagemaker를 설치하려고하면 apt-get이 없다는 둥 잘 안된다. 해결 방법 yum을 사용하면 된다! sudo yum install -y amazon-linux-extras sudo amazon-linux-extras install epel -y sudo yum-config-manager --enable epel sudo yum install git-lfs

도커 이미지를 다른 곳에 올린다거나 다른 서버로 바꾸고 싶을 때가 있다. 그 환경에서 다시 docker를 build하는 방법도 있지만, 간단하게 압축해서 옮기는 방법도 있다. Docker image를 tar로 압축하기 docker save -o [tar로 저장할 이름] [docker image] # ex) docker save -o nginx.tar nginx:latest tar를 다시 docker image로 압축풀기 docker load -i [tar file] # ex) docker load -i nginx.tar

문제 AWS에 큰 파일이 들어있는 repository를 clone하려고 git lfs install을 했는데 설치가 잘 안됐다... 하지만 늘 그렇듯이 방법을 찾아냈지! 해결방법 sudo amazon-linux-extras install epel -y curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash sudo yum install git-lfs -y git lfs install 위 커맨드를 이용하면 git lfs가 설치된다

에러 pytorch_lightning을 import해서 사용하는데 해당 오류가 발생했다. ImportError: cannot import name '_compare_version' from 'torchmetrics.utilities.imports' 해결 방법 pytorch_lightning을 설치 시 자동으로 torchmetrics가 자동으로 설치되는데, 이 때 1.0.0버전이 설치되면서 에러가 발생했다. 0.11.1 버전으로 다시 설치해주면 해결된다. pip install torchmetrics==0.11.1

에러 pipe = StableDiffusionControlNetPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16) 위처럼 Diffusers에서 StableDiffusion을 사용할 때 아래와 같은 에러를 만날 수 있다. OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /root/.cache/huggingface/hub/models--runwayml--stable-diffusion-v1-5/snapsho..

도커파일을 이용해서 도커를 빌드하다보면 으로 되어있는 도커 이미지가 많이 생긴다. 다음 커맨드를 입력하면, 현재 사용하지 않는 이미지들을 지울 수 있다. docker rmi $(docker images -f "dangling=true" -q)