작심삼일

문제 AWS에서 sagemaker를 설치하려고하면 apt-get이 없다는 둥 잘 안된다. 해결 방법 yum을 사용하면 된다! sudo yum install -y amazon-linux-extras sudo amazon-linux-extras install epel -y sudo yum-config-manager --enable epel sudo yum install git-lfs

도커 이미지를 다른 곳에 올린다거나 다른 서버로 바꾸고 싶을 때가 있다. 그 환경에서 다시 docker를 build하는 방법도 있지만, 간단하게 압축해서 옮기는 방법도 있다. Docker image를 tar로 압축하기 docker save -o [tar로 저장할 이름] [docker image] # ex) docker save -o nginx.tar nginx:latest tar를 다시 docker image로 압축풀기 docker load -i [tar file] # ex) docker load -i nginx.tar

문제 AWS에 큰 파일이 들어있는 repository를 clone하려고 git lfs install을 했는데 설치가 잘 안됐다... 하지만 늘 그렇듯이 방법을 찾아냈지! 해결방법 sudo amazon-linux-extras install epel -y curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash sudo yum install git-lfs -y git lfs install 위 커맨드를 이용하면 git lfs가 설치된다

에러 pytorch_lightning을 import해서 사용하는데 해당 오류가 발생했다. ImportError: cannot import name '_compare_version' from 'torchmetrics.utilities.imports' 해결 방법 pytorch_lightning을 설치 시 자동으로 torchmetrics가 자동으로 설치되는데, 이 때 1.0.0버전이 설치되면서 에러가 발생했다. 0.11.1 버전으로 다시 설치해주면 해결된다. pip install torchmetrics==0.11.1

에러 pipe = StableDiffusionControlNetPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16) 위처럼 Diffusers에서 StableDiffusion을 사용할 때 아래와 같은 에러를 만날 수 있다. OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /root/.cache/huggingface/hub/models--runwayml--stable-diffusion-v1-5/snapsho..

도커파일을 이용해서 도커를 빌드하다보면 으로 되어있는 도커 이미지가 많이 생긴다. 다음 커맨드를 입력하면, 현재 사용하지 않는 이미지들을 지울 수 있다. docker rmi $(docker images -f "dangling=true" -q)

도커 이미지들을 여러번 빌드하다보면 Exited되어 현재 사용하지 않는 컨테이너들이 쌓인다. 이 때 일일히 지우기 귀찮으면 다음 커맨드를 입력하면 된다. sudo docker ps -a | grep Exit | cut -d ' ' -f 1 | xargs sudo docker rm

Pytorch를 이용해서 학습 등을 진행할 때 GPU 사용량은 보통 nvidia-smi로 확인한다. 반면 cpu를 확인하기 위해 htop등을 사용하기에는 불편함이 있다. 그럴 때 이렇게 하면 된다. import os import psutil pid = os.getpid() py = psutil.Process(pid) cpu_usage = os.popen("ps aux | grep " + str(pid) + " | grep -v grep | awk '{print $3}'").read() cpu_usage = cpu_usage.replace("\n","") memory_usage = round(py.memory_info()[0] /2.**30, 2) print("cpu usage\t\t:", cpu_usag..