티스토리

작심삼일

검색하기

블로그 홈

작심삼일

sofar-sogood.tistory.com/m

[논문 정리 & 스터디 & 취미생활]을 기록합니다.

구독자: 0

방명록 방문하기

주요 글 목록

[vscode] vscode Error loading webview: Error: Could not register service worker: InvalidStateError: Failed to register a ServiceWorker: The document is in an invalid state.. 에러vscode로 디스크에 저장되어있는 이미지를 보려고하는데 다음과 같은 에러가 나면서 모든 이미지가 까만색으로만 보였다.vscode Error loading webview: Error: Could not register service worker: InvalidStateError: Failed to register a ServiceWorker: The document is in an invalid state.. 해결 방안vscode를 껐다가 켜면 된다.간-단 공감수 0 댓글수 0 2024. 9. 10.
[cuda] E: Unable to correct problems, you have held broken packages. 에러cuda를 설치하는데 아래와 같은 에러가 나왔다.ooooo@ooooo:~$ sudo apt-get -y install cudaReading package lists... DoneBuilding dependency tree... DoneReading state information... DoneSome packages could not be installed. This may mean that you haverequested an impossible situation or if you are using the unstabledistribution that some required packages have not yet been createdor been moved out of Incoming.The f.. 공감수 3 댓글수 3 2024. 9. 10.
[vscode] Failed to save : Unable to write file 'vscode-remote://ssh-remote' (NoPermissions (FileSystemError): Error: EACCES: permission denied, open) 에러vscode로 ssh로 접속한 파일을 저장하려할 때, 권한이 없다고 다음과 같은 에러를 만났다.Failed to save : Unable to write file 'vscode-remote://ssh-remote' (NoPermissions (FileSystemError): Error: EACCES: permission denied, open) 해결 방안내가 사용하고있는 USER한테 모든 파일을 수정할 수 있는 권한을 주면 된다.이때 USER는 terminal에 들어갔을 때 나오는 이름이라고 생각하면 된다.sudo chown -R $USER* 공감수 0 댓글수 0 2024. 9. 10.
[vscode] permission error when installing ttf-mscorefonts-installer/Can't drop privileges as file couldn't be accessed by user '_apt' 에러vscode에서 ssh로 붙은 서버 내의 docker container들이 이런 에러메세지를 보이면서 보이지 않았다.permission error when installing ttf-mscorefonts-installer/Can't drop privileges as file couldn't be accessed by user '_apt' 해결 방법docker를 처음 설치하면 sudo로만 실행할 수 있다.이 권한을 일반 사용자에게도 풀어주면 된다.sudo groupadd dockersudo usermod -aG docker $USERnewgrp docker 이렇게 설정해둔 뒤, docker ps 등으로 확인해보면 제대로 적용이 됐는지 간단히 확인 가능하다.그럼 문제가 해결됐을 것이다.docker ps 공감수 0 댓글수 0 2024. 9. 10.
[Docker 에러] Error response from daemon: could not select device driver "" with capabilities: [[gpu]] 에러docker run으로 도커를 띄울 때 이 에러가 뜨면서 도커에서 gpu를 잡지 못했다.Error response from daemon: could not select device driver "" with capabilities: [[gpu]] 해결 방법nvidia-container-toolkit을 설치하고, 도커를 재시작하면 된다.$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribut.. 공감수 0 댓글수 0 2024. 9. 10.
[VSCODE] VSCODE에서 terminal과 file editor 커서 단축키 원하는 것 vscode를 쓰면 다 좋은데 terminal창과 editor 창을 마우스 커서로 왔다갔다 하기 너무 귀찮다. 그래서 난 "ctrl + ;"로 keyboard shortcut을 만들어서 사용한다. 방법 ctrl + shift + P 를 누른 후 Open Keyboard Shorcuts (JSON)를 연다. 빈 json파일에 아래 코드를 적어서 저장한다. // Place your key bindings in this file to override the defaultsauto[] [ { "key": "ctrl+;", "command": "terminal.focus", "when": "editorFocus" }, { "key": "ctrl+;", "command": "workbench.action.. 공감수 1 댓글수 0 2024. 3. 8.
[Windows 설치] Ubuntu 지우고 Windows 설치 목표 Ubuntu가 설치된 PC를 booting USB를 이용해 다시 windows로 바꾸기! 원래는 PC 부팅 시 ESC나 F11을 연타하면 booting menu로 가는데 Ubuntu에는 없었다; 아래처럼 하면 booting menu를 뜨게할 수 있음 해결 방법 1. grub 파일에 들어간다 nano /etc/default/grub 2-1. 아래 코드를 GRUB_TIMEOUT_STYLE=hidden 2-2.로 바꾼다. GRUB_TIMEOUT_STYLE=menu 3. grub을 다시 세팅한다. sudo update-grub 4. 그러고 다시 재부팅하면 성공! 공감수 1 댓글수 0 2024. 3. 5.
[cuda 에러] c10::CUDAError 에러 c10::CUDAError 해결 방법 torch 버전을 업그레이드하면 된다. pip3 install -U torch torchvision torchaudio 공감수 0 댓글수 0 2024. 1. 28.
[transformers 에러] ModuleNotFoundError: No module named 'torch._six' 에러 RuntimeError: Failed to import transformers.trainer because of the following error (look up to see its traceback): No module named 'torch._six' ModuleNotFoundError: No module named 'torch._six' 해결 방법 pip uninstall -y apex 공감수 0 댓글수 0 2024. 1. 28.
[transformers 에러] AttributeError: 'MachAr' object has no attribute '_str_smallest_normal' 에러 RuntimeError: Failed to import transformers.data.data_collator because of the following error (look up to see its traceback): 'MachAr' object has no attribute '_str_smallest_normal' AttributeError: 'MachAr' object has no attribute '_str_smallest_normal' 해결 방법 pip install numpy==1.23.1 공감수 0 댓글수 0 2024. 1. 28.
[transformers 에러] RuntimeError: Failed to import transformers.pipelines because of the following error 에러 RuntimeError: Failed to import transformers.pipelines because of the following error (look up to see its traceback): Descriptors cannot not be created directly. If this call came from a _pb2.py file, your generated code is out of date and must be regenerated with protoc >= 3.19.0. If you cannot immediately regenerate your protos, some other possible workarounds are: 1. Downgrade the protobuf .. 공감수 0 댓글수 0 2024. 1. 28.
[Git] Git repository 변경하기 Git repository 변경하기 git remote set-url origin https://github.com/id/repository.git git init git add . git commit git push set-url origin 옆에 새로운 repository 주소를 적으면 된다. 공감수 0 댓글수 0 2024. 1. 28.
[Python 에러] ImportError: module 'cv2.dnn' has no attribute 'DictValue' 에러 opencv-python==4.8.1.78 일 때 아래와 같은 에러가 발생했다. ImportError: module 'cv2.dnn' has no attribute 'DictValue' 해결 방안 pip install opencv-python==4.8.0.74 공감수 9 댓글수 0 2023. 11. 7.
[Python 에러] ModuleNotFoundError: No module named 'torchtext.legacy' 에러 torchtext==0.16.0a0 일 때 아래와 같은 에러가 발생했다. ModuleNotFoundError: No module named 'torchtext.legacy' 해결 방법 pip install torchtext==0.12.0 공감수 2 댓글수 0 2023. 11. 7.
[huggingface 에러] RepositoryNotFoundError: 401 Client Error. 에러 huggingface_hub.utils._errors.RepositoryNotFoundError: 401 Client Error. Repository Not Found for url: https://huggingface.co/xxx/xxx/model.pth. Please make sure you specified the correct `repo_id` and `repo_type`. If you are trying to access a private or gated repo, make sure you are authenticated. Invalid username or password. 해결 방법 1. 레포 주소를 올바르게 썼는지 확인해본다. 2. private레포라면 huggingface 로그인을 .. 공감수 0 댓글수 0 2023. 10. 18.
[conda] conda install Conda 설치 하기 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda $HOME/miniconda/bin/conda init bash 이 커맨드만 입력하면 편하게 conda를 설치할 수 있다. 공감수 0 댓글수 0 2023. 10. 18.
[VQ-GAN 리뷰] Taming Transformers for High-Resolution Image Synthesis Introduction Key Insight CNN과 transformer의 장점을 살리자! CNN local한 영역에서 강점을 가짐 Transformer Long-range의 관계를 잘 학습 함 Approach 이미지를 pixel 말고 codebook으로 나타내보자 Learning an Effective Codebook if Image Constituents for Us in Transformers 왜 Codebook을 사용하는가 이미지 영역에 Transformer 구조를 적용하려면, 이미지를 sequence형태로 나타내야 함 이미지 $x \in R^{H \times W \times 3}$ $\rightarrow$ codebook의 원소 $z_q \in R^{h \times w \times n_z}$들.. 공감수 2 댓글수 0 2023. 9. 13.
[QLoRA 리뷰] Qlora: Efficient finetuning of quantized llms Introduction LLM같은 큰 모델을 fine-tuning하는 것은 너무 expensive하다 근래에 사용하는 quantization 방법들은 아직 부족하다 inference단에서만 사용 가능 QLoRA 는 pre-trained model을 4-bit로 quantize하는 high-precision technique이다. QLoRA를 사용하면 큰 모델들을 GPU 단 한개로 fine-tuning할 수 있다. 주요 방법들 4-bit NormalFloat Normally distributed data에 딱 맞는 quantization용 data type DoubleQuantization Quantization constants를 quantization함으로써 메모리 감소 Paged Optimizer O.. 공감수 0 댓글수 0 2023. 9. 6.
[Sagemaker] AWS Sagemaker에서 git lfs install 하기 문제 AWS에서 sagemaker를 설치하려고하면 apt-get이 없다는 둥 잘 안된다. 해결 방법 yum을 사용하면 된다! sudo yum install -y amazon-linux-extras sudo amazon-linux-extras install epel -y sudo yum-config-manager --enable epel sudo yum install git-lfs 공감수 0 댓글수 0 2023. 9. 6.
[Docker] Docker image를 tar로 압축하기 & 압축 풀기 도커 이미지를 다른 곳에 올린다거나 다른 서버로 바꾸고 싶을 때가 있다. 그 환경에서 다시 docker를 build하는 방법도 있지만, 간단하게 압축해서 옮기는 방법도 있다. Docker image를 tar로 압축하기 docker save -o [tar로 저장할 이름] [docker image] # ex) docker save -o nginx.tar nginx:latest tar를 다시 docker image로 압축풀기 docker load -i [tar file] # ex) docker load -i nginx.tar 공감수 0 댓글수 0 2023. 8. 30.
[Sagemaker] AWS Sagemaker notebook에 git lfs 설치하기 문제 AWS에 큰 파일이 들어있는 repository를 clone하려고 git lfs install을 했는데 설치가 잘 안됐다... 하지만 늘 그렇듯이 방법을 찾아냈지! 해결방법 sudo amazon-linux-extras install epel -y curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash sudo yum install git-lfs -y git lfs install 위 커맨드를 이용하면 git lfs가 설치된다 공감수 0 댓글수 0 2023. 7. 31.
[Pytorch 에러] ImportError: cannot import name '_compare_version' from 'torchmetrics.utilities.imports' 에러 pytorch_lightning을 import해서 사용하는데 해당 오류가 발생했다. ImportError: cannot import name '_compare_version' from 'torchmetrics.utilities.imports' 해결 방법 pytorch_lightning을 설치 시 자동으로 torchmetrics가 자동으로 설치되는데, 이 때 1.0.0버전이 설치되면서 에러가 발생했다. 0.11.1 버전으로 다시 설치해주면 해결된다. pip install torchmetrics==0.11.1 공감수 0 댓글수 0 2023. 7. 7.
[Diffusers 에러] OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory 에러 pipe = StableDiffusionControlNetPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16) 위처럼 Diffusers에서 StableDiffusion을 사용할 때 아래와 같은 에러를 만날 수 있다. OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /root/.cache/huggingface/hub/models--runwayml--stable-diffusion-v1-5/snapsho.. 공감수 1 댓글수 0 2023. 6. 23.
[Docker] <none> <none> docker image 지우기 도커파일을 이용해서 도커를 빌드하다보면 으로 되어있는 도커 이미지가 많이 생긴다. 다음 커맨드를 입력하면, 현재 사용하지 않는 이미지들을 지울 수 있다. docker rmi $(docker images -f "dangling=true" -q) 공감수 0 댓글수 0 2023. 6. 16.
[Docker] Exited된 컨테이너들 지우기 도커 이미지들을 여러번 빌드하다보면 Exited되어 현재 사용하지 않는 컨테이너들이 쌓인다. 이 때 일일히 지우기 귀찮으면 다음 커맨드를 입력하면 된다. sudo docker ps -a | grep Exit | cut -d ' ' -f 1 | xargs sudo docker rm 공감수 0 댓글수 0 2023. 6. 16.
[Python] 현재 코드가 사용하는 cpu 확인 Pytorch를 이용해서 학습 등을 진행할 때 GPU 사용량은 보통 nvidia-smi로 확인한다. 반면 cpu를 확인하기 위해 htop등을 사용하기에는 불편함이 있다. 그럴 때 이렇게 하면 된다. import os import psutil pid = os.getpid() py = psutil.Process(pid) cpu_usage = os.popen("ps aux | grep " + str(pid) + " | grep -v grep | awk '{print $3}'").read() cpu_usage = cpu_usage.replace("\n","") memory_usage = round(py.memory_info()[0] /2.**30, 2) print("cpu usage\t\t:", cpu_usag.. 공감수 0 댓글수 0 2023. 4. 24.
[Ubuntu] cpu, gpu 확인 Ubuntu에서 현재 컴퓨터의 cpu와 gpu 모델을 확인하고 싶다면 터미널에서 다음 커맨드를 입력하면 된다. CPU cat /proc/cpuinfo GPU nvidia-smi --query | fgrep 'Product Name' 공감수 0 댓글수 0 2023. 4. 24.
[Python 에러] E: Unable to locate package libgl1-mesa-glx 에러 E: Unable to locate package libgl1-mesa-glx 해결 방법 apt-get update && apt-get install libgl1 공감수 0 댓글수 0 2023. 4. 24.
[Python 에러] ImportError: cannot import name 'Roboto' from 'fonts.ttf' (/opt/conda/lib/python3.8/site-packages/fonts/ttf/__init__.py) 에러 ImportError: cannot import name 'Roboto' from 'fonts.ttf' (/opt/conda/lib/python3.8/site-packages/fonts/ttf/__init__.py) 해결 방법 pip install font-roboto 공감수 0 댓글수 0 2023. 3. 22.
[Pytorch-lightning 에러] ImportError: cannot import name 'rank_zero_only' from 'pytorch_lightning.utilities.distributed' (/opt/conda/lib/python3.8/site-packages/pytorch_lightning/utilities/distributed.py) 에러 ImportError: cannot import name 'rank_zero_only' from 'pytorch_lightning.utilities.distributed' (/opt/conda/lib/python3.8/site-packages/pytorch_lightning/utilities/distributed.py) 해결 방법 rank_zero 함수의 위치가 바껴서 그렇다. rank_zero를 import하는 위치를 바꿔주면 된다. from pytorch_lightning.utilities.distributed import rank_zero_only # 위 코드를 아래로 수정 from pytorch_lightning.utilities.rank_zero import rank_zero_only 공감수 0 댓글수 0 2023. 3. 22.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.