yeon's

허깅페이스에서 오피셜 라마 경로 llava-hf/llava-v1.6-vicuna-7b-hf 를 사용하는데 model generate 중에 오류가 났다. ValueError: The following `model_kwargs` are not used by the model: ['image_sizes'] (note: typos in the generate arguments will also show up in this list)해결방법은 2가지인 것 같다.1. 첫 번째는 아래 링크에서 확인하자.https://github.com/haotian-liu/LLaVA/issues/1131요약하자면 llava-hf에서 제공하는 경로 말고, liuhaotian에서 제공하는 모델을 사용하라고 한다. (llava 모델 경로..

우리 학과 서버는 SLURM으로 GPU를 할당받아 사용한다. SSH [NODELIST(REASON)] 코드로 내가 할당받은 노드에 접속하는데 처음에 아래와 같은 에러가 났다. Warning: Permanently added 'node00' (000) to the list of known hosts. 보니까 SSH로 인스턴스 연결을 시도할 때 나타나는 오류인데...  Windows용으로 컴파일된 OpenSSH 클라이언트가 known_hosts 파일을 확인하지 않기 때문에 발생한다고 한다. 해결방법은 ~/.ssh/config 파일에 아래 코드를 넣으면 된다.UserKnownHostsFile ~/.ssh/known_hosts

한글로 쓰여진 txt 파일을 read하려는 도중 에러 'cp949' codec can't decode byte 0xe2 in position 5454: illegal multibyte sequence cp949 코덱으로 인코딩 된 파일을 읽어들일때 발생하는 문제라고 한다. 해결 코드 open('파일명.txt', 'rt', encoding='UTF8')

nearest neighbor 알고리즘은 가까운 벡터를 찾은 최근접 이웃 알고리즘이다. 추천 알고리즘에서 많이 활용되는 것으로 알고있고, 특히 자연어에서는 word2vec로 임베딩 된 단어를 활용할때 벡터간의 거리를 계산해서 유사한 벡터를 추출하는데 활용된다. 즉, 단어 간의 거리를 계산하고 유사한 단어를 뽑아준다. 이 모듈을 사용하기 위해서 다른 모듈처럼 pip install annoy했더니 에러가 났다. 찾아봤더니 아래 깃허브처럼 수행하면 되는데 CPU에서는 에러가 난다. GPU 서버에서만 되나보다. 복잡해보였는데 conda install 해주어서 해결했다. conda install -c conda-forge pthon -annoy https://github.com/spotify/annoy GitHu..

방법은 간단하다 ㅎ 가끔 까먹으면 찾아보기 귀찮아서 적어둔다. 경고 메시지 안보이게 import warnings warnings.filterwarnings(action='ignore') 경고 메시지 보이게 import warnings warnings.filterwarnings(action='default')

Attention Is All You Nedd(2017) 5.training 파트에 label smoothing 에 관한 내용이 두 줄 나온다. 나는 처음보는 내용이고, 언제나 처럼 어정쩡하게 그냥 넘어갈 뻔 했지만 박사님께서 집어주셔서 알고 넘어가야 할 내용같아 기록해둔다. Label이 A와 B인 binary classification task의 경우에 아래와 같이 0또는1이 아니라 smooth하게 부여하는 방법이다. Label A B predict 1 0 Label A B predict 0.9 0.1 장점은 1. label을 0 또는 1이 아니라 smooth하게 부여해서 잘못된 loss의 영향을 줄일 수 있고, 2. mislabeling 된 데이터를 고려하기 위해 사용되는 것에 추가적으로 regula..

nn.Module의 subclass를 신경망 모델로 활용하기 위한 메소드 1. __init__(self) : 신경망 모델에 활용할 모듈, 활성화 함수 등을 정의하고 초기화하는 메소드 torch.nn 모듈을 사용하려면 super.__init__()을 꼭 사용해야한다. 그렇지 않으면 AttributeError: cannot assign module before Module.__init__() call 이런 에러가 남 nn.Module=super 이 코드에서 torch.nn 모듈을 활용하지 않으면 에러가 나지 않는다. 따라서 super.__init__() 변수들을 상속받아 사용할 수 있도록 해준다. super()는 부모클래스, __init__()은 부모클래스의 생성자를 부른다는 의미이다. super()안에 파..