yeon's

한글로 쓰여진 txt 파일을 read하려는 도중 에러 'cp949' codec can't decode byte 0xe2 in position 5454: illegal multibyte sequence cp949 코덱으로 인코딩 된 파일을 읽어들일때 발생하는 문제라고 한다. 해결 코드 open('파일명.txt', 'rt', encoding='UTF8')

nearest neighbor 알고리즘은 가까운 벡터를 찾은 최근접 이웃 알고리즘이다. 추천 알고리즘에서 많이 활용되는 것으로 알고있고, 특히 자연어에서는 word2vec로 임베딩 된 단어를 활용할때 벡터간의 거리를 계산해서 유사한 벡터를 추출하는데 활용된다. 즉, 단어 간의 거리를 계산하고 유사한 단어를 뽑아준다. 이 모듈을 사용하기 위해서 다른 모듈처럼 pip install annoy했더니 에러가 났다. 찾아봤더니 아래 깃허브처럼 수행하면 되는데 CPU에서는 에러가 난다. GPU 서버에서만 되나보다. 복잡해보였는데 conda install 해주어서 해결했다. conda install -c conda-forge pthon -annoy https://github.com/spotify/annoy GitHu..