기술 블로그

windows에서 vllm 설치시 아래와 같이 에러가 나는 경우가 있다. error: could not create 'build\bdist.win-amd64\wheel\.\vllm\model_executor\layers\quantization\utils\configs\N=1536,K=1536,device_name=AMD_Instinct_MI300X,dtype=fp8_w8a8,block_shape=[128,128].json': No such file or directory [end of output] note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed b..

Flash Attention를 이제 윈도우에서도 사용할 수 있다. 내 경우에는 RTX 4090 cuda 12.2 환경에서 설치를 했다. 공식적으로는 리눅스 기반 배포를 중심으로 하지만, 아래의 링크에서 윈도우 버전에서 사용할 수 있는 설치 파일을 꾸준히 올려주는 사람이 있다. https://github.com/bdashore3/flash-attention/releases 해당 레포의 readme에 있는 것 처럼 packaging와 ninja를 먼저 설치 해둔다. 이후 releases 안에서 원하는 버전을 다운 받는다. 이때 파일 이름에 대한 설명은 다음과 같다. cu121 -> 쿠다 버전. 즉 이 경우에는 쿠다 12.1을 의미함. torch2.1 -> 파이토치 버전. cxx11abiFALSE -> 아래 ..