Flash Attention를 이제 윈도우에서도 사용할 수 있다. 내 경우에는 RTX 4090 cuda 12.2 환경에서 설치를 했다. 공식적으로는 리눅스 기반 배포를 중심으로 하지만, 아래의 링크에서 윈도우 버전에서 사용할 수 있는 설치 파일을 꾸준히 올려주는 사람이 있다. https://github.com/bdashore3/flash-attention/releases 해당 레포의 readme에 있는 것 처럼 packaging와 ninja를 먼저 설치 해둔다. 이후 releases 안에서 원하는 버전을 다운 받는다. 이때 파일 이름에 대한 설명은 다음과 같다. cu121 -> 쿠다 버전. 즉 이 경우에는 쿠다 12.1을 의미함. torch2.1 -> 파이토치 버전. cxx11abiFALSE -> 아래 ..