▲
neo 2달전 | parent | favorite | on: GN⁺: AMD GPU Inference(github.com/slashml)
Hacker News 의견

  • PyTorch와 transformers를 사용하면 대부분의 작업을 수행할 수 있으며, llama.cpp 컴파일도 비교적 쉬운 편임

    • Windows에서는 win-hip 바이너리나 Vulkan 빌드를 사용할 수 있음
    • ROCm 5.4.2는 오래된 버전이지만, 최근 업데이트된 ROCm 6.2와 RDNA3 호환성을 확인할 수 있음

  • 생성된 머신러닝 라이브러리의 증가가 놀라움

    • 이 라이브러리는 50%가 print 문으로 구성되어 있으며, 불필요한 분기도 포함되어 있음

  • Ubuntu 24.04에서는 대부분의 AMD GPU에서 llama.cpp를 실행할 수 있음

    • 성능은 최적이 아닐 수 있지만 다양한 카드를 테스트했음
    • RDNA 3, MI200, MI300 사용자들은 AMD 제공 ROCm 패키지를 사용하는 것이 좋음

  • Ryzen 8700G와 NPU를 사용 중이며, Vulkan을 통해 iGPU 가속을 얻고 있음

    • 64GB RAM으로 32GB 이상의 모델을 시도하는 데 문제가 없었음

  • ROCm 5.4.2가 RX 7900 XTX를 지원할지 의문이며, 최신 rocm/pytorch 이미지를 사용하는 것이 더 쉬웠음

  • NixOS 워크스테이션에 필요한 설정을 추가했음

    • ROCm 가속을 활성화하고 환경 변수를 설정함

  • AMD ROCm 설치 시 36GB의 공간이 필요하다는 점이 이해되지 않음

  • 현재 가장 가성비 좋은 AMD GPU에 대한 질문

    • 중고 3090 두 개를 약 $750에 구매했음

  • AMD와 NVidia 그래픽 카드의 가격 비교에 관심이 있다면, 가격을 빠르게 확인할 수 있는 사이트를 제공함

  • ROCm 5.4 대신 최신 버전(6.2)을 사용하지 않는 이유에 대한 질문

    • 제공된 Docker 이미지가 성공적으로 빌드되지 않음