▲

KubeAI - 쿠버네티스 위에서 Private AI 운영하기

(github.com/substratusai)
10P by xguru 18일전 | favorite | 댓글과 토론
  • OpenAI와 호환되는 HTTP API 제공
  • 부하에 기반한 자동 스케일링
  • 오픈소스 LLM을 CPU/GPU 기반으로 서빙 가능
  • 제로 의존성(Istio, Knative 등)
  • Chat UI 내장