▲xguru 2023-01-03 | parent | favorite | on: Petals - 100B+ 언어모델을 집에서 빗토렌트 스타일로 운영하기(github.com/bigscience-workshop)훨씬 작은 BLOOM-7B 버전도 로컬에서 직접 돌리면 Ryzen(16코어) + 32램에서 90초 정도 걸린다고 하네요. 주장한대로 잘 실행되면 꽤 좋긴 하겠는데.. 뭔가 그 블록체인 느낌이.. (개발자 얘기로는 블록체인은 쓰지 않는다고는 하네요)
훨씬 작은 BLOOM-7B 버전도 로컬에서 직접 돌리면 Ryzen(16코어) + 32램에서 90초 정도 걸린다고 하네요.
주장한대로 잘 실행되면 꽤 좋긴 하겠는데.. 뭔가 그 블록체인 느낌이..
(개발자 얘기로는 블록체인은 쓰지 않는다고는 하네요)