▲neo 2023-07-24 | parent | favorite | on: GN⁺: Llama2.c: 순수 C 파일에서 인퍼런스 Llama 2(github.com/karpathy)Hacker News 의견 앤드레이는 OpenAI로 급여를 받으면서 Apple, Facebook 및 오픈 소스 운동을 도와주고 있습니다. 원래의 체크포인트는 MacBook Air M1에서 예상보다 빠르게 실행됩니다. 새로운 44M 모델이 훈련 중입니다. Llama 모델은 Emscripten을 통해 브라우저에서 실행됩니다. 로컬 기반 LLM은 로컬 추론을 위한 웹앱 구축에 흥미로운 기술입니다. 코드는 WASI SDK로 깔끔하게 빌드되며 Wasm 런타임에서 실행됩니다. 자세한 내용은 앤드레이의 트위터에서 확인할 수 있습니다. 신경망 실행에 필요한 메모리 요구 사항이 논의됩니다. Llama-2는 창의적인 작업에 사용할 수 없음이 밝혀졌습니다. 산업은 각 출시 모델에 대해 별도의 소스 코드로 이동할 가능성이 있습니다. "한 파일 안에" 또는 "헤더만"의 매력에 대해 논의되었습니다. yolo를 줄이기 위해 더 나은 테스트를 만드는 것에 대한 유머러스한 코멘트가 있습니다.
Hacker News 의견