▲neo 2023-08-25 | parent | favorite | on: GN⁺: 최첨단 대형 언어 모델인 Code Llama, 코딩용(ai.meta.com)Hacker News 의견 Code Llama는 코딩을 위해 특별히 설계된 새로운 대형 언어 모델입니다. 이 모델은 최대 100,000개의 토큰 컨텍스트를 처리할 수 있으며, 안정적인 생성을 제공합니다. 일부 사용자들은 16k 토큰 이후로 핵심 검색 정확도가 저하되어 100k 컨텍스트의 유용성에 의문을 제기하였습니다. Code Llama의 7B 모델은 GitHub의 Copilot 뒤에 있는 모델인 Codex와 경쟁력이 있다고 봅니다. 사용자들은 34B Python 4 bit quantized 모델의 잠재력에 대해 흥분하고 있습니다. 100K 토큰보다 큰 코드베이스를 처리하는 임베디드 코드 모델에 대한 의문이 있습니다. 이러한 모델의 개발은 이러한 도구를 최적화하기 위한 코딩 관행의 잠재적 변화에 대한 논의를 이끌고 있습니다. 사용자들은 Rust, Linux, genomics, physics modeling 등 다른 도메인에 대한 특정 대형 언어 모델을 만들고 문제를 해결하기 위해 협력하는 가능성에 관심이 있습니다. 최고의 모델인 Unnatural Code Llama는 아직 출시되지 않았으며, 이는 OpenAI의 서비스 이용 약관을 위반할 가능성 때문일 수 있습니다. 사용자들은 Code Llama와 Code Pilot와 같은 도구의 유용성을 GPT-4를 직접 사용하는 것과 비교하고 있습니다. 이러한 모델을 실행하는 데 필요한 하드웨어 요구 사항을 이해하는 데 관심이 있으며, 일부 사용자들은 자신의 소스 코드를 기술 거인에 업로드하지 않고 이러한 모델을 사용하고 싶어합니다.
Hacker News 의견