▲

GN⁺: 오픈소스 대형 언어 모델의 추격 경쟁

 (arxiv.org)
4P by neo 12달전 | favorite | 댓글 1개

ChatGPT 출시 1주년: 오픈소스 대형 언어 모델의 추격

  • 2022년 말 출시된 ChatGPT는 AI 분야 전반에 걸쳐 큰 변화를 가져옴.
  • 대형 언어 모델(LLM)을 지도 학습과 인간 피드백에서의 강화 학습으로 조정하여, 다양한 작업에서 인간의 질문에 답하고 지시를 따를 수 있는 능력을 보여줌.
  • 이러한 성공 이후, 학계와 산업계에서 LLM에 대한 관심이 증가하고, 많은 스타트업이 LLM에 집중하고 있으며, 오픈소스 LLM들이 빠르게 발전하며 특정 작업에서는 ChatGPT와 동등하거나 더 나은 성능을 보이는 것으로 주장함.

연구 및 비즈니스에 미치는 영향

  • 비록 폐쇄 소스 LLM들(예: OpenAI의 GPT, Anthropic의 Claude)이 일반적으로 오픈소스 모델들보다 우수한 성능을 보이지만, 오픈소스 LLM들의 발전은 빠르며 일부 작업에서는 동등하거나 더 나은 성능을 달성했다는 주장이 있음.
  • 이러한 발전은 연구뿐만 아니라 비즈니스에도 중요한 영향을 미침.

GN⁺의 의견

  • ChatGPT의 출시 1주년을 맞아, 오픈소스 대형 언어 모델들이 빠르게 발전하고 있으며, 특정 작업에서는 ChatGPT와 비슷하거나 더 나은 성능을 보이고 있다는 점이 중요함.
  • 이는 연구와 비즈니스 모두에 중대한 영향을 미치며, AI 기술의 민주화와 혁신을 촉진하는 데 기여할 수 있음.
  • 이 글은 AI 기술의 발전과 그것이 사회에 미치는 영향에 관심이 있는 사람들에게 흥미로운 내용을 제공함.
▲
neo 12달전  [-]
Hacker News 의견

  • 최근 몇 일 동안 공개된 크고 강력한 모델들:

    • Qwen 72B (및 1.8B): 32K 컨텍스트, 3T 토큰으로 훈련, 월 사용자 1억 미만 상업 라이선스, 벤치마크에서 강력한 성능
    • DeepSeek LLM 67B: 4K 컨텍스트, 2T 토큰, Apache 2.0 라이선스, 코드 분야에서 강력함(DeepSeek Code 33B와 비교해도 더 나음)
    • 중국에서 출시된 모델들: Yi 34B(100B 소문이 있음), XVERSE-65B, Aquila2-70B, Yuan 2.0-102B
    • OpenChat 3.5: 7b 모델로 2023년 3월 ChatGPT와 비슷한 결과를 달성, 8k 컨텍스트 윈도우, 챗봇 경기장 리더보드에서 Llama-2-70b-chat보다 높은 순위
    • 오픈소스 LLM은 특히 매개변수 효율성과 소비자가 자신의 하드웨어에서 실행할 수 있는 유용한 모델을 제공하는 측면에서 업계를 선도함

  • 13억 매개변수 llama2를 qlora로 미세 조정한 능력 시연:

    • Inkbot은 지식 그래프를 생성하며, YAML 형식으로 적절한 구조를 반환, GPT4보다 더 나은 결과를 얻음
    • 간단한 프롬프트와 복잡한 프롬프트에 대한 예시 제공
    • 청크 요약 기능도 수행함

  • 전문화된 여러 모델(코드, 채팅, 수학, SQL, 건강 등) 앞에 프롬프트 라우터를 두는 것이 필요해질 것으로 보임:

    • 일반 모델이 실행 중인 라우터에 요청을 보냄
    • 프롬프트/질문이 분해되어 전문가 모델로 분류 및 전달됨
    • 응답이 돌아와 일반 모델에 의해 조립됨
    • 이와 유사한 프로젝트가 진행 중인지에 대한 질문

  • 현재 약 70B 모델들은 ChatGPT 3.5와 동등한 수준이며, 작은 모델들은 처음에는 비슷해 보일 수 있지만, 더 높은 비율로 환각을 일으키고 세계에 대한 지식이 부족함

  • GPT 4는 더 깊은 수준에서 '이해함'이며, 오픈소스 모델은 아직 비교가 되지 않음

  • 오픈소스 기술은 OpenAI가 구현하지 않는 출력 제어 기능(예: llama.cpp의 문법 또는 ControlNet)을 가지고 있어, 이 측면에서는 오픈소스가 OpenAI보다 앞서 있음

  • DeepSeek 67B 모델을 사용해본 경험 공유:

    • ChatGPT의 필요성을 대체할 만큼 충분함

  • Mistral OpenOrca는 창의적 글쓰기/분석에 있어 GPT4-turbo와 거의 동등하며, 비슷한 텍스트를 출력하는 경향이 있음

  • 장기적으로 오픈소스 LLM이 따라잡는 것은 거의 피할 수 없으며, 오픈소스 커뮤니티는 자원이 훨씬 제한적이지만 <30B 매개변수 모델의 개발 속도를 크게 높임

  • 개인적 경험에 따르면, 오픈소스 LLM은 아직 GPT 3.5의 품질에 도달하지 못했지만, 이미 오늘날 유용하며 로컬 머신에서 실행 가능함

  • Neovim 플러그인 gen.nvim을 사용하여 간단한 작업을 수행하며 많은 시간을 절약함

  • 미래에 대한 기대감 표현

  • GPT4가 지난 한 달 동안 지속적으로 후퇴함에 따라 오픈소스 모델이 따라잡고 있음을 확신함

답변달기