GN⁺: OpenAI, Google, Anthropic 더 발전된 AI 개발을 위해 고군분투중

• OpenAI, Google, Anthropic 등 주요 AI 기업들은 새로운 모델 개발에서 점점 더 적은 성과를 거두고 있음
• OpenAI는 최신 AI 모델 Orion을 훈련했지만, 기대했던 성능에 미치지 못했음
  • 특히 코딩 질문에 대해 제대로 답변하지 못하는 문제를 겪음
• Google의 Gemini도 내부 기대에 못 미치는 성과를 보였으며, Anthropic은 새로운 Claude 3.5 Opus의 출시 일정이 지연되고 있음

데이터의 한계와 비용 문제

• 고품질의 인간 작성 데이터를 확보하는 것이 갈수록 어려워지고 있음
• AI 모델의 성능이 정체되고 있으며, 소량의 개선이 막대한 비용을 정당화하기 어렵게 만듦
• OpenAI의 Orion은 충분한 코딩 데이터를 확보하지 못한 것이 주요 원인 중 하나로 지목됨
• 새로운 AI 모델 개발에는 수백만 달러의 비용이 소요되며, 향후에는 수십억 달러에 이를 것으로 예상됨

AI의 성능 개선 전략

• OpenAI는 Orion의 출시 전 사후 훈련(post-training) 과정에 집중하고 있음. 이는 사용자 피드백을 통해 모델의 응답을 개선하고, 상호작용 톤을 조정하는 작업을 포함함
• 데이터 부족 문제를 해결하기 위해, 기업들은 출판사와의 계약을 통해 데이터를 확보하거나, 전문가가 데이터를 레이블링하는 방법을 사용하고 있음
• 합성 데이터(synthetic data) 사용도 증가하고 있지만, 고유하고 고품질의 데이터 확보에는 여전히 한계가 있음

AI 확장 법칙의 의문

• AI 업계는 더 큰 모델과 더 많은 데이터가 성능 향상을 가져올 것이라는 **확장 법칙(scaling laws)**에 의존해 왔으나, 최근의 성과는 이를 의심하게 만들고 있음
• Anthropic의 CEO인 Dario Amodei는 데이터 부족이 문제를 일으킬 수 있지만, 이를 극복할 방법을 찾을 것이라 낙관하고 있음

비용과 성능 간의 균형 문제

• AI 개발비가 급증하면서, 새로운 모델이 기대만큼 성능이 향상되지 않을 경우 높은 비용이 문제로 작용함
• OpenAI와 Anthropic은 더 큰 모델 대신, **AI 에이전트(agent)**와 같은 새로운 사용 사례로 초점을 옮기고 있음
  • 에이전트는 사용자 대신 이메일을 보내거나 비행기 예약을 하는 등의 작업을 수행할 수 있음
• OpenAI의 CEO Sam Altman은 컴퓨팅 자원 사용에 있어 어려운 결정들이 필요하다고 언급함
  • "우리는 훌륭한 새로운 모델을 계속 출시할 것이지만, 다음 큰 혁신은 에이전트가 될 것입니다"라고 Reddit AMA에서 설명함

결론

• 주요 AI 기업들은 점점 더 많은 컴퓨팅 파워와 데이터를 사용하고 있지만, 성과가 정체되고 있음
• 기술적인 한계와 데이터 부족 문제를 극복하기 위해, 새로운 접근법과 사용 사례를 모색하고 있음
• 향후 AI 개발의 방향은 모델의 크기보다는 실제 활용 사례에 중점을 둘 가능성이 높아지고 있음