Hacker News 의견

• GPT-4o를 사용하여 동적 UI와 코드를 구축함

  • JSON 모드를 사용하여 안정적으로 작동함
  • GPT-4o-mini에서는 형식 문제를 해결하는 데 도움이 될 것임
  • 함수 호출 모드에서는 JSON 모드보다 성공률이 낮음
  • 이 기능에 대해 기대가 큼

• gpt-4o-2024-08-06의 주요 변경 사항

  • 출력 토큰이 4k에서 16k로 증가함
  • 입력 비용 50%, 출력 비용 33% 감소
  • API 사용자에게 중요한 변화임

• vLLM의 Outlines Structured Output 사용 경험

  • OpenAI의 Structured Output보다 더 발전된 기능 제공
  • 제한된 필드 타입 지원
    • OpenAI는 String, Number, Boolean 등 기본 타입만 지원함
    • Outlines는 정규 표현식 패턴을 정의할 수 있음
  • 높은 스키마 설정 비용과 지연 시간
    • vLLM과 Outlines는 거의 비용이 들지 않음
    • OpenAI는 문맥 없는 문법 생성에 시간이 걸림
  • OpenAI의 첫 단계로 좋은 출발이지만, 더 발전할 필요가 있음

• AI 성능에 대한 의견

  • AI가 출력 형식을 지정하는 것은 오래된 문제 해결 방식임
  • 자연어 처리와 문제 해결 능력은 놀라운 발전임
  • 그러나 이 결과를 얻기 위해 엄청난 계산이 필요함

• OpenAI의 접근 방식에 대한 의견

  • 구조화된 출력에 대한 미세 조정 접근 방식 포기
  • llama.cpp는 이미 1.5년 전에 이 기능을 구현함

• "strict: true" 옵션에 대한 혼란

  • 항상 원하는 동작이므로 기본값이어야 함
  • 제한된 디코딩 기술에 대해 배움
    • 신뢰성을 높이고 지연 시간을 줄일 수 있음

• JSON을 모델에 하드코딩하는 것이 AGI 목표와 반대 방향이라는 의견

• OpenAI 기능 사용 시 잠금 효과에 대한 우려

  • 다른 LLM으로 쉽게 이동할 수 없음
  • 텍스트 프롬프트가 충분하지 않을 때만 사용 권장

• JSON 형식 오류에 대한 지적

  • {“val{“:2}는 유효한 JSON임

• 최상위 레벨이 객체여야 하는 이유에 대한 의문

  • 배열을 객체로 감싸야 하는 불편함이 있음