▲ironman0722 1달전 | parent | favorite | on: Show GN: 수능 국어 LLM 벤치마크 리더보드 오픈(github.com/minsing-jin)리더보드에 관심을 가져주셔서 감사합니다! 첫 번째 이유는 비용 문제였습니다. 수능 데이터를 제작할 당시, 작년에 GPT-4 Turbo가 출시된 시점이라 10개년 수능 데이터를 만들 때 발생하는 비용이 컸습니다. 두 번째 이유는 수능 문제를 풀기 위해 그림 정보를 포함한 모든 단서를 설명에 담아야 했습니다. 하지만 멀티모달을 사용할 때는 한계가 있어, 저희가 그림에 대한 설명을 직접 작성하게 되었습니다.
리더보드에 관심을 가져주셔서 감사합니다!
첫 번째 이유는 비용 문제였습니다. 수능 데이터를 제작할 당시, 작년에 GPT-4 Turbo가 출시된 시점이라 10개년 수능 데이터를 만들 때 발생하는 비용이 컸습니다.
두 번째 이유는 수능 문제를 풀기 위해 그림 정보를 포함한 모든 단서를 설명에 담아야 했습니다. 하지만 멀티모달을 사용할 때는 한계가 있어, 저희가 그림에 대한 설명을 직접 작성하게 되었습니다.