비슷하게 작은 Model 사이즈를 가진 애들하고만 성능 비교를 했는데, 좀 더 넓힌 Leaderboard를 보면 이렇네요.
https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard

코드니까 더더욱 좀 느리거나 비싸도 성능 더 좋은게 좋지 않을까? 하는 생각이 들긴하네요.