이렇게 context 다 써버리니 사용자가 넣을 context가...

ChatGPT에서 사용되는 GPT-4 모델은 context window가 최대 32K를 제공해주는 것으로 나와 있습니다. 유출된 프롬프트는 1.4k 정도 되는 양의 토큰 수이니 system prompt로 4.4% 정도 밖에 할애하지 않는 것이니 다 쓴다고 볼 순 없죠.

capacity를 떠나서 저렇게 context를 앞서 써버리니 버전업이 될수록 생성 속도가 줄어들고있습니다.