▲
xguru 9달전 | parent | favorite | on: minbpe - LLM 토큰화에 사용하는 Byte Pair Encoding 구현체(github.com/karpathy)

이와 관련해서 GPT Tokenizer 구축하기 영상도 올라왔습니다.
GPT 토크나이저 구축하기 by Andrej Karpathy [동영상]