▲frida 5달전 | parent | favorite | on: LLM 컨텍스트 길이 늘이기(slashpage.com)컨텍스트 길이가 긴 한국어 LLM을 사용하고자 LLM의 컨텍스트 길이를 효율적으로 늘이기 위해 조사 및 시도해본 다양한 방법들 LongLoRA shifted sparse attention과 LoRA 파인튜닝을 활용해 8배까지 확장 Rope-based Position Interpolation Llama와 같이 RoPE 기반 임베딩을 사용하는 모델에 RoPE 임베딩을 수정하여 적용 가능하며 파인튜닝을 통하여 16배까지 컨텍스트 길이 확장 Dynamic NTK 파인튜닝 없이 NTK 이론을 적용하여 2배 이상 확장 LongLM 변형된 어텐션을 사용하여 파인튜닝 없이 4배까지 확장 ChunkLlama 텍스트를 Chunk로 분해하여 파인튜닝 없이 Llama 모델의 컨텍스트 길이를 4배로 확장 Infini-attention 적은 추가 메모리 사용으로 2M 까지 연장 가능하며 빠른 추론 가능, Gemini-Pro에 적용된 방법
컨텍스트 길이가 긴 한국어 LLM을 사용하고자 LLM의 컨텍스트 길이를 효율적으로 늘이기 위해 조사 및 시도해본 다양한 방법들
LongLoRA
shifted sparse attention과 LoRA 파인튜닝을 활용해 8배까지 확장
Rope-based Position Interpolation
Llama와 같이 RoPE 기반 임베딩을 사용하는 모델에 RoPE 임베딩을 수정하여 적용 가능하며 파인튜닝을 통하여 16배까지 컨텍스트 길이 확장
Dynamic NTK
파인튜닝 없이 NTK 이론을 적용하여 2배 이상 확장
LongLM
변형된 어텐션을 사용하여 파인튜닝 없이 4배까지 확장
ChunkLlama
텍스트를 Chunk로 분해하여 파인튜닝 없이 Llama 모델의 컨텍스트 길이를 4배로 확장
Infini-attention
적은 추가 메모리 사용으로 2M 까지 연장 가능하며 빠른 추론 가능, Gemini-Pro에 적용된 방법