Hacker News 의견

• Maxime Labonne의 LLMs 101을 통해 기술을 추적하고 있음. 여전히 컴퓨터 과학 분야에서 "어떻게 하이퍼파라미터가 결과에 영향을 미치는지 정확히 모르니 다양한 값을 시도해보고 가장 좋은 것을 찾아라"라는 말을 하는 것이 낯설음.
• LoRA와 LoRa는 다르며, 같은 약어를 사용하여 혼동되는 것에 대한 불만이 있음.
• 언제 파인튜닝을 해야 하는지 여전히 명확하지 않음. 과거에는 모델 행동 변경을 위한 것으로 생각했지만, 최근에는 일부 회사들이 지식 추가를 위해 파인튜닝을 사용하는 것으로 보임.
• 파인튜닝의 주요 사용 사례에 대한 질문이 있음.
• LoRA에 대한 좋은 기사임. 해당 분야 전문가는 아니지만, 원래 논문에서 LoRA가 마지막 밀집층에만 적용되었다고 이해함. QLoRA에서 이 방법을 사용하고 흥미로운 효과가 있는 것 같다는 점에 주목할 필요가 있음.
• 왜 LoRA가 작동하는지 확실히 이해하지 못함. 마지막 층에 적용하는 것은 이해가 가지만, 각 선형 층에 반복적으로 적용하는 논리를 이해하지 못함. 직관을 설명해 줄 수 있는 사람이 있는지 질문함.
• 무선 LoRa 프로토콜이 오픈소스였으면 좋겠다는 바람을 표함.
• 소프트웨어 정의 라디오에 관한 내용일 것으로 기대했지만, 여전히 흥미로운 내용임.
• LoRA 순전파를 처음부터 구현하는 연습을 추가함. LoRA의 아이디어는 아름답고 구현은 꽤 간단함.
• 파인튜닝을 위한 가장 인기 있는 라이브러리에 대한 질문이 있음.
• 처음부터 시작하는 것보다는 Axolotl의 설정 기반 접근 방식을 선호함. Axolotl은 mistral, llama-2를 지원하며 최신 기술들을 많이 지원함.
• 데이터 중심의 파인튜닝에 집중하며, LoRA를 처음부터 배우지 않고 파인튜닝 데이터를 수집하고 큐레이션하는 데 집중함.