Ollama와 UI를 사용하여 오픈 소스 코드와 동일한 작업을 수행할 수 있음을 보여주는 링크 공유.
LM Studio에 대한 긍정적인 평가와 그 특징들:
로컬 모델 런타임
모델 카탈로그
모델과 쉽게 대화할 수 있는 UI
OpenAI 호환 API
RAG(ChromaDB 사용) 등의 플러그인 포함
OS 생태계의 새로운 기능을 활용할 수 있는 좋은 위치에 있음
아쉽게도 LM Studio 자체는 오픈 소스가 아님
검열되지 않은 모델을 시도하고자 함. "TheBloke/Luna-AI-Llama2-Uncensored-GGML" 모델을 발견하고 첫 번째 파일만 다운로드하여 작동 여부 확인. 나머지 파일들도 다운로드해야 하는지, 그리고 특정 민감한 질문에 대해 모델이 검열되지 않는지 궁금함.
LLM에 관한 초보적인 질문: "반지의 제왕" 시리즈를 LLM에 입력하면 어떻게 되는지, 기본적인 "무지한" LLM이 존재하는지, 그리고 이를 통해 중간계 전문가를 만들 수 있는지 등에 대한 궁금증.
고급 엔지니어링 역할에 대한 재미있는 자격 요건: 컴퓨터와 소프트웨어에 대한 깊은 이해, 알고리즘과 프로그램 작성 능력 등이 요구되지만, 이러한 요구사항을 진지하게 받아들이기 어려움.
복잡한 설정을 간소화하기 위한 시도로 개인적으로 만든 간단한 UI를 소개하는 링크 공유.
LLM 소프트웨어의 잠재적 사용자층에 대한 호기심과 시장 세분화에 대한 정보 또는 추측을 보고 싶어 함. 복잡한 설정에도 불구하고 이 인터페이스와 대화 및 모델 관리의 가치를 찾음.
앱의 UI 개선점 제안:
채팅박스 필드의 기본 상태 개선 필요
모델 로딩 전 CUDA 가속 설정 방법 불명확
일부 HuggingFace 모델이 나열되지 않고 이유가 명시되지 않음
인터페이스의 아코디언 부분 스크롤이 마우스 휠에만 반응
서버 탭이 초기 디버깅에 매우 유용함
다양한 LLM 모델(Mistral, Llama 2, Code Llama, Orca Mini, Vicuna)을 사용할 때 발생할 수 있는 문제점(50% 환각, 존재하지 않는 API 코드 추천, 구식 StackOverflow 답변 재생산 등)에 대한 질문과 이러한 모델을 실제로 사용하는 사례 공유 요청.
LM Studio 설치 및 실행 후 CPU 사용량이 30%까지 상승하고 노트북 팬 소음 증가를 경험함. LM Studio 프로세스를 종료하고 다시 열었을 때 백그라운드 사용량이 5%로 감소함.
Hacker News 의견