🤖 LLMs와 검색 엔진의 결합: LLMs가 검색 엔진에 접근하여 벡터 데이터베이스를 쿼리할 수 있는 시스템에 대한 설명. LLM이 초기화한 검색 쿼리에서 상위 n개 결과를 스크랩하여 벡터 데이터베이스에 작은 청크로 저장하고, LLM은 이 데이터베이스를 쿼리하여 관련 청크를 얻을 수 있음. 128k 컨텍스트 LLM이 모든 것을 요약하는 것만큼 포괄적이지는 않지만, 로컬 하드웨어에서는 훨씬 빠르고 자원을 적게 사용함. GitHub에서의 데모는 일반 소비자 GPU(amd rx 6700xt)에서 실행됨.
👍 아키텍처에 대한 칭찬: 기존 LLMs와 함께 사용할 계획이며, 로컬에서도 작동하는 것을 보게 되어 기쁨. 공유에 감사함을 표하며 아키텍처를 좋아함.
❓ Perplexity와의 관련성 질문: 이 시스템이 Perplexity와 무슨 관련이 있는지, 대신 사용된 기본 모델에 대한 참조가 필요함을 지적함.
🌟 로컬 모델의 특별한 기능: 로컬 모델이 특수 모듈을 호출하는 것을 본 적이 없으며, 개인적으로 사용하는 로컬 7b open-hermes가 매우 좋다고 평가함.
🚀 기업용 내부 검색 엔진과의 연동 가능성: 아직 실행하지 않았지만 매우 유망해 보이며, 내부 기업 검색 엔진과 연결하여 사용하는 데 매우 유용할 것으로 생각함. 로컬 LLMs에 연결된 비 API 키 제품이 더 많이 만들어지는 것을 보게 되어 기쁨.
🛠️ 인프라 내 결정 과정에 대한 질문: '도구 사용 필요'와 '답을 찾음' 블록이 인프라 내에서 어떻게 결정되는지, 데모를 보면 결과 반환에 시간이 걸리는데, 검색, 벡터 저장소, 벡터 데이터베이스 검색 중 어느 단계에서 가장 많은 시간이 소요되는지에 대한 질문.
🕵️ 로컬 검색 엔진의 작동 원리: '로컬에서 실행되는 검색 엔진'이라고 하지만, 어떻게 사이트와 페이지를 찾아 인덱싱하는지에 대한 의문 제기.
🤫 Perplexity에 대한 비밀: Perplexity가 기성 모델을 사용하는 것 외에는 많은 것을 하지 않았다는 의견.
🏭 Perplexity의 챗봇 경쟁자: Perplexity가 챗봇 경쟁자로 보임.
✨ Plandex와의 통합 제안: 오늘 공유된 Plandex와 연결하여 컴퓨터를 떠나지 않는 코드로 AI와 협업할 수 있는 도구를 만들면 놀라울 것이라는 제안.
배경 지식: LLMs(Large Language Models)는 대규모 언어 모델로, 자연어 처리에 사용되며, 벡터 데이터베이스는 데이터를 벡터 형태로 저장하여 빠른 검색을 가능하게 하는 데이터베이스임. Perplexity는 자연어 처리 분야에서 모델의 성능을 평가하는 지표이기도 하지만, 여기서는 특정 제품이나 서비스를 지칭하는 것으로 보임.
Hacker News 의견
배경 지식: LLMs(Large Language Models)는 대규모 언어 모델로, 자연어 처리에 사용되며, 벡터 데이터베이스는 데이터를 벡터 형태로 저장하여 빠른 검색을 가능하게 하는 데이터베이스임. Perplexity는 자연어 처리 분야에서 모델의 성능을 평가하는 지표이기도 하지만, 여기서는 특정 제품이나 서비스를 지칭하는 것으로 보임.