Hacker News 의견

• 작은 크기가 마음에 듦, SBERT의 가장 작은 모델보다 유리함

  • 기술적으로 구식이지만 성능을 위한 타협임
  • 다양한 유사성 유형(예: 의미론적, NLI, 명사-추상적)을 전환할 수 있는 방법 제공 요청
  • 예를 들어, "Freezing"과 "Burning"을 신문 기사 분류에서는 유사하게, 화학 기사에서는 반대로 하고 싶음
  • NLI 임베딩을 사용하여 인과 관계를 파악하고 싶음
  • SBERT는 크기가 크고 여러 모델을 로드해야 하므로 자원 소모가 큼

• 임베딩은 많은 의미 정보를 캡처하며 독립적으로 유용한 작업에 사용 가능함

  • CLIP 모델의 텍스트 인코더 임베딩을 사용하여 프롬프트를 보강함
  • 예를 들어, "building"이라는 단어가 주어지면 임베딩 매트릭스에서 "concrete", "underground" 등을 찾아 대체하거나 추가함
  • 제한된 실험에서 대부분의 쿼리에 대해 높은 리콜을 얻음

• 영어 외 다른 언어에 대한 계획이 있는지 질문

  • 프랑스어에 완벽한 도구가 될 것임

• 토큰 자체에 많은 의미 내용이 포함되어 있음을 보여줌

• 임베딩을 사용하여 Little Alchemy를 해결하는 것에 대한 생각

• 게임 제작에 매우 유용함, 감사함

• 멋져 보임, mini-lm 모델의 장점에 대해 질문

  • 대부분의 mteb 작업에서 더 나은 것 같지만 추론 등에서 더 나은지 궁금함

• 몇 년 전 비슷한 기능을 사용한 "언어 게임"을 작성함

  • Language-games