GN⁺: HN 커뮤니티에서 누가 무엇을 알고 있는지 찾기 위한 Hacker News 매핑
(blog.wilsonl.in)40 million embeddings to find who knows what on Hacker News
프로젝트 배경
- 이전 게시물에서 Hacker News의 4천만 개의 게시물과 댓글을 임베딩하여 커뮤니티의 의미 지도를 만들었음
- 커뮤니티가 프로젝트를 지지하며 제안한 내용을 통해 전 세계에서 실제 관계로 빠르게 축소되는 것을 발견했음
- Robert(로버트)와의 대화를 통해 2008년에 사회적 의미 알고리듬을 구축한 그의 작업을 논의했음
- 16년이 지난 지금도 Hacker News와 같은 소셜 네트워크가 주제별로 신뢰할 수 있는 목소리를 계산하고 표시하지 않는다는 점에 놀랐음
주요 질문
- 왜 특정 주제에 대해 가장 잘 아는 사람들을 발견하고 탐색하는 것이 어려운가?
- 그들의 지식의 범위와 유사한 생각을 가진 사람들과의 관계는 어떻게 되는가?
새로운 앱 기능
- 새로운 앱을 통해 Hacker News의 의미 지도를 탐색하고 상호작용할 수 있음 (hn2.wilsonl.in)
발견한 흥미로운 점들
-
사용자 의미 조직화: 커뮤니티의 의미를 사용자로부터 시작하여 유사한 사용자와 함께 HN 기여도를 의미적으로 보여줌
- 예: robg의 새로운 프로필 확인
-
의미 검색: 누가 무엇을 아는지에 따라 HN의 의미를 검색할 수 있음
- 예시 쿼리: 스타트업, Go vs Rust 프로그래밍, 신경과학과 수면, 이메일 마케팅
-
커뮤니티 지도 작성: 누가 무엇을 알고 있는지와 관련된 의미를 기반으로 커뮤니티를 지도화할 수 있음
- 지식이 균일하지 않기 때문에 커뮤니티의 지형을 통해 사람들과 그들이 아는 것을 강조할 수 있음
기술의 잠재력
- 의미를 조직하고, 검색하고, 커뮤니티를 지도화하는 세 가지 기능을 합치면 단어 뒤에 있는 사람들을 보여줄 수 있음
- 세계의 정보를 조직하는 대신, 세계의 사람들을 조직할 수 있음
- 다양한 사회적 지식 도전 과제에 대해 생각하게 만듦
- 프로젝트에 더 많은 진전을 이루면서 함께 탐색하고 싶은 사람들은 대기자 명단에 가입할 것을 권장함
GN⁺의 정리
- 이 프로젝트는 Hacker News 커뮤니티의 의미 지도를 통해 특정 주제에 대한 전문가를 찾고 탐색하는 방법을 제시함
- 사용자 기여도를 의미적으로 분석하여 유사한 사용자와의 관계를 시각화함
- 검색 기능을 통해 특정 주제에 대한 지식을 가진 사람들을 쉽게 찾을 수 있음
- 커뮤니티의 지형을 통해 사람들과 그들이 아는 것을 강조함
- 이 프로젝트는 사람들을 연결하고 지식을 공유하는 새로운 방법을 제공함
Hacker News 의견
-
HN이 개인 사용자보다 콘텐츠와 토론에 집중하는 점이 좋음
- 전문가를 팔로우하고 싶다면 Mastodon 같은 소셜 네트워크나 RSS 피드를 사용할 것임
- 이 도구는 지식 있는 전문가보다는 활발한 댓글 작성자를 선택하는 경향이 있음
- 여전히 멋진 프로젝트임
-
내 사용자 이름은 "Zen and the Art of Motorcycle Maintenance"의 내레이터의 또 다른 자아에서 따옴
- 분석적인 칼을 사용하는 Phædrus의 능력을 반영함
- "part, system, level, language, article, object" 등의 키워드를 자주 사용함
-
Optimizing Toilet Lid Design의 선도적인 전문가로 소개됨
-
프로필 텍스트에서 내 이메일을 추출해 mailto: 링크로 만든 것 같음
- 스팸 발송자에게 이메일 수집을 쉽게 해줘서 고맙다는 비꼬는 말임
-
"Risk of COVID from pianos"라는 항목이 맵 하단에 포함됨
- 그 출처가 궁금함
-
HN의 가장 좋은 점은 댓글이 일시적이라는 느낌을 준다는 것임
- 동의 없이 분석되고 공개되는 것이 불편함
- 모든 것이 분석될 필요는 없으며, 경쟁할 필요도 없음
- 콘텐츠에 집중하는 점이 좋음
- 트위터 핸들을 바이오에서 제거하게 됨
-
최근 관련된 프로젝트:
- "Show HN: Exploring HN by mapping and analyzing 40M posts and comments for fun" (2024년 5월, 159개의 댓글)
-
몇 년 전 논란이 된 도구가 있었음
- 텍스트 분석과 스타일로 유사한 사용자를 찾는 도구였음
- 매우 정확했다고 들었음
- 이 도구가 그런 용도로 재사용될 수 있을지 궁금함
- "Explore More Users"가 유사성으로 정렬된 것인지 명확하지 않음
-
활동이 적은 사용자로서 이 도구가 부정확하다고 느낌
- 내가 가장 잘 모르는 jpeg xl에 대한 질문에 집중된 것 같음
- 더 일반적인 주제에 편향이 있을 수 있음
-
내 사용자 이름을 깊이 파고들기 어려웠음
- 맵에 많은 점들이 흩어져 있는 것 외에는 별다른 정보를 제공하지 않음
- 전체 클러스터가 무엇인지 이해하려고 노력 중임
- 대부분이 android/apple/google 관련임