Hacker News 의견

• Nvidia가 스택을 올리는 방향으로 움직이고 있음을 컨퍼런스에서 확인함.

  • Nvidia는 하드웨어 벤더로서 예상대로 더 큰 것을 계속 만들고 있음.
  • 주목할 점은 "docker for llms"인 NIM을 구축하고 있다는 것.
  • NIM은 Nvidia 하드웨어에서 쉽게 배포할 수 있는 컨테이너 시스템.
  • AI 스타트업에 어떤 영향을 미칠지 지켜보는 것이 흥미로움.

• Nvidia가 플랫폼 제공업체로 변화하고 있음을 인식함.

  • AI 서비스 플랫폼으로서 Nvidia에게 더 수익성이 좋을 것으로 보임.
  • AWS와 Microsoft와의 파트너십과의 균형이 어려울 수 있음.
  • Nvidia는 CUDA에 대한 AI 의존도가 높기 때문에 유리함.
  • 향후 어떻게 전개될지 관심이 있음.

• FP4가 4비트 부동 소수점인지 궁금함.

  • Hopper보다 30배 높다는 비교 그래프가 다소 오해의 소지가 있음.

• Nvidia가 몇 년 전 Bright Cluster Manager를 인수함.

  • 다음 인수 대상은 누구일지, 전체 스택을 제공하려는 의도가 보임.

• "플랫폼 회사"가 이 경우 다중 칩을 의미하는지 질문함.

  • 단일 다이에 너무 많은 트랜지스터를 집어넣는 것이 비현실적이므로 다중 칩으로 가는 것이 논리적임.

• 25배의 전력 소비 감소를 주장하는데, 이해하기 어려움.

  • 이 숫자가 어디서 나온 것인지 설명이 필요함.

• 두 자릿수 페타플롭 대량 생산에 대한 언급.

  • 인간 뇌의 활동을 복제하는 데 필요한 컴퓨팅 파워에 대한 다양한 추정치가 있음.
  • 페타플롭은 10^15임.
  • 놀라운 시대임을 강조함.

• Nvidia의 데이터 센터 수익이 2023년 4분기에 기록적인 $18.4억을 달성함.

  • 이전 분기보다 27%, 전년 대비 409% 증가함.
  • 추론에서의 수익이 상당히 증가하고 있음을 시사함.

• FP8이 Hopper보다 2.5배라는 것은 오랜 시간 후에는 다소 실망스러움.

  • 2개의 퓨즈된 칩이므로 실제 효과는 25% 증가에 불과함.
  • 대부분의 진전은 메모리 처리량과 전력 사용에 있음.
  • 이러한 진전이 소비자 부문에 어떻게 영향을 미칠지 궁금함.

• 기술적인 세부 사항에 대한 추가 정보 링크 제공.