Groq CEO Jonathon Ross가 팟캐스트 인터뷰에서 구글에서 TPU의 원형을 만든 과정에 대해 이야기함. 처음에는 인접 팀의 추론 속도 문제를 해결하기 위해 자신의 20% 시간에 FPGA를 만들었음. Jeff Dean이 수학적 계산을 한 후 ASIC으로 전환하기로 결정함. 현재 Google은 TPU 팀을 독립 회사로 분사해야 한다는 의견이 있음. TPU는 NVidia에 대한 유일한 신뢰할 수 있는 경쟁자이며, 소프트웨어 지원은 NVidia에 이어 두 번째로 좋음.
Google이 TPU를 발명하고 Google Research가 LLM에 대한 주요 논문을 발표했음에도 NVidia와 AI 스타트업들이 시장 가치의 대부분을 차지하고 있는 상황에 대한 의문 제기.
Google 직원이 TPU v5를 확인해볼 것을 권장함. PyTorch/JAX를 지원하여 TensorFlow만 사용할 때보다 훨씬 사용하기 쉬움.
한 기사가 실리콘을 통해 추상적인 부분들을 어떻게 연결하는지 잘 설명함. CISC 명령어가 LLM 추론 단계에 어떻게 매핑되는지 보는 것이 흥미로움.
Google이 2nm EUV 기술에 진출하고 2nm 이하로 나아가야 한다는 의견. ASML이 제공하는 전자 리소그래피 기술을 확보하면 매우 강력한 결과를 얻을 수 있음. Google X의 대담한 프로젝트가 될 수 있으며, TPU가 정말 좋다면 자체 팹과 기술을 갖춘 비즈니스로 좋은 기회가 될 수 있음.
현재 TPU의 이름이 어떤 해양 생물인지에 대한 질문.
OP(Original Poster)의 인용: "TPU v1은 대략 20개의 명령어만을 가진 CISC 설계를 사용함." 이에 대한 반응으로 CISC/RISC가 연구 프로그램에서 마케팅 용어에 이르기까지 다양한 단계를 거쳤으며, 이제는 의미 없는 소리가 되었다는 풍자적 의견.
TPU 하드웨어가 실제로는 벡터와 행렬 연산만 수행하는데, 왜 "텐서"라는 용어를 사용하는지 이해하지 못한다는 댓글.
Hacker News 의견