Hacker News 의견

• GPT가 Lean(증명 보조 도구)에서 Python처럼 튜닝되면 연구 수준의 수학에 더 유용해질 것이라는 기대가 있음

  • 운영 연구(OR) 관련 분야에서 ChatGPT 4o가 OR 문헌을 충분히 학습하여 유용한 혼합 정수 프로그래밍(MIP) 공식을 제공함
  • 논리 문제를 제시하면 유용한 수학 공식을 생성해 주며, 약간의 수정만 필요함
  • 논리가 실패할 수 있는 약한 공식을 경고해 주어 문제를 피하는 데 도움이 됨
  • 과거에는 주말 내내 머리를 싸매야 했던 문제를 GPT가 해결해 주어 많은 시간을 절약해 줌
  • MIP 최적화를 이해하고 문제를 작은 조각으로 나눌 수 있는 사람에게는 ChatGPT의 월 $20 구독료가 충분히 가치 있음
  • 많은 사람들이 LLM을 잘 활용하지 못하거나 과도한 기대를 가지고 있어 불만을 가짐
  • LLM의 강점을 알고 실수를 체크할 수 있는 사람들은 업무에서 큰 도움을 받음

• 2019년으로 돌아가서 Alexa와 상호작용하는 경험이 "평범하지만 완전히 무능하지 않은 대학원생을 조언하는 것과 비슷하다"는 글을 읽는다고 상상해 보라

  • 5년 만에 엄청난 차이가 있음

• o1 모델이 매우 놀라움

  • Rust 코드 최적화 프로젝트에서 큰 속도 향상을 얻었고, 정확성을 검증함
  • Jensen-Shannon 발산을 기반으로 한 새로운 통계적 의존성 측정을 구상하고 구현함
  • 큰 벡터(예: 15,000 차원 이상)를 다룰 때 빠른 구현을 찾기 어려웠던 정규화 상호 정보량을 빠르게 구현함
  • 처음에는 완벽한 Rust 코드를 제공하지 못했지만, 한 번의 시도로 모든 버그를 수정함
  • GPT-4o는 Rust 타입 오류를 수정하는 데 여러 번 시도가 필요했음
  • Claude3.5 sonnet은 Rust에 대해 매우 무능함
  • 매우 도전적인 작업에서 큰 도움을 줌
  • 성능 최적화와 상대적으로 버그 없는 코드뿐만 아니라 창의적인 문제 해결과 방대한 수학적, 알고리즘적 지식을 결합하여 목표를 이해하고 실현함

• O1 모델에 대한 경험이 매우 다름

  • 간단한 질문에도 혼란스러워함

• LLM이 다양한 주제에서 "평범하지만 완전히 무능하지 않은 대학원생을 조언하는 것과 비슷하다"는 점이 새로움

  • 경험이 많은 분야에서 작은 작업을 처리하는 데 큰 도움이 됨
  • 문제를 작은 조각으로 나누면 solid한 작업을 수행함
  • 개념적 이해가 필요하며, 프롬프트 기술이 중요함
  • 복잡한 주제를 이해하는 데 LLM을 사용하고 전문가의 검증을 통해 개념을 확인함

• 인간도 "사고의 연쇄" 유형의 추론에서 이점을 얻을 수 있음

  • 수학을 공부하는 모든 학생들이 관련 정의와 정보를 기억해야 한다면 능력이 크게 향상될 것임
  • AI는 감정적 장벽이 없어 더 나은 추론을 할 수 있음

• Terence Tao의 의견에 동의함

  • LLM이 패턴 매칭을 통해 성능을 향상시킬 수 있지만, 진정한 일반화를 만드는 데는 효과적이지 않을 수 있음
  • 새로운 문제나 복잡한 문제에서는 여전히 환각과 잘못된 추론이 발생할 수 있음

• 수학을 독립적인 취미로 다시 공부하는 것이 기대됨

  • LLM을 통해 복잡한 분석 질문을 해결하는 데 큰 도움을 받음
  • LLM이 개념적 연결을 빠르게 찾아주는 능력에 놀라움
  • 특정 정의를 완화하여 비정향 매니폴드에서 복소수 분석이 가능한지 질문했을 때, LLM이 즉시 Cauchy-Riemann 방정식이 전역적으로 일관성이 없음을 알아냄
  • LLM이 없었다면 이 질문에 답할 수 없었을 것임

• Terence Tao의 의견이 놀라움

• Daniel Litt는 o1-preview에 감명받았지만, 흥미로운 수학 문제를 해결하는 데는 아직 운이 좋지 않음

  • 간단한 작업에서는 더 신뢰할 수 있으며, 비수학적 작업에서 시간 절약이 될 수 있음