Hacker News 의견

• 이 글은 테스트나 훈련 데이터에 대해 많이 다루지 않음

  • 코드가 이해된다고 생각하는 이유는 일반화된 속성을 비공식적으로 증명했기 때문임
  • 신경망의 경우, 새로운 입력에 대해 어떻게 일반화될지 알 수 없다는 점이 문제임
  • 속성을 잘 정의할 수 있다면, 속성 기반 테스트를 작성하여 많은 테스트 데이터를 생성할 수 있음
  • 이는 증명은 아니지만 시작점이 될 수 있음
  • 스파게티 코드나 신경망에 의존하는 것은 비슷할 수 있음
  • 신경망을 훈련시키는 대신 속성 기반 테스트를 작성할 수 있음
  • 여전히 코드를 더 신뢰할 것 같음, 디버깅이 가능하기 때문임

• 이 글은 실용적인 작업을 수행하기 위한 신경망 구축 방법으로 읽으면 흥미로움

  • 저자는 임의의 입력을 구문 분석하는 어려운 문제를 다룸
  • 이를 해결하기 위해 신경망을 제안하지만, 이는 여전히 이해하기 어려움
  • 읽기 어려운 코드보다는 이해할 수 있는 코드가 더 나을 수 있음

• 신경망에 대한 보편적 근사 정리(Universal Approximation Theorem)가 존재함

  • 그러나 이러한 근사치를 학습할 수 있다는 정리는 없음

• 이 글은 RNN에 대한 깊은 수학적 개념을 다루지만, 흥미로운 아이디어를 제공함

  • 입력 문자열을 문자 단위로 처리하는 접근법이 강력함
  • 얇은 입출력 로직을 작성하고 나머지는 알고리즘이 처리함

• RNN이 트랜스포머에 완전히 대체되었는지 궁금해하는 의견이 있음

• 유전 프로그래밍(Genetic Programming)을 살펴볼 가치가 있음

  • 수학이 필요 없고, 프로그램을 AST로 재조합하여 최적화함
  • 최적화할 항목을 선택할 수 있음 (예: 속도, 프로그램 길이, 복잡한 구조 최소화 등)

• 이 글은 RNN을 학습 경험으로 다루며, PyTorch의 RNN과 비교함

  • 네트워크에 세 개의 숨겨진 레이어를 추가해야 하는 이유를 질문함

• RNN은 임의의 계산을 수행할 수 있지만, 실용적이지 않음

  • 이 글은 상태 기계를 학습하는 방법을 다루며, Python의 실제 의미를 학습하는 것은 어려움

• 신경망이 점점 코드처럼 보일 것이라는 의견이 있음

  • MOE 스타일 모델을 함수 호출로 변환하는 방법이 다음 큰 혁신이 될 것임