GN⁺: 2015년 Linear Regression의 진실

Hacker News 의견

• 대부분의 사람들이 선형 회귀를 잘 이해하지 못함

  • 모든 일반적인 통계 테스트는 선형 모델임
  • 선형 모델은 매개변수에 대해 선형적이지, 응답에 대해 선형적이지 않음
  • 적절한 스플라인 기저를 선택하면, 예측 변수와 응답 간의 많은 비선형 관계를 선형 모델로 모델링할 수 있음
  • 테일러 정리에 따라 선형 관계는 비선형 관계의 좋은 근사치가 될 수 있음

• CMU에서 10년 전 통계 수업을 들었는데, R을 배우게 되어 좋았음

  • 선형 회귀의 큰 약점은 작은 교육 데이터셋에는 유효하지만, 실제 데이터에는 적용하기 어려움

• Ridge Regression이 다중공선성 문제를 해결하는 데 유용함

  • 요즘은 과적합 방지 정규화 기법으로 배우지만, 원래는 고도로 상관된 예측 변수들 간의 가중치를 균형 있게 조정하는 데 사용됨

• Citadel의 정량 연구자가 선형 회귀를 어떻게 사용하는지 배우고 싶음

  • 그들이 어떤 이론적 결과를 중요하게 생각하는지 궁금함

• 학부 과정에서 여러 번 선형 회귀를 배웠음

  • 통계와 확률 이론을 통해 최적성이 증명될 수 있음

• 박사 과정에서는 주로 딥러닝 모델을 사용한 회귀 문제를 다룸

  • 고전적인 선형 모델의 엄격한 증명과 정리를 딥러닝 회귀 모델에 적용할 수 있는 방법이 있으면 좋겠음

• Shalizi의 "Data Analysis from an Elementary Point of View"는 좋은 입문서임

  • 선형 및 가산 모델과 시뮬레이션에 중점을 둠
  • 책의 90%는 컴퓨터 없이는 쓸모없지만, 이는 현대의 진리임

• 회귀에서 가장 중요한 기술은 절편을 인식하는 것임

  • 상호작용 항을 포함하면 절편의 의미를 이해하는 것이 중요함
  • 예를 들어, 나이와 자폐증 진단 변수를 포함한 단순 선형 모델에서 절편이 의미하는 바를 이해해야 함

• XGBoost를 사용한 회귀를 가르치는 사람으로서, 이 글이 매우 유익하고 접근하기 쉬움

  • 특히 6장, 시각적 진단이 매우 잘 작성되었음

• 이 글에서는 언급되지 않았지만, 선형 회귀도 딥러닝에서 흔히 볼 수 있는 Double Descent 현상을 보임

  • 이를 위해서는 정규화를 도입해야 함

• 이 PDF를 모바일 최적화된 형태로 변환하는 방법을 알고 있는지 궁금함