댓글자는 자신이 통계학이나 심리학에 대해 충분히 이해하고 있지 않다고 인정하면서, D&K 연구가 자신의 할아버지가 말씀하신 "더 많이 알수록 자신이 모르는 것이 많다는 것을 깨닫게 된다"는 말과 유사하다고 느낌. 댓글자는 많은 사람들이 실제로 알고 있는 것보다 더 많이 알고 있다고 생각하는 경향이 있으며, 이는 아마도 자신과 해당 기사의 저자에게도 해당될 수 있음을 고민함.
다른 댓글자는 기사의 주장에 동의하지 않으며, D-K 그래프가 단순한 자기상관성의 결과라는 주장에 반박하는 글을 소개함. 실제로는 성과와 성과 평가가 독립적이라고 가정하는 것이 매우 놀라운 일이며, D-K 연구는 성과와 자가 평가 사이에 상관관계가 있음을 보여줬지만, 예상만큼 강하지는 않았다고 설명함. 오히려 일관된 편향을 보여주었고, 이것이 흥미로운 결과임.
이전 토론에서 언급된 바와 같이, 저자는 사람들이 자신의 능력을 예측하는 데 있어서 매우 형편없어서, 자가 평가가 조건 없는 무작위 변수와 같다고 가정함. 실제 능력이 높으면 자가 평가가 무작위 기회에 의해 실제 능력보다 낮을 가능성이 높음. 이러한 비판은 사람들이 정말로 자신의 능력을 그렇게 잘못 평가하는지에 대한 의문을 제기함.
저자들이 "X - Y 대 X" 분석을 했지만, 이것이 가장 큰 문제는 아님. 저자들은 0에서 1 사이로 변환되고 제한된 두 측정치를 뺐음. 극단적인 값에서는 어떤 일이 발생하는가? 최고 성과자들은 자신의 성과를 얼마나 과대평가할 수 있는가? 그들은 이미 거의 1에 도달했으므로 별로 할 수 없음. 만약 그들이 동일한 비율과 크기로 과대평가와 과소평가를 한다면, 변환된 값의 상한 효과는 그들이 더 자주 과소평가하는 것처럼 그래프가 보일 것임.
Nicolas Boneel과 저자 사이의 댓글에서의 토론이 흥미롭고, Nicolas는 기사를 읽으면서 가졌던 의구심을 표현함. DK 효과의 핵심은 사람들이 자신의 기술을 잘못 평가한다는 것이므로, 만약 그들이 자신의 기술 수준을 무작위로 추측한다고 가정하면 당연히 결과를 재현할 수 있음.
저자가 사용하는 "자기상관성"이라는 용어는 통계학에서 일반적으로 사용되는 의미와 다름. "자기상관성"은 시계열 데이터가 시간적으로 어느 정도 지연된 자기 자신과의 상관관계를 의미하는 것으로, OP에서 언급된 것처럼 사용하면 통계학을 아는 사람들에게 혼란을 줄 수 있음.
저자가 상상하는 세계에서, 사람들의 점수 추정이 실제 점수와 독립적이라면, DK 효과가 실제로 존재한다고 말할 수 있음. 낮은 점수를 받은 사람들은 자신의 점수를 과대평가하고, 높은 점수를 받은 사람들은 과소평가하는 경향이 있음.
"편향"이라는 용어에 대한 혼란이 있음. 만약 자가 평가가 무작위로 이루어진다면, 높은 성과자들은 모두 자신을 과소평가할 것이지만, 이것은 과소평가에 대한 편향이 아님. D-K 차트는 다른 편향을 보여주며, 대부분의 사람들이 자신을 평균이라고 생각하는 것과 일치함. 높은 성과자들은 평균을 과대평가하고, 낮은 성과자들은 평균을 과소평가할 것임을 가정함.
기사에서의 "자기상관성" 정의와 위키피디아에서의 정의가 다름을 지적함. 기사의 정의는 시간 지연과 관련이 없으며, D-K와 관련하여 "자기상관성"이라고 부르는 것은 잘못된 표현임.
만약 숙련되지 않은 사람과 숙련된 사람이 평균적으로 동일하게 자가 평가를 한다면, 숙련되지 않은 사람은 과대평가하고 숙련된 사람은 과소평가할 것임. 이것만으로도 중요한 결과가 될 수 있으며, 실제로 상관관계가 있음을 주목함.
Hacker News 의견