앤스로픽이 52명의 파이썬 개발자를 대상으로, AI 보조 도구를 사용한 경우 코딩 능력에 영향을 미치는지 연구를 시행했습니다.

AI를 쓴 그룹은 과제는 약간 더 빨리 끝냈지만(2분 정도), 직후 이해도/디버깅 중심 퀴즈에서 평균 50%, 비사용 그룹은 67%로 약 17%p 낮게 나와 숙련도가 통계적으로 유의하게 떨어졌습니다. 특히 디버깅 문제에서 격차가 컸으며, 연구진은 에러를 직접 마주치고 해결하는 과정이 디버깅 실력과 개념 이해를 키운다고 해석했습니다.

다만 AI 사용이 항상 해롭지는 않았고, 코드 생성 후 원리 설명을 요청하거나 개념 질문을 던지는 등 이해 중심으로 활용한 참가자들은 높은 점수를 유지했습니다.

즉, AI를 코딩 도구로만 보지 말고 학습 도구로 사용한 사람들은 코드 이해도와 디버깅 실력이 높게 유지되었다는 점을 말합니다.

이 연구는 "빠른 생산성"을 위해 AI에 과도 의존하면 특히 주니어 개발자의 장기적 역량/디버깅 능력 성장에 악영향을 줄 수 있으므로, 학습을 촉진하는 방식으로 AI를 설계·사용해야 한다고 결론짓습니다.

원문: https://www.anthropic.com/research/AI-assistance-coding-skills
논문: https://arxiv.org/abs/2601.20245

추가로, 아래와 같은 연구도 (1년정도 지났지만) 찾을 수 있었습니다.

https://arxiv.org/abs/2501.10091

독일 함부르크대학 초급 프로그래밍 수업(SE1) 학생들이 ChatGPT를 실제 사용하는 방식을 실험적으로 분석한 연구입니다.

  1. 37명 중 23명만이 실제로 챗봇을 사용하기로 선택했으며, 사용한 학생 대다수는 결국 전체 솔루션을 생성해달라고 요청했습니다.
  2. 학생들은 코드와 자신의 실수를 이해하기 위해 봇을 사용하는 대신, 잘못된 생성 코드를 제출하고 다시 봇에게 수정을 요청하는 악순환에 빠지는 경우가 많았습니다.
  3. 또한 생성형 AI를 정기적으로 사용한다고 자가 보고한 학생들이 솔루션 생성을 요청할 가능성이 더 높았습니다.

이 연구 결과는 생성형 AI로 인해 프로그래머의 주체성과 생산성이 감소할 수 있다는 우려가 정당함을 시사합니다. 학생들은 문제를 창의적으로 해결하는 과정을 지원받기보다는 코드 솔루션 자체를 요구하는 경향을 보였으며, AI가 생성한 코드에 포함된 낯선 개념으로 인해 추가적인 어려움을 겪기도 했습니다.

두 연구를 종합하면,

  1. 일단 AI를 학습 보조도구로 사용한 사람은 개발 능력의 하락에 큰 영향이 없었다
  2. 그러나, 새로 학습하는 단계에서 AI를 학습 보조도구로만 사용하려는 경향보단, "전체 솔루션을 제공"하는 주 도구로 사용하려는 경향이 나타났다.
  3. 주체적 개발을 위해선 AI를 학습 도구로만 사용하려는 의식적인 노력이 필요하다.

정도인 것 같습니다.