[코치가 반드시 읽어야 할 아티클] Are Creativity Tests Vulnerable to Coaching

이 논문은 창의성 검사 중 하나인 Torrance Tests of Creative Thinking-Figural (TTCT-F)의 점수가 사전 코칭에 의해 영향을 받는지 여부를 실험적으로 조사한 연구입니다.

한국코칭신문 승인 2024.06.29 08:15 의견 0
출처 : GPT-4o

■ 논문 개요

이 논문은 창의성 검사 중 하나인 Torrance Tests of Creative Thinking-Figural (TTCT-F)의 점수가 사전 코칭에 의해 영향을 받는지 여부를 실험적으로 조사한 연구입니다.

주요 내용은 다음과 같습니다:

1. TTCT-F의 채점 방식에 대해 20시간 동안 코칭을 받은 실험군과, 일반적인 창의성 기술 훈련만 받은 대조군으로 나누어 실험을 진행했습니다.

2. 사전-사후 검사 결과를 비교 분석한 결과, 실험군의 유창성(fluency) 점수가 오히려 유의미하게 감소한 것으로 나타났습니다.

3. 독창성, 정교성 등 다른 하위 척도에서는 유의미한 차이가 없었습니다.

4. 이는 TTCT-F 점수가 사전 코칭에 의해 쉽게 향상되지 않음을 시사하며, 오히려 코칭이 창의적 사고를 제한하는 부정적 효과를 낳을 수 있음을 보여줍니다.

5. 연구의 한계로는 작은 표본 크기, 무작위 할당의 부재 등이 언급되었습니다.

요약하면, 이 연구는 TTCT-F가 사전 코칭에 취약하다는 기존의 우려와 달리, 오히려 코칭이 역효과를 낳을 수 있음을 실험적으로 입증한 것입니다.

■ 서론

서론 부분의 주요 내용은 다음과 같이 정리할 수 있습니다.

1. 창의성 평가의 중요성이 높아지면서, 특히 Torrance Tests of Creative Thinking (TTCT)를 비롯한 창의성 검사 도구들에 대한 비판적 검토가 이루어지고 있습니다.

2. 일부 연구자들은 TTCT 점수가 코칭에 의해 쉽게 향상될 수 있다고 주장해 왔습니다. 예를 들어, Baer(2011)는 TTCT 채점 규칙에 대한 5분 간의 설명만으로도 점수가 두 배로 늘어날 수 있다고 언급했습니다.

3. 그러나 이러한 주장들은 대부분 실증적 근거가 부족한 것으로 보입니다. 인용된 연구들을 자세히 살펴보면 TTCT 점수에 대한 코칭 효과를 직접적으로 다룬 내용은 없었습니다.

4. 본 연구의 목적은 성인을 대상으로, TTCT 채점 방식에 대한 장기간의 코칭이 실제로 점수 향상으로 이어지는지 확인하는 것입니다. 이를 통해 창의성 검사의 코칭 취약성에 대한 실증적 증거를 제시하고자 합니다.

5. 연구 가설은 "TTCT-F 채점 요소에 대한 명시적 코칭이 사후 검사 점수를 향상시키지 않을 것"이라고 설정되었습니다.

즉, 서론에서는 창의성 검사, 특히 TTCT의 코칭 취약성에 대한 선행 연구자들의 우려를 소개하면서도, 이에 대한 실증적 근거가 부족함을 지적하고 있습니다. 이에 본 연구에서는 보다 엄밀한 실험 설계를 통해 TTCT 점수에 대한 코칭의 실제 효과를 검증하고자 한 것으로 보입니다.

■ 본론

본 연구에서는 성인 35명을 대상으로 TTCT-F 검사를 실시하고, 이들을 실험군(n=22)과 대조군(n=13)으로 나누었다. 실험군은 TTCT-F 채점 방식에 대해 집중적으로 코칭을 받았고, 대조군은 일반적인 창의성 기술 훈련만 받았다. 사전-사후 검사를 통해 각 집단의 TTCT-F 점수 변화를 비교 분석했다.

연구 결과, 실험군의 유창성(fluency) 점수는 사전 검사 대비 사후 검사에서 유의미하게 감소한 반면(F(1,32)=9.73, p<.001), 독창성, 정교성, 제목의 추상성, 성급한 종결에 대한 저항, 창의적 강점 체크리스트 등의 다른 하위 척도 점수는 유의미한 차이를 보이지 않았다.

저자들은 이러한 결과에 대해 몇 가지 해석을 제시했다. 우선 실험군의 유창성 감소는 과도한 사전 지식이 오히려 발산적 사고를 제한하는 Einstellung 효과나 인지적 경직성(cognitive entrenchment)으로 설명할 수 있다. 또한 제한된 시간 내에 창의적인 아이디어를 산출해야 하는 부담감이 수행에 부정적 영향을 미쳤을 가능성도 언급했다.

본 연구는 일부 선행 연구들과 달리, TTCT-F 점수가 사전 코칭에 의해 쉽게 향상되지 않으며, 오히려 코칭이 역효과를 낳을 수 있음을 실증적으로 보여주었다. 다만 연구의 한계로 작은 표본 크기와 무작위 할당의 부재 등이 지적되었으며, 추후 보다 큰 규모의 무선화된 실험 설계를 통한 재검증이 필요함을 제안했다.

■ 결론 및 시사점

본 연구는 TTCT-F 검사 점수가 사전 코칭에 의해 향상될 수 있다는 일부 선행 연구자들의 주장과 달리, 오히려 코칭이 창의적 사고를 제한하는 부정적 효과를 낳을 수 있음을 실증적으로 입증했다. 구체적으로, TTCT-F 채점 방식에 대한 20시간의 집중 코칭을 받은 실험군은 사후 검사에서 유창성 점수가 유의미하게 감소한 반면, 일반적인 창의성 훈련만 받은 대조군은 그렇지 않았다.

이러한 결과는 창의성 검사, 특히 TTCT-F의 타당성과 신뢰성에 대한 시사점을 제공한다. 만약 단기간의 사전 코칭만으로도 점수가 크게 향상될 수 있다면 해당 검사 도구의 구성 타당도와 신뢰도는 심각한 위협을 받게 될 것이다. 그러나 본 연구에서는 오히려 반대의 효과가 나타났으며, 이는 TTCT-F가 단순한 코칭으로 쉽게 변화하지 않는 안정적인 특성을 측정하고 있음을 시사한다.

다만 저자들은 본 연구의 한계로 작은 표본 크기와 무선 할당의 부재 등을 언급하며, 보다 정교한 실험 설계를 통한 후속 연구의 필요성을 제기했다. 또한 연구 참여자들이 교사라는 특정 직군에 한정되어 있어 일반화에 주의가 필요하며, 다양한 연령대와 직업군을 대상으로 한 추가 검증이 요구된다.

종합하면, 본 연구는 TTCT-F를 포함한 창의성 검사 도구들이 사전 코칭에 취약하다는 일부의 우려와 달리, 실제로는 그렇지 않을 수 있음을 실험적으로 시사했다는 점에서 의의가 있다. 이는 창의성 연구와 실제 평가 장면에서 TTCT-F의 활용 가능성을 뒷받침하는 근거로 작용할 수 있을 것이다.

■ 저자

본 논문의 저자는 Sarah E. Sumners, Sue Hyeon Paek, Bonnie Cramond 등 3명이다.

Sarah E. Sumners는 조지아 대학교(University of Georgia) 소속으로, 현재 Piedmont University의 교육대학(College of Education) 소속으로 기재되어 있다.

Sue Hyeon Paek은 노던 콜로라도 대학교(University of Northern Colorado)의 심리학과(School of Psychological Sciences) 소속이다.

Bonnie Cramond는 조지아 대학교의 교육심리학과(Department of Educational Psychology) 소속이다.

저작권자 ⓒ 한국코칭신문, 무단 전재 및 재배포 금지