말은 다른 사람들과 소통하고, 주변 세계를 탐구하고, 자신을 표현하기 위한 필수적인 수단이다. 이러한 말에 문제가 있는 의사소통장애인들은 말의 손상으로 소통과 탐구와 표현의 어려움을 갖게 되고, 이로 인한 다양한 문제와 사회적인 불이익을 받게 된다(Yaruss, 1998). 의사소통장애 중 유창성장애에 해당되는 말더듬은 발달기에 시작되어 성인기까지 지속되지만, 조기에 진단하고 중재할수록 회복될 가능성이 매우 높기 때문에(Bloodstein & Bernstein Ratner, 2007), 치료사가 아동 말더듬의 특징을 파악하고 정상 범위에 속하는지를 결정하는 것은 매우 중요하다.
아동 말더듬은 발생 초기에는 자신의 말더듬에 대한 인식이 없거나 아주 약하지만, 언어, 인지, 신경기제들이 성숙하는 과정에 있기 때문에 성인에 비해 더 많은 비유창성을 보일 수 있으며(Guitar, 2014; Jeon & Jeon; 2015; Yairi, 1997), 말더듬의 가변성이 더 두드러진다(Manning, 2010). 말더듬의 다양한 유형과 빈도의 가변성으로 아동의 비유창성 증상이 언어 발달 시기에 보이는 일시적이고 정상적인 비유창성인지 만성적 말더듬으로 진행될 것인지를 진단하는 것이 매우 어렵다. 아동기 말더듬 평가는 성인과 달리 발달의 특성을 고려해야 하고(Kwon et al., 2012). 평가 결과에 따라 치료를 할 것인지, 한다면 간접치료를 할 것인지, 직접 치료를 할 것인지, 어떤 기법을 사용할 것인지 등을 결정해야 한다(Shin et al., 2017a). 또한 다양한 중재프로그램의 효과를 검정하기 위해서는 중재 전후의 심한 정도에 대한 검사 결과가 유용한 정보가 된다. 따라서 치료사 및 연구자들은 말더듬의 증상을 보다 정확하게 평가하기 위하여 신뢰도와 타당도가 높은 검사도구를 사용해야 한다.
아동 말더듬을 평가하기 위하여 현재 국내에서 사용되고 있는 검사도구는 파라다이스-유창성 검사 II (P-FA-II; Sim, Shin, & Lee, 2010)와 국내에서 표준화되지 않았으나 번안하여 사용하고 있는 말더듬 심한 정도 측정 검사(SSI-4; Riley, 2009)이다. 임상 현장 및 연구 영역에서 사용하고 있는 P-FA-II나 SSI-4는 대상자의 발화를 녹취하여 총 말한 음절 수를 세고, 말더듬 유형을 분석한 후, 빈도를 측정하게 된다. P-FA-II는 구어 평가에 병리적 비유창성과 정상적 비유창성 유형을 분류하여 각각 계수하여 비유창성 비율 및 점수를 산출하며, 정상적 비유창성 유형도 질적 양상(시각적 긴장 수반, 3회 이상의 출현 등)이 동반되면 비정상적 비유창성으로 판별하여 점수를 산출하고 있다. 또한 비유창성 유형을 다양하게 SSI-4는 총 말한 음절 수에 대한 말더듬 빈도로 말더듬 음절 백분율을 산출하며, 유창성 인터뷰(FI; Ryan, 2001)는 분당 말한 더듬은 단어의 빈도를 구하여 말더듬 비율을 산출한다. 비유창성 유형은 학자나 연구자에 따라 다르지만, 비유창성 유형의 빈도계수해야 할 발화의 수가 많거나 복잡할수록 분석 방법이 어렵고 정확성은 낮아질 수 있다. 또한 정상적인 비유창성 유형의 빈도를 포함하는지에 따라서 달라질 수 있다(Yairi & Ambrose, 2005). Shin, Chang, Kim 그리고 Jeon (2014)은 비유창성 빈도분석 기준에 관한 연구에서 병리적 비유창성 빈도만 계수하는 것이 정상적 비유창성을 포함한 빈도계수보다 심한 정도와 더 높은 상관이 있다고 보고하였다. 연구 상황과 달리 실제 임상에서 대상자의 발화를 녹화하고, 전사한 후, 음절 수를 세고, 다시 발화 중 나타난 비유창성 형태를 확인하여 그 수를 측정하고 백분율을 산출하는 것이 결코 간단한 과정이라 할 수 없다(Chang, Shin, & Kim, 2018). 현장에서 언어치료사들이 가장 부담스러워하는 장애 영역 중 하나가 유창성장애(Chang, Shin, Jeon, & Kim, 2011)이며, 그 이유는 다른 장애 영역에 비해 평가를 자주 해야 하고, 평가 결과를 분석하는데 시간과 노력이 많이 필요하기 때문인 것으로 보고하였다. 첫 진단 과정에서 한번은 이와 같은 방법으로 말더듬 빈도를 측정한다 하더라도, 치료 과정 중 말더듬의 가변성으로 변화를 모니터하기 위해서 자주 측정하기는 현실적으로 쉽지 않다. 또한 무엇보다 아동 말더듬 평가를 위해 치료사가 실시할 수 있는 검사도구가 매우 제한적이다. 본 연구에서 참조한 아동 말더듬 검사(TOCS; Gillam, Logan, & Pearson, 2009)는 외현적 구어 평가, 관찰 평가, 부가적 평가로 구성되어 있고, 구어 평가를 위한 채점 방식이 아동의 첫 세 어절 발화에 대한 빈도계수로 분석이 이루어진다. 아동 말더듬 검사는 첫 진단뿐만 아니라 중재 과정 중에도 진전 정도를 실시간 평가할 수 있도록 간편해야 하며, 말더듬의 가변성을 반영한 다양한 과업과 다양한 환경에서 사용할 수 있는 분석 체계가 고려되어야 한다. 검사도구마다 검사의 목적이 있으나 본 연구에서 표준화한 한국 아동 말더듬 검사(Korean childhood stuttering test [KOCS]; Shin, Kim, & Chang, 2017b)는 자주 검사가 이루어져야 하는 말더듬 검사에서 정확성과 더불어 신속성과 편이성을 고려하였다.
아동 말더듬 검사도구 개발이 필요한 시점에서 말더듬 아동의 특성을 고려한 구어 과업 및 간편한 분석 방법을 토대로 심도를 평가할 수 있는 KOCS 개발이 진행되었다. KOCS 개발의 목적은 타당도와 신뢰도가 높으면서도 검사 실시 및 분석 방법이 용이하도록 하는데 초점을 두었다. KOCS의 개발 및 표준화를 위하여 다음과 같은 연구 기초 연구가 이루어졌다.
첫째, KOCS의 문항 검정과 그림 자료 구성을 위한 목적으로 타당도 및 신뢰도 연구(Chang, Shin, & Kim, 2017)를 실시하였다. 본 연구자들이 아동기 말더듬 검사(Test of Childhood Stuttering [TOCS]; Gillam et al., 2009)를 바탕으로 개발한 문항들이 검사 대상 연령인 4-12세 아동에게 적절한 어휘, 그림, 문장, 이야기인지 확인하기 위하여 일반 아동을 대상으로 검사를 실시하여, 목표 발화가 유도되지 않는 문항들을 수정하여 1차로 검사도구를 제작하였다(Kim, Shin, & Chang, 2016). 구어 유창성 평가 과업은 그림 빨리 명명하기, 문장 바꾸어 말하기, 구조화된 대화, 이야기 말하기로 구성되었다. 1차로 수정된 검사도구의 타당성을 확인하기 위하여, 유창성장애 전문가를 대상으로 내용타당도를 실시하였다. 내용타당도가 낮은 문항을 수정하여 2차로 검사도구를 제작하였다. 2차 수정된 검사도구로 문항변별도와 내적일치도 분석을 실시하였고, 이를 바탕으로 타당도와 신뢰도를 낮추는 문항에 대한 논의를 거쳐 최종 문항 및 그림 자료를 구성하였다.
둘째, KOCS의 평가 내용을 구어 유창성 평가, 관찰 평가, 부가적 평가로 구성하였고, 이러한 평가 간 상관 연구를 실시하였다. 구어 유창성 평가는 예비검사(Kim et al., 2016)와 내용타당도, 문항분석, 내적일관성 검사 등(Chang et al., 2017)을 실시하여 수정하였다. 구어 유창성 평가 외에 말더듬 아동이 가정이나 학교와 같은 일상 생활에서 얼마나 비유창한지에 대한 정보를 알기 위한 관찰 평가 항목과 아동의 비유창성에 대한 더 정밀한 평가를 할 수 있도록 부가적인 평가 항목을 개발하였다. 아동에게 중요한 영향을 미치는 부모, 교사, 치료사에게 아동의 말더듬 증상과 부수행동과 관련된 문항을 통한 관찰 척도를 실시함으로써 실제 아동 생활에서의 발화에 대한 객관적 평가 정보를 얻을 수 있다. 또한 아동에 따라 부가적인 평가 정보를 통하여 아동이 호전되고 있는지 악화되고 있는지와, 아동의 말더듬 정도에 영향을 미치는 하위 변수 정밀 검사를 실시할 수 있도록 말더듬 빈도, 구어 속도, 평균단위반복수, 구어 자연스러움, 부수행동 등을 평가할 수 있도록 제작하였다. 이러한 KOCS의 구어 유창성 평가, 관찰 평가, 부가적 평가 간 상관(Shin et al., 2017)을 살펴보았다. 하위 검사들 간에 중간 정도의 상관을 보여, 전체적으로 관련성은 있으면서 하위 검사는 각각 말더듬 아동의 서로 다른 측면을 검사하는 역할을 수행할 수 있으며, 검사도구의 하위 항목들이 상호보완적으로 말더듬 아동의 여러 특성을 평가할 수 있는 도구임을 알 수 있었다.
셋째, KOCS와 현재 국내 임상현장에서 사용되고 있는 P-FA-II (Sim et al., 2010)와 SSI-4 (Riley, 2009)와의 상관을 통하여 평가 변수에 대한 타당성과 전체 심도에 대한 공인타당도를 알아보았다(Shin et al., 2017). KOCS의 구어 유창성 평가와 관찰 평가는 각각 국내에서 주로 사용하는 P-FA-II와 SSI-4 검사의 점수와도 높은 상관을 보여 공인타당도를 갖추었음을 확인하였다.
넷째, KOCS의 구어 유창성 평가에서 분석의 범위는 첫 세 어절에서 반복과 연장/막힘의 유무를 측정하였으며, 이에 대한 KOCS의 분석 체계 연구(Chang et al., 2018)를 실시하였다. 대부분의 말더듬 진단 및 평가 검사도구에서의 말더듬 빈도는 1분 동안 비유창한 빈도 수(SW/M, SS/M), 더듬은 음절의 비율(%SS)이나 더듬은 단어의 비율(%WS)로 측정한다. 이러한 평가 방법은 임상현장에서 전사 및 분석이 복잡하여서 반복측정을 하는데 어려움이 있다. 대부분 대상자의 발화를 녹화하여, 전사 과정을 거친 후, 발화한 목표 음절과 비유창성이 나타난 빈도를 계수하는 등 측정 절차가 복잡하다. 이에 첫 세 어절 분석과 전체 발화 분석에 따른 말더듬 빈도 분석 방법이 서로 상관이 있는지와 전체 발화와 첫 세 어절 기준에 따른 말더듬 빈도 분석 방법이 각각 아동의 말더듬 심한 정도와 어떤 상관이 있는지를 살펴본 결과 높은 정적 상관을 보였다. 이는 첫 세 어절 분석과 전체 발화 분석 모두 말더듬의 심한 정도를 잘 반영한다는 연구 결과로 임상가의 편이성에 따라 선택할 수 있음을 의미하며, 이러한 결과는 Gillam 등(2009)이 개발한 TOCS의 결과와 일치하였다. 따라서 대상자의 전체 발화를 전사하지 않아도 발화 문장 첫 세 어절에서 비유창성 유형과 빈도를 측정한다면 분석이 용이하여 쉽게 검사 결과를 도출할 수 있다. 또한 일반적으로 말더듬 빈도를 계수하기 위한 비유창성 유형은 단어부분반복, 일음절단어전체반복, 비운율적발성, 연장, 막힘, 투쟁 등으로 다양하나 KOCS에서 비유창성 유형은 반복(일음절단어전체반복, 단어부분반복), 연장, 막힘으로 나누어 분석하였다. 다양한 유형의 빈도를 각각 계수하여 점수로 산정하는 경우와 KOCS처럼 반복과 연장, 막힘으로 나누어 말더듬 빈도를 각각 계수하여 점수로 산정하는 경우를 비교한 결과 매우 높은 정적 상관을 보였다. KOCS의 분석 기준 및 채점 방법은 매우 간편하며, 이러한 절차를 이용한 결과가 기존의 말더듬 분석 방식으로 산출한 결과와 크게 다르지 않으며 전반적 말더듬 심한 정도와도 높은 상관을 보이고 있었다. 따라서 KOCS의 분석 기준과 채점 방법이 간단하면서도 아동 말더듬 검사 도구의 파라미터로 타당함을 알 수 있었다.
본 연구는 치료사 및 연구자들이 임상 현장과 연구 과정에서 아동 말더듬의 증상과 심한 정도를 간편하면서 정확하게 평가할 수 있는 검사도구의 표준화를 목적으로 한다. 선행 연구를 통해 2차에 걸쳐 수정하여 최종 구성된 KOCS의 신뢰도와 타당도를 검정하고, 규준을 도출하는 과정을 제시하고자 하였다. 신뢰도는 내적일치도, 측정의 표준오차, 검사자간 일치도를 통하여 검정하였고, 타당도는 예측타당도 검증을 위하여 Receiver Operator Characteristic (ROC) 곡선 분석과 양성예측분석을 실시하였다. ROC 곡선 분석은 의학통계에서 많이 사용되며, 질병을 진단하는 기준의 판별력을 확인하거나 절단점을 결정하는데 주로 사용된다(Kim, Shin, Yoon, Kim, & Lee, 2001). Area under ROC curve (AUROC)는 ROC 곡선 아래쪽 영역의 크기를 의미한다. AUROC가 .5에 가까울수록 검사도구의 변별력이 없음을 의미하며, 1에 가까울수록 변 별력이 완전함을 의미한다(Kraemer, 1988). 양성예측분석(positive predictive value)은 KOCS 규준에서 제시하는 절단점이 말더듬 아동과 일반 아동을 잘 구분하는지 검증하는 것이다. 양성예측분석에서 민감도(specificity), 특이도(specificity), 양성예측치(positive predictive value)를 분석하는데, 민감도는 실제 양성인 경우(말더듬 아동)를 바르게 검사해 내는 정도를 의미하고, 특이도는 실제 음성인 경우(말더듬이 아닌 아동)를 바르게 찾아내는 정도를 의미하며, 양성예측치는 검사도구를 통해 양성(말더듬)으로 검사된 아동 중 진양성(말더듬)인 경우의 비율을 의미한다(Gredler, 2000).
타당도 검정을 위한 두번째 과정으로 검사의 기본 특징이 확인될 수 있는지, 이러한 특징이 이론적 가정을 반영하는지를 확인하기 위하여 구인 타당도를 실시하였다. KOCS의 이론적 가정은 첫째, KOCS 검사 결과는 연령과는 낮은 상관을 보여야 한다. 둘째, 검사도구는 말더듬과 비말더듬을 유의하게 구별할 수 있어야 한다. 셋째, 구어 유창성 평가와 관찰 척도는 유의한 상관이 있어야 하나 너무 높아서는 안 된다는 것이다. 이를 확인하기 위하여 연령과 KOCS 점수의 상관, 말더듬 아동과 일반 아동 집단의 점수 차 비교, 하위 검사 간 상관을 분석하였다.
본 연구에서는 KOCS의 구어 유창성 평가에 대한 타당도와 신뢰도, ROC 곡선을 바탕으로 아동 말더듬 선별 절단점(cut-off score)과 진단 절단점, 백분위 심한 정도의 범위 등을 제시하였다. 본 검사도구가 임상 현장에서 말더듬 아동의 선별 및 심한 정도를 진단하는데 유용하게 사용되기를 기대한다.
연구방법
연구대상
본 연구의 대상은 부산 . 경남, 대구 . 경북, 광주 . 전라, 대전 . 충청 지역에 언어재활서비스 기관에서 말더듬 치료를 받고 있는 발달성 말더듬 아동 107명과 동일한 연령 범위에 해당하는 일반 아동 107명을 대상으로 하였다. 대상자 정보는 Table 1과 같다. 발달성 말더듬 아동은 아동 주변의 교사나 양육자 등이 말더듬으로 보고하고 언어치료사가 말더듬으로 진단하여 현재 언어치료실에서 치료를 받고 있거나 대기 중인 아동으로 선정하였다. 그리고 파라다이스 유창성검사 II 결과 약함 이상이고, 부모나 교사에 의해 지적능력이 정상이라고 보고되었고 정서 및 행동 문제나 언어장애, 사회성 결함, 시각, 청각 등의 감각장애를 수반하지 않은 아동으로 선정하였다. 일반 아동은 아동 주변의 교사, 양육자 등이 말더듬이 아니라고 보고한 아동이다. 양육자나 교사에 의해 지적 능력이 정상이라고 보고되었고, 정서 및 행동문제나 언어장애, 사회성 결함, 시각, 청각 등의 감각장애를 수반하지 않은 아동으로 선정하였다.
검사도구
아동용 말더듬검사인 TOCS (Gillam et al., 2009)를 한국의 실정에 맞게 KOCS 문항의 초안을 개발 및 예비 검사를 실시하여(Kim et al., 2016) KOCS 2차안을 만들었으며, 문항 검정을 위한 내용타당도, 문항분석, 내적일관성 검사 등을 실시하여(Chang, 2016) KOCS의 최종버전을 제작하였다. KOCS 최종버전은 구어 유창성 평가, 관찰 평가, 부가적 평가로 구성하였으며 자세한 내용은 다음과 같다.
하위 검사 1: 구어 유창성 평가 내용 및 측정 기준
구어 비유창성을 평가하기 위하여 4개의 말하기 과업으로 구성하였으며, 과업 1은 그림 빨리 명명하기로 제시된 그림의 이름을 빠른 속도로 말하는 과업으로 내용타당도(Kim et al., 2016)와 문항변별도, 내적 일관성 연구(Chang et al., 2016)를 거쳐 48문항으로 구성하였다. 모든 문항은 자음과 모음을 다양하게 구성하였으며, 받침 유무를 조절하였고, 단어의 음절 수도 1-5음절까지 선정하였다. 또한 선택된 단어는 그림으로 표현할 수 있는 단어들로 선정하였다.
과업 2는 문장 바꾸어 말하기로 총 15문항으로 구성하였다. 세부사항이 조금씩 다른 두 개의 그림을 보고 검사자가 첫 번째 그림에 해당하는 문장을 말해 주면, 아동은 두 번째 그림을 보고 치료사가 말한 문장 구조에서 세부적인 내용을 바꾸어 말하도록 하였다. 과업 3은 구조화된 대화로 7개의 공원 장면 그림을 제시하고 검사자의 질문에 아동이 반응하도록 하였다. 1개의 장면에 각 3개, 전체 21개 문항으로 질문지가 구성되었다. 질문은 누구, 무엇(사물 말하기), 어디(장소 말하기), 발화 예측, 왜(이유), 상황 설명, 기분 설명, 행동 설명, 가정, 의무, 장면 설명하기 등으로 이루어졌다. 과업 4는 이야기 말하기로 구조화된 대화에서 사용하였던 ‘공원’그림을 7장 연속적으로 제시하고 피검자가 혼자 이야기하도록 하는 과업을 구성하였다.
채점은 단어 명명하기에서 나타난 반복(단어부분반복과 일음절단어반복), 연장, 막힘의 수를 합산하여 점수로 산출한다. 과업 2 문장 바꾸어 말하기, 과업 3 구조화된 대화, 과업 4 이야기 말하기의 채점 방법은 각 문항에 대한 아동의 반응 중 첫 세 어절에서 나타난 반복, 연장, 막힘이 나타나면, 1점씩 부여하며, 반복, 연장, 막힘이 동반될 경우 각각에 1점으로 부여한다. 반복, 연장, 막힘의 점수를 각각 합산하여 소계를 산출하고, 과업별 점수의 합계를 총 원점수로 산출한다. 어절의 개념은 단어를 기준으로 측정한다. 삽입어와 수정은 처음 세 어절에 포함시키지 않지만, 더듬었을 경우 점수에 반영한다. 예를 들면, ‘있있있잖아요 엄마가 아기를 안고 있어요’는 반복 1점으로 산출한다.
하위 검사 2: 관찰 평가 내용 및 측정 기준
관찰 평가는 비유창성 관찰 척도와 부수행동 관찰 척도 각각 8문항으로 제작하였다. 관찰 평가는 검사지를 관찰자(부모, 주양육자, 교사, 치료사)에게 제시하여 평정하도록 구성하였다. 비유창성 관찰 척도와 부수행동 관찰 척도의 평정 방법은 해당 문항의 행동이 최근 2개월 이내에 얼마나 자주 나타났는지 묻는 문항에 대해 4점 척도(전혀= 0점, 드물게=1점, 때때로=2점, 자주=3점)로 평정하고 각 항목의 점수를 합산하여 총점을 산출한다.
하위 검사 3: 부가적인 평가 내용
부가적인 평가는 말더듬의 가변성을 고려하여 아동의 진전 여부를 수시로 파악할 수 있는 내용으로 구성하였다. 매개변수는 TOCS (Gillam et al., 2009) 검사에서 부가적 평가로 제시된 평가 변수 중 대상자 또는 보호자와의 초기 상담을 제외한 말더듬 빈도(음절 기준), 구어 속도, 단위반복수, 구어 자연스러움, 부수행동로 구성하였다. 부가적 평가의 분석은 첫 세 어절뿐만 아니라 아동의 전체 발화에 대해 분석하여 측정한다.
검사 실시 기간 및 방법
KOCS 검사도구의 실시기간은 2017년 4월부터 2018년 9월까지 18개월간이었다. 검사는 언어재활사 1급 또는 2급 자격을 가지고 있는 아동의 담당 치료사가 실시하였으며 검사를 실시하기 전에 KOCS의 실시 방법과 채점 방법에 대한 교육을 하였다. 검사자들이 검사에 대해 충분히 이해하였을 때, KOCS의 구어 유창성 평가 과업 1-과업 4를 실시하였고, 관찰 평가는 부모에게 관찰 평가지를 주어 체크하도록 하였다. 검사의 결과는 1차로 검사를 실시했던 치료사가 채점하였고, 연구자가 검사자료를 수합하여 녹화자료를 들으며 비교 확인하였다. 실시장소는 대상자가 재원 중인 언어치료실 내에서 검사자와 피검아동이 입실하여 실시하였고 검사의 전 과정은 스마트폰을 이용하여 녹화를 하였고, 녹화가 어려운 경우 녹음을 하였다. 일반 아동의 경우 아동의 집, 어린이집이나 유치원의 교실, 조용한 카페 등에서 연구자들이 1:1로 실시하였고, 관찰 평가는 일반 아동의 부모가 응답하였다.
자료처리
한국 아동 말더듬 검사(KOCS)의 표준화를 위하여 신뢰도, 타당도, 규준화를 실시하였다. 신뢰도 검정 과정으로 내적 일치도 분석을 위하여 말더듬 아동 집단의 결과를 바탕으로 Cronbach α 신뢰도 계수를 산출하였다. 기술통계를 이용하여 말더듬 아동 집단의 각 하위 검사 결과의 평균과 측정의 표준오차(SEM)를 측정하였다. 검사자 간 신뢰도를 알아보기 위하여 샘플의 10%인 말더듬 아동 10명과 일반 아동 10명을 두 명의 연구자가 각자 채점하여 점수를 비교하였다. 구어 유창성 평가의 그림 빨리 명명하기는 문항별로 반복과 연장, 막힘의 판단에 대해 일치와 불일치로 판정하여 일치율을 계산하였다. 문장 바꾸어 말하기, 구조화된 대화하기, 이야기 말하기에서는 첫 세 어절의 반복, 연장, 막힘의 일치와 불일치를 판정하여 일치율을 계산하였다.
타당도 검정 중 예측타당도를 확인하기 위하여 receiver operating characteristics (ROC) 곡선 분석을 실시하였고 절단점수(cutoff score)를 선정하였다. 또 절단점수에 따른 특이도(specificity), 민감도(sensitivity), 양성예측치(positive predictive value)를 다음과 같이 계산하였고, 검사도구의 말더듬 판별 성능을 알아보기 위하여 AUROC를 산출하였다.
Specificity=ture negatives/(true negatives+false positives)
Sensitivity=true positives/(true positives+false negatives)
Positive predictive value= true positives/(true positives+false positives)
구인타당도를 확인하기 위하여 첫째, 연령과 KOCS 점수의 상관분석, 둘째, 말더듬 아동과 일반 아동 집단의 점수 비교를 위한 독립 t-검정, 셋째, 하위 검사 간 상관분석을 실시하였다. 모든 자료의 자료처리는 SPSS 22.0 통계분석패키지인 윈도우용으로 하였다.
양성예측분석에서 민감도, 특이도, 양성예측치를 분석하는데, 민감도는 실제 양성인 경우(말더듬인)를 바르게 검사해 내는 정도를 의미하고, 특이도는 실제 음성인 경우(말더듬이 아닌 사람)를 바르게 찾아내는 정도를 의미하며, 양성예측치(positive predictive value)는 검사도구를 통해 양성(말더듬)으로 검사된 아동 중 진양성(말더듬)인 경우의 비율을 의미한다(Mausner & Kramer, 1985).
연구결과
KOCS의 신뢰도
KOCS의 신뢰도를 측정하기 위하여 내적 일치도 및 측정의 표준 오차, 검사자 간 신뢰도를 측정하였다.
내적 일치도
말더듬 아동 집단의 구어 유창성 평가 하위 검사와 비유창성 관찰 척도, 부수행동 관찰 척도의 내적 일치도 분석을 실시하였다. 검사도구 전체의 Cronbach α 계수는 .839, 하위 과업별 Cronbach α 계수는 .818-.912 사이로 신뢰도가 높게 나타났다(Table 2).
측정의 표준오차
KOCS 피검자의 진점수와 측정된 점수가 어느 정도의 차이가 있는지 측정의 표준오차(SEM)를 분석하였다. 구어 유창성 평가 점수 SEM은 2.185, 관찰 평가 점수 SEM은 1.046으로 나타났다. SEM이 작을수록 검사결과를 더 신뢰할 수 있다(Table 2).
KOCS 타당도
KOCS의 타당도를 측정하기 위하여 예측 타당도와 구인 타당도를 측정하였다.
예측 타당도
KOCS의 예측 타당도를 검정하기 위하여 말더듬 아동 107명과 정상 아동 107명의 검사 결과로 ROC 분석과 양성예측분석을 실시하였다. ROC 분석에서 AUROC는 ROC 곡선 아래쪽 영역의 크기를 의미한다. AUROC가 .5에 가까울수록 검사도구의 변별력이 없음을 의미하며, 1에 가까울수록 완전함을 의미한다(Kraemer, 1988). 구어 유창성 평가의 AUROC는 .959, 비유창성 관찰 척도는 .985, 부수행동 관찰 척도는 .961로 모두 1에 가깝게 나타나 KOCS의 예측 타당도는 매우 높은 것으로 나타났다(Table 3).
양성예측분석은 KOCS 규준에서 제시하는 절단점수가 말더듬 아동과 일반 아동을 잘 구분하는지 검정하는 것이다. KOCS 구어 유창성 평가에서 정상 아동의 97%에 해당하는 점수를 절단점수(원점수 4점 이하)로 하였을 때 양성예측치 .96, 민감도 .86, 특이도 .96였다. 또 정상 아동의 84%에 해당하는 점수를 절단점수(원점수 1점 이하)로 하였을 때 양성예측치 .86, 민감도 .96, 특이도 .84였다. 두 절단점수의 민감도, 특이도, 양성예측치가 검사도구의 수용 기준 중 가장 높은 수준인 .75보다 훨씬 높게 나타나 말더듬 아동과 일반 아동을 매우 잘 예측하는 검사임을 확인할 수 있었다(Carran & Scott, 1992; Gredler, 2000; Kingslake, 1983) (Table 4).
구인 타당도
연령과의 낮은 상관
말더듬 아동과 일반 아동 집단 모두에서 연령과 KOCS 하위 검사 사이의 상관이 낮음이나 매우 낮음으로 나타났다. KOCS 검사에서 측정하는 반복, 연장, 막힘의 빈도가 연령과 낮은 상관을 나타내었다(Table 5).
말더듬 아동과 정상 아동 구별
KOCS 검사 및 하위 검사는 말더듬 아동 집단과 일반 아동 집단 간에 통계적으로 유의한 차이를 보이는 것으로 나타났다(p<.001) (Table 6).
하위 검사 간 유의하나 너무 높지 않은 상관
말더듬 아동 집단의 KOCS의 구어 유창성 평가와 관찰 척도 간의 상관계수는 .304-.441로 나타났으며, 구어 유창성 평가의 하위 검사 간 상관계수는 .417-.768, 관찰 평가의 하위 검사 간 상관계수는 .661로 나타났다. 하위 평가와 검사 간 상관계수는 유의하지만 너무 높지 않는 중간 정도의 상관을 보이는 것으로 나타났다(Table 7).
KOCS 규준
절단점수
말더듬 아동과 일반 아동의 원점수를 이용하여 KOCS의 구어 유창성 평가와 비유창성 관찰 척도와 부수행동 관찰 척도의 원점수 분포와 ROC 곡선을 바탕으로 일반 아동의 84%에 해당하는 점수를 말더듬 아동 선별을 위한 절단점수로 정하였다(Gillam et al., 2009). 일반 아동의 95%에 해당하는 점수를 말더듬 아동 진단을 위한 절단점수로 정하였다.
논의 및 결론
이 연구는 한국 말더듬 아동과 정상 아동을 대상으로 한국 아동용 말더듬 검사(KOCS)를 표준화하기 위한 목적으로 최종 수정된 검사의 신뢰도와 타당도를 검정하였고, 말더듬 아동 107명과 정상 아동 107명의 아동의 규준을 산출하고자 하였다. 본 연구의 사전 연구인 Chang 등(2017), Shin 등(2017)에서 검사도구를 개발하고, 제작하였으며 문항 분석, 신뢰도, 타당도 분석을 바탕으로 수정한 최종 KOCS는 구어 유창성 평가, 관찰 평가, 부가적인 평가로 구성되며, 구어 유창성 평가는 4개의 과업(그림 빨리 명명하기 48문항, 문장 바꾸어 말하기 15문항, 구조화된 대화하기 21문항, 이야기 말하기 7문항)으로 구성된다. 관찰 평가는 2개의 척도(비유창성 관찰 척도 8문항과 부수행동 관찰 척도 8문항)로 구성된다.
첫째, KOCS의 신뢰도 분석 결과 Cronbach α계수로 측정한 각 하위 검사의 내적 일치도는 .818-.912 범위로 나타났고, KOCS 검사의 전체 문항의 내적 일치도는 .839로 나타나 매우 높은 신뢰도를 갖는 것으로 나타났다. KOCS 검사의 개발을 위한 예비 연구(Chang et al., 2017)에서 구어 유창성 평가의 내적 일치도 계수가 .481-.943이었던 것과 비교하였을 때, 문항의 수정 과정을 거쳐 검사의 내적 일치도가 매우 개선되었음을 알 수 있다.
KOCS 측정의 표준오차는 구어 유창성 평가가 2.185, 관찰 평가가 1.046으로 매우 낮게 나타나 검사 결과의 오차범위가 좁아 검사의 신뢰도가 높은 것으로 나타났다. KOCS의 검사자 간 신뢰도는 96.1-98%로 측정되어 신뢰도가 매우 높게 나타났다.
둘째, KOCS의 타당도를 확인하기 위하여 ROC 곡선 분석을 실시한 결과 KOCS 구어 유창성 평가의 AUROC는 .959, 비유창성 관찰척도는 .985, 부수행동 관찰척도는 .961로 나타났다. AUROC는 ROC 곡선의 아래쪽 영역의 크기로 1에 가까울수록 검사의 판별 성능이 높으므로 KOCS의 말더듬 아동 판별 타당도는 수용 가능한 수준으로 볼 수 있다(Kraemer, 1988).
말더듬 아동과 정상 아동을 구분하기 위하여 정상아동의 84%에 해당하는 점수를 말더듬 아동 선별을 위한 절단점수로 정하였고(Gillam et al., 2009), 정상아동의 95%에 해당하는 점수를 말더듬 진단을 위한 절단점수로 정하였다. 정상아동의 84% 수준을 기준으로 말더듬과 정상을 판단할 경우, 민감도가 높아 말더듬 아동을 많이 판별해 낼 수는 있으나, 특이도가 낮아 정상 아동을 말더듬으로 잘못 판별할 수 있는 위양성의 가능이 상대적으로 높아진다. 이에 말더듬의 가능성이 있어 주의를 요망하는 경계선 아동을 선별하는 기준으로 정상 아동의 84% 수준에 해당하는 점수를 절단점수로 사용하기로 하였다. 그러나 말더듬을 진단할 때에는 정상 아동이 말더듬으로 잘못 진단되는 비율을 낮추기 위하여 즉, 검사의 특이도를 높이기 위하여 정상 아동의 95% 수준에 해당하는 점수를 절단점수를 사용하는 것이 바람직하다. 본 연구에서는 KOCS에서 말더듬 아동을 선별하는 기준과 진단하는 기준을 각각 절단점수로 제시하고자 하였다. 선별과 진단을 위한 두 개의 절단점수를 기준으로 검사도구의 양성예측치, 민감도, 특이도를 산출한 결과 선별 절단점수(1-2점, 정상 아동의 85%ile 수준)를 기준으로 하였을 때, 양성예측치는 .86, 민감도는 .96, 특이도는 .84로 나타났고, 진단 절단점수(4-5점, 정상 아동의 95%ile 수준)를 기준으로 하였을 때, 양성예측치는 .96, 민감도는 .86, 특이도는 .96으로 나타났다. 이는 민감도, 특이도, 양성예측치가 모두 .75 이상이어야 한다는 기준을 만족하는 것으로 나타나 말더듬과 정상을 잘 판별할 수 있는 검사도구임을 확인할 수 있다(Carran & Scott, 1992; Gredler, 2000; Kingslake, 1983).
KOCS의 구인타당도 분석에서는 KOCS 검사의 구성 개념을 확인하기 위한 과정으로써 연령과의 관계, 말더듬과 정상 아동 간의 차이, 하위 검사 간 상관을 확인하였다. KOCS는 4-12세 아동을 대상으로 하는 말더듬 검사도구로, 구어에 나타난 말더듬 핵심행동인 반복, 연장, 막힘의 빈도를 점수화하는 검사로 말더듬이 연령에 따른 관련성은 없어야 한다. 말더듬 아동과 정상 아동 집단 각각에서 KOCS 점수와 연령과의 상관 정도는 작음 또는 매우 작음으로 확인되었다. 말더듬 인터뷰(SI; Ryan, 1974)는 다양한 활동에서 나타난 말더듬 행동을 측정하는 도구로 아동용과 성인용으로 개발되었으나, 연령 간 차이가 없고, 두 개로 구분된 양식이 번거롭고 시간 소비가 많다는 점을 보완하여 아동 및 성인에게 공통으로 실시할 수 있는 유창성 인터뷰(FI; Ryan, 2001)로 개정하였다. TOCS는 검사 실시 시간이 SSI보다는 오래 걸리고, P-FA보다는 적게 걸리지만, 채점 및 분석 시간을 포함하면 SSI보다 적은 시간으로 시행할 수 있어 검사자에게 용이성을 제공한다. TOCS가 말더듬 분석 정보를 세부적으로 제공하지 않아 많이 사용되지 않는다는 보고도 있으나, 자세한 정보를 알고자 할 때에는 부가적 검사를 활용하는 것으로 보완할 수 있다. KOCS는 검사 대상 연령의 범위가 4-12세로 취학 전 아동부터 초등학생까지 포함하고 있어, 검사 실시에서는 어린 연령의 경우 과업이 어려운 경우가 있고, 고학년의 경우 과업이 너무 쉬워 편차가 있기는 하나, 검사 점수와 연령 간 상관이 매우 적음을 확인하여 연령별 규준을 구분하여 제시하지 않았다. 연령 간 구분을 하지 않음으로 KOCS의 실시 및 해석을 간편하게 할 수 있다.
KOCS 검사 점수가 말더듬 아동과 정상 아동 집단 사이에 차이가 있는지를 확인하였고, 독립표본 t-검정을 실시한 결과 통계적으로 유의한 차이를 보였다(p<.001). 검사가 원래 목적인 말더듬 아동을 구별하는 기능을 잘 수행하는 검사임을 확인할 수 있었다.
그리고 KOCS 검사의 하위 평가인 구어 유창성 평가와 관찰 평가는 동일한 검사도구의 하위 검사로써 유의한 상관을 갖되, 각 검사가 측정하고자 하는 바에 차이가 있으므로 너무 높은 상관을 보여서는 안 된다. 하위 검사 간 상관분석 결과 .3-.5 정도의 상관을 보였으며, 이는 Hopkins (2002)에 의하면 중간 정도의 상관으로 볼 수 있다. 이는 Gillam 등(2009)의 TOCS의 개발 과정에서 비유창성 관찰 척도와 구어 유창성 평가 사이의 상관이 .51, 부수행동 관찰 척도와 구어 유창성 평가 사이의 상관이 .37로 나타난 결과와 유사한 결과이며, 아동 말더듬 검사의 구어 유창성 측정, 비유창성 관찰, 부수행동 관찰의 각 영역을 평가하는 도구의 구성 개념을 잘 반영하는 결과임을 확인하였다.
셋째, KOCS는 107명의 말더듬 아동과 107명의 일반 아동의 자료를 바탕으로 규준을 제시하고자 하였다. ROC 분석 결과와 같이 절단점수를 정상 아동의 –1 SD에 해당하는 84% 수준에 해당하는 1/2점과 –2 SD에 해당하는 95% 수준에 해당하는 4/5점을 구어 유창성 점수를 선별하고 진단하기 위한 절단점수로 제시하였다. 절단 점수의 기준을 단어(어절)당 말더듬 빈도로 계산하였을 때 그림 빨리 명명하기 48단어, 문장 따라말하기 45어절, 구조화된 대화하기 63어절, 이야기 말하기 21어절로 총 177단어(어절) 중 말더듬(반복, 연장, 막힘)의 빈도를 계산하면 100단어(어절) 당 2.82로 3%를 기준으로 말더듬을 구분하는 기준(Yairi & Ambrose, 2005)과도 유사한 것으로 나타났다. 정상 아동의 84% 수준 이하에 해당되면 정상적 비유창성으로, 정상 아동의 85-95%에 해당되면 경계선 말더듬으로 판정할 수 있도록 원점수의 구간을 제시하였다. 아동 말더듬 검사로 활용되고 있는 P-FA나 SSI에서 말더듬과 정상을 구분하는 기준을 따로 제시하고 있지 않기 때문에 말더듬 아동을 선별하거나 진단하는데 유용하게 사용할 수 있을 것으로 기대한다.
규준으로 말더듬 아동 집단을 기준으로 백분위 점수를 제시하였다. 또한 백분위 점수를 바탕으로 심한 정도를 해석할 수 있도록 범위를 나누었다. 말더듬의 심한 정도는 말더듬 아동의 점수 분포를 바탕으로 50%에 해당되는 점수까지를 경도 말더듬으로, 말더듬 아동의 51-84%까지를 중도 말더듬으로, 말더듬 아동의 85% 이상에 해당되는 경우 심도 말더듬으로 구분할 수 있도록 원점수의 구간을 제시하였다. P-FA-II (Sim et al., 2010)에서는 말더듬 아동의 40%ile 이하를 약함, 41-80%ile을 중간, 81%ile 이상을 심함으로 구분하였고, SSI-4 (Riley, 2009)에서는 말더듬 아동의 11%ile 이하를 아주 약함, -40%ile을 약함, -77%ile을 중간, -95%ile을 심함, 96%ile 이상을 아주 심함으로 구분하였다. KOCS는 TOCS (Gillam et al., 2009)의 기준에 따라 말더듬 아동의 50%ile까지를 경도 말더듬으로, 84%ile까지를 중간 말더듬으로 구분하여 경도와 중도 말더듬이 P-FA나 SSI보다 범위가 넒은 편이고, 반면 심도 말더듬은 약 16%로 P-FA나 SSI보다 범위가 좁다.
또한 관찰 척도의 경우 비유창성과 부수행동이 일반 아동에게서는 거의 나타나지 않아 일반 아동의 95% 수준에 해당하는 점수를 절단점수로 제시하고 이 기준을 바탕으로 말더듬으로 판단할 수 있으며 심한 정도는 구어 유창성과 같이 말더듬 아동 집단의 50%, 84%를 기준으로 경도, 중도, 심도로 구분하도록 원점수의 구간을 제시하였다.
이 연구의 결과를 바탕으로 신뢰도와 타당도가 확보된 아동 말더듬 검사도구를 국내의 규준으로 제시함으로써 언어치료 현장에서 말더듬 아동을 평가하고 중재하는 언어재활사들에게 유용하게 사용될 수 있을 것으로 기대한다. 이 KOCS 검사는 유창성 평가의 분석에 걸리는 시간을 최소화하였다는 것이 가장 큰 장점이다. 무엇보다 임상에서 빠른 시간에 말더듬 평가할 수 있는 도구로 사용되길 바라며, 또한 임상에서 검사도구를 실제로 사용하면서 발생하는 여러 가지 제안들을 바탕으로 KOCS의 지속적인 개선과정이 이어져야 할 것으로 생각한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation 
Supplement
Print 
