Commun Sci Disord > Volume 23(1); 2018 > Article
한국아동 메타-화용언어검사(KOPLAC)의 개발: 타당도와 신뢰도 분석

초록

배경 및 목적

본 연구는 만 5세에서 12세 아동의 메타-화용언어능력을 평가하기 위한 도구(KOPLAC)를 개발하고, 도구의 타당도 및 신뢰도를 분석하고자 하였다.

방법

서울 및 경기에 거주하는 아동 492명(예비검사 222명, 규준검사 270명)을 대상으로 KOPLAC을 실시하였다. 타당도의 검증을 위해 내용타당도, 구인타당도, 공인타당도를 측정했다. 또한 연령이나 학년에 따라 화용언어 능력에 차이가 있는지도 분석했다. 신뢰도의 검증을 위해 문항 내적일치도, 반분신뢰도, 검사-재검사 신뢰도로 나누어 살펴보았다.

결과

내용타당도는 전체 평균 4.11으로 ‘적절하다’로 평가되었고, KOPLAC의 전체 점수와 하위영역 간의 구인타당도 또한 유의한 수준으로 나타났다. KOPLAC의 전체 점수와 REVT의 공인타당도 역시 비교적 높은 상관을 보였다. 또한 연령이나 학년에 따라 화용언어 전체 점수와 하위검사 모두에서 유의한 차이가 나타났다. 각 하위검사의 문항 내적일치도는 담화 및 이야기 정보추론과 상위 언어의 참조를 제외하고 높은 신뢰도를 나타냈다. 반분 신뢰도와 검사-재검사 신뢰도도 높은 신뢰도를 나타냈다.

논의 및 결론

한국아동 메타-화용언어검사는 화용언어의 결함을 선별하는 공식적인 검사도구로서 타당도와 신뢰도가 높은 편이며, 화용언어 능력의 발달적 특성 및 추이를 파악하는 데 유용한 정보를 제공할 수 있다.

Abstract

Objectives

This study investigated the validity and reliability of the Korean meta-Pragmatic Language Assessment for Children (KOPLAC). The KOPLAC has been developed to assess 5- to 12-year-old children’s pragmatic language ability. KOPLAC consists of three subtests: communication regulation, discourse and story information inferences, and metalinguistic awareness. Two hundred and seventy typically developing children participated in this study.

Methods

For content validity, a 5-score-scale was conducted to validate each item. Five speech-language pathologists served as assessors and the mean score was 4.11. The correlation coefficients between each construct (5 subtests for preschoolers and 6 subtests for school-aged children) score and the total scores were calculated for construct validity.

Results

Results showed significant correlation coefficients. For concurrent validity, the correlation coefficients between the results of the KOPLAC and the Receptive and Expressive Vocabulary Test (REVT) were analyzed. Every subtest is significantly correlated with REVT except for one (between metalinguistic awareness-references and REVT-expressive score). The internal consistency (Cronbach’s α) was .45-.91 for preschoolers and .40-.86 for school-aged children. The split-half reliability was .652 for preschoolers and .726 for school-aged children. Finally, the test-retest reliability was significant and highly reliable (.79-.99).

Conclusion

Results of this study indicated that the KOPLAC is a valid and reliable assessment tool for measuring children’s pragmatic language ability. However, further studies should be conducted to validate the KOPLAC by providing data from children with language disorders, especially those who have pragmatic language problems.

화용언어 능력은 사회적 상황과 의사소통 맥락에 적절하게 언어를 사용하는 능력이다(Bates, 1976). 이 능력은 언어 사용과 관련된 요소로, 언어 형식에 대한 지식의 기초 위에, 의사소통 맥락에서 사회적 지식이 발휘될 때 드러나는 것이다(Phelps-Terasaki & Phelps-Gunn, 2007). 화용언어는 어떠한 목적을 위해 언어를 어떻게 사용하느냐와 관련되어 있는데, 중요한 요소로는 최적의 의사소통을 위해 다양한 맥락과 청중을 고려하여 메시지를 효과적으로 구성하는 방법에 대한 이해와 서로 다른 유형의 메시지에 대한 최선의 사용을 결정하는 능력을 포함한다. 본질적으로, 화용언어는 무엇 을 말하느냐 뿐만 아니라 어디에서, 왜, 그리고 누구에게 의사소통이 일어나고 있는지를 모두 포함한다. Silverstein (1987)에 의하면 화용이란 구문 및 의미론에 상응하는 구조로, ‘지시와 예측(refer-ence-and-prediction)’의 영역이라 할 수 있는 명제적인(proposi-tional-like) 규칙이다. Cassel (1988)에 따르면, 사용자와 상징에 대한 설명에 덧붙여 사용 맥락의 중요성을 강조하는 설명이 있다. 이에 따르면 화용의 기능은 사회적으로 소통하는 목적뿐 아니라, 발화 맥락의 상위 수준을 표시하는 기능을 지닌다고 한다.
미국정신의학회(American Psychiatric Association, APA)의 정 신장애 진단 및 통계 편람(Diagnostic and Statistical Manual of Mental Disorders-5, DSM-5)에서는 의사소통장애의 하위유형으로 사회(화용)의사소통장애(social [pragmatic] communication disorders)라는 새로운 진단명과 진단기준을 제시하였다(APA, 2013). 이러한 진단기준의 변화는 화용언어 능력이 언어의 사회적 사용 측면에서 매우 중요한 역할을 한다는 점을 강조하는 동시에, 언어의 의미· 통사 능력에는 큰 어려움을 보이지 않지만, 언어를 통한 사회적 상호작용에 어려움을 보이는 위험군이 증가하고 있음을 시사한다. DSM-5 개정 전부터 언어병리학에서는 화용언어에 어려움을 두드러지게 보이는 경우에 화용언어장애(pragmatic language impairment, PLI)로 명명해 왔다. 비전형적인 사회성 및 화용 발달을 보이는 의사소통장애 아동에 대한 연구는 30년 이상 지속되어 왔으며, 이들을 진단하는 데 있어서 많은 논의가 있어 왔다. 하지만 진단 명칭 사용의 비일관성이나 표준화된 신뢰할만한 평가도구의 부재 등으로 이와 같은 논의는 합의점에 도달하지 못한 채 계속되고 있다(Norbury, 2014).
화용언어 능력을 평가하는 도구는 표준화 여부에 상관 없이, 아동을 직접 관찰하거나, 특정 반응을 유도하여 진행되는 직접 평가가 있고, 부모님으로부터 아동의 특성을 보고받는 간접 평가로 나뉜다. 화용언어 평가도구는 그 수가 적은 편이며, 한국 아동을 대상으로 제작된 도구는 주관적 평가나 또는 간접적인 평가에 의존하고 있다(Song, Yang, Kim, & Yim, 2016). 영어권에서 사용되는 화용언어 평가도구의 예로 Test of Pragmatic Language-2 (TOPL-2; Phelps-Terasaki & Phelps-Gunn, 2007), Clinical Evaluation of Language Fundamentals-5th edition (CELF-5; Wiig, Secord, & Semel, 2013), 그리고 Children’ s Communication Checklist-2 (CCC-2; Bishop, 2003) 등을 들 수 있다.
만 6세에서 18세 아동 및 청소년에게 실시하는 TOPL-2는 표준화된 직접 평가도구로, 상황을 제공하고 그에 따른 문제 해결 양식의 질문을 통해 물리적 맥락과 청자에 대한 이해, 담화, 그리고 의미의 하위영역을 분석할 수 있도록 구성하였다. CELF-5는 만 5세에서 21세를 대상으로 실시하는 종합언어검사로, 의미·구문 · 문법·화용 영역을 비롯하여 읽기 이해 및 쓰기에 이르는 전 영역에 걸쳐 언어 능력을 평가할 수 있도록 구성되어 있다. CELF-5에서는 검사자가 부모 또는 양육자나 교사, 혹은 기타 의미 있는 정보 제공자를 통해 대상자의 구어 및 비구어 의사소통 능력을 보고받고, 이에 대해 체크리스트를 완성하는 간접 평가와 종이 비행기 접기와 간식 먹기 활동 중에 대상자의 기능적 의사소통 능력을 관찰한 후 화용 활동 체크리스트(Pragmatic Activities Checklist, PAC)를 작성하는 직접 평가로 구성되어 있다. CCC-2는 대표적인 간접 평가 도구 로, 만 4세에서 16세 아동 및 청소년을 대상으로, 이들의 의사소통 전반에 나타나는 특성을 부모 또는 양육자, 혹은 교사가 보고하는 체크리스트 형식의 평가도구이다. 초기 개발된 당시에는 화용언어 결함을 중점적으로 확인하기 위해 고안되었으나(Volden & Philips, 2010), CCC-2로 개정되면서, 의사소통 및 언어 발달 전반에 걸쳐 나타나는 어려움을 선별해내는 도구로 발전하였다(Norbury, Nash, Baird, & Bishop, 2004). CCC-2는 부모 보고를 통한 의사소통문제 선별검사의 대표적인 도구의 하나로, 전 세계 여러 나라에서 각 나라의 언어로 번안되어, 표준화 과정을 거쳐 활용되고 있다.
그밖에 표준화되지 않은 직접 평가도구로는 반구조화된(semi-structured) 상황에서 아동의 화용 능력을 평가하는 Yale in vivo Pragmatic Protocol (YiPP; Simmons, 2013)이나, 메타화용언어인식(metapragmatic awareness, MPA) 평가(Baroni & Axia, 1989; Collins, Lockton, & Adams, 2014) 등이 있다. 메타화용언어인식 평가는 특정 상황 맥락에 어떤 화용 규칙이 적용됐는지 이해하는 능력을 평가한다. 최근 출간된 표준화된 평가 도구로 Receptive, Expressive, and Social Communication Assessment-Elementary (RES-CA-E; Hamaguchi & Ross-Swain, 2015)가 있다. RESCA-E는 만 5세부터 12세 아동의 기능적 언어 및 사회 의사소통 능력을 평가하는 도구로, 수용 및 표현언어, 그리고 사회 의사소통 세 가지 하위영역으로 구성되었다. 의사소통 상황에서 관찰한 화용언어와 메타화용인식 능력을 모두 평가하며, 부모 및 양육자, 또는 교사가 실시하는 간접검사인 Social Communication Inventory (SCI)를 포함하고 있다. 이 도구는 언어치료사에 의해 개발된 표준화된 도구이나, 지침서 외에 도구 개발 및 활용 가능성에 대한 연구가 제공되지 않아, 그 효용성은 아직 불투명한 상태이다.
그런데 화용언어 능력은 문맥에 의존적이기 때문에, 구조화된 공식 검사절차를 통해 변화하는 환경에 유연하게 반응하는 능력을 구체적으로 이끌어내어 평가하는 것은 쉽지 않다(Adams, 2002). 또한 제한된 검사 환경에서 제한된 의사소통 상대자와의 상호작용만으로는 자연스러운 상황에서 드러나는 화용 결함을 충분히 확인하는 데에 한계가 있다(Bishop & Adams, 1989; Song et al., 2016). 이러한 화용언어 평가의 어려움을 보완해주고, 문맥 의존적인 화용언어의 특성을 반영하며, 중재에 대한 시사점까지 제공해줄 수 있는 메타화용언어 능력 평가가 최근에 부각되고 있다.
메타-언어 능력이란, 언어 행동을 반영하여 그 행동에 대한 규칙을 인식하고 설명할 수 있는 능력을 뜻한다(Karmilof-Smith, 1986). 메타-화용언어인식(MPA)은 특정 맥락에서 표현된 것에 대한 구어 상호작용 규칙을 인식하는 능력이며(Bernicot & Laval, 1996), 이에 따라 메타-화용언어 능력은 언어 사용의 관습적 규칙을 반영하는 능력으로, 맥락에 의존하여 언어를 반영하는 능력을 광범위하게 포함하는 용어이다(Collins et al., 2014). 다시 말해, 메타-화용은 화자가 특정 방식으로 언어를 반영하는 것을 가리키며(Cassel, 1988), 화용적 제약과 화용 규칙을 외현적으로 반영하는 능력이다(Lockton, Adams, & Collins, 2016). Clark (1978)은 메타-화용언어인식을 확인할 수 있는 과제로 ‘스스로 수정하기’나 ‘적절한 사용에 대한 판단 질문’, ‘다른 사람 표현에 대한 의견’, ‘언어 놀이’, ‘언어 구조 및 기능에 대한 판단이나 발언’ 등을 소개하였다. 화용언어에 취약한 아동에게 메타-화용언어 능력을 활용하는 중재는 화용규칙의 습득을 돕는 구어적 비계 역할을 함으로써(Timler & Volger-Elias, 2007), 화용규칙의 인식과 자기점검 능력을 고양시켜 화용언어 행동을 개선하는 역할을 한다(Gerber et al., 2012). 즉, 메타-화용인식 능력이 있으면서도 자신이 인식한 화용규칙을 실제 의사소통 상황에 적용하지 못하는 아동과 메타-화용인식 능력도 취약하면서 실제 의사소통에서 화용능력이 취약한 아동은 중재에서 다르게 고려될 필요가 있다(Adams et al., 2012).
화용언어 평가의 어려움과 메타-화용언어 능력의 역할 및 중재에 대한 시사점을 반영하여, 화용언어 평가의 한 방식으로 메타-화용언어 능력을 평가하는 것이 제시되고 있다. 메타-화용언어 능력 평가 과제로는 화용 규칙을 확인하는 과제나, 화용 행동의 적절성을 판단하는 과제, 그리고 적절한 화용언어 행동을 수정하여 제안하는 과제 등을 들 수 있다. Collins 등(2014)은 메타-화용언어평가(Assessment of Metapragmatic Awareness, AMP)를 개발하여, 화용 규칙을 위반한 특정 상황을 비디오 영상으로 구성하여 아동에게 제공하고, 각 상황에 대한 이해확인을 시작으로, 메타-화용언어인식 기술(description), 반영(reflection), 그리고 인식(awareness) 과제를 제공하였다.
현재 국내에서 화용언어 평가가 가능한 검사도구로는 영유아 언어발달검사(SELSI; Kim, 2002), 취학전 아동의 수용언어 및 표현언어 발달척도(PRES; Kim, 2000), 그리고 학령기 아동 언어검사(LSSC; Lee, Heo, & Jang, 2015)를 들 수 있다. 그러나 이 도구들은 화용언어를 단독으로 평가하는 도구는 아니며, 여러 언어영역의 하위영역 중 하나로 화용언어 능력을 평가한다. SELSI는 생후 4개월부터 35개월 사이의 아동을 대상으로 부모 보고를 통해 이루어지는 간접 평가도구이다. 평가 결과로 수용 및 표현언어 발달 수준을 파악하고, 인지개념 및 의미론, 조음 및 운율, 구문론, 화용론의 네 가지 하위영역에 따른 결과를 제공한다. 만 2세에서 6세의 취학전 아동을 대상으로 하는 PRES도 SELSI와 마찬가지로 수용 및 표현언어 수준과 함께 인지개념 및 의미론, 음운 및 구문론, 그리고 화용론의 세 가지 하위영역에 따른 분석이 가능하다. LSSC는 학령기 아동을 대상으로 하며, 전체 언어와 수용 및 표현언어에 따른 백분위점수와 언어지수를 제공하고, 의미, 문법, 화용 ·담화, 청각기억의 네 가지 하위영역에 대한 결과 분석이 가능하다. 세 도구는 모두 표준화된 도구이며 해당 연령군을 대표하는 종합언어검사이긴 하지만, 화용언어의 평가 항목이 다른 언어 능력의 평가와 뚜렷하게 구분되지 않아서, 화용언어 능력에 대한 독립적인 평가 및 해석에는 제한이 있다.
부모 및 양육자를 통한 간접 평가 방식으로 아동 화용언어 체크리스트(CPLC; Oh, Lee, & Kim, 2012)가 있다. CPLC는 부모 보고를 통해 아동의 실제 생활을 반영하여 손쉽고 빠르게 검사할 수 있는 도구로, 담화관리, 상황에 따른 변이, 의사소통 의도, 그리고 비언어적 의사소통의 네 영역에 걸쳐 총 44개의 문항으로 구성되어 있다. CPLC는 화용언어 능력을 평가하는 독립된 도구이나, 직접 검사를 포함하지 않고, 아직 표준화가 완료되지 않은 검사도구라 사용에 한계가 있다.
위에서 살펴본 바와 같이 화용언어의 중요성이 커짐에 따라 화용언어의 평가 및 중재에 대한 요구가 증가하고 있다. 이에 따라 임상 현장에서는 아동을 대상으로 상황 문맥을 반영한 메타-화용언어평가 방법과 더불어 직접· 독립적으로 화용언어 능력을 평가할 수 있는 표준화된 도구를 통해 화용언어의 발달 추이를 파악하고, 화용언어에 결함이 있는 아동을 객관적으로 선별하여 중재를 할 필요가 있다. 이에 본 연구에서는 화용언어의 발달 추이를 파악하고, 화용언어에 어려움을 보이는 아동을 선별하는 것을 목적으로, 아동의 메타-화용언어 능력을 평가하는 검사도구(KOPLAC)를 개발하여, 도구의 타당도 및 신뢰도를 분석하고자 한다.

연구방법

연구대상

본 연구에는 만 5세에서 12세에 해당하는 학령전기 및 학령기 아동이 참여하였다. 1차 예비연구에 94명, 2차 예비연구에 128명, 규준대상에 270명, 총 492명이 참여하였다. 참여 아동은 (1) 서울 및 경기 지역에 거주하고, (2) 부모 및 교사로부터 언어 및 사회성 발달이 정상이라고 보고되었으며, (3) 수용 및 표현어휘력검사(REVT; Kim, Hong, & Kim, 2009)에서 정상 범주에 속하였다. 검사 대상자는 크게 학령전기와 학령기로 나뉘고, 검사 결과, 각각의 연령 및 성별 분포는 Tables 1, 2와 같다. 학령전기는 연령으로 구분하였고, 학령기는 학년으로 구분하였으며, 예비검사 결과, 5학년과 6학년은 대부분의 검사 영역에서 천정 효과를 나타내어 한 그룹으로 처리하였다.
Table 1.
Participants: preschoolers
5 years
6 years
Total
5;0–5;5 5;6–5;11 6;0–6;5 6;6–6;11
Male 16 14 13 13 56
Female 14 16 17 17 64
Total 30 30 30 30 120
Table 2.
Participants: school-aged children
1st grade 2nd grade 3rd grade 4th grade 5–6th grade Total
Male 15 16 22 14 16 83
Female 15 14 8 16 14 67
Total 30 30 30 30 30 150

검사 문항

문항 개발

한국아동 메타-화용언어검사(Korean meta-Pragmatic Language Assessment for Children, KOPLAC; Kim, in press)는 DSM-5와 화용언어에 대한 문헌연구를 토대로, 만 5세에서 12세 아동의 화용언어능력 평가를 목적으로 제작하였다. 화용문헌에서 자주 언급되는 세부 화용기술 과제들로는 의사소통의도, 의사소통 스타일 조절, 대화기술, 이야기 규칙 인식, 상위언어 인식 등이 포함되었다(Landa, 2005; Owens, 2014; Paul, 2007; Roth & Spekman, 1984). 이러한 선행연구를 토대로, 화용언어 규칙에 대한 인식 능력, 즉 메타-화용언어 능력을 평가하기 위해 의사소통 조율 능력과 담화 및 이야기 정보추론능력, 그리고 상위언어 인식 능력, 이렇게 3개의 하위 검사로 구성하였다.
의사소통 조율 능력은 대화 상대자나 상황 맥락에 따른 언어사용 규칙을 인식하고 있는지 평가하는 검사이다. 이 영역은 AMP (Collins et al., 2014)를 참고하여 제작하였다. AMP는 화용 규칙에 어긋나는 13가지 상황을 짧은 영상으로 제작하여 아동에게 보여주고, 상황별로 (1) 상황 이해 문항과, (2) 규칙 위배에 대한 판단 문항(메타화용언어 인식 기술 문항), (3) 규칙 반영 문항(메타화용언어 인식 반영 문항), (4) 메타화용 규칙 인식 문항, 그리고 (5) 사회적 이해 문항을 제공하여 아동의 메타화용 능력을 평가하는 과제이다. 본 검사에서는 AMP의 문항 유형 중, (2) 규칙 위배에 대한 판단 문항(메타화용언어 인식 기술 문항), 즉 상황에 대해 목표 언어가 적절한지를 판단하는 문항과, (4) 메타화용 규칙 인식 문항, 즉 부적절한 경우 목표 언어를 수정하는 문항을 제작하였다.
담화 및 이야기 정보추론 능력은 Cain과 Oakhill (1999)의 이야기 이해 능력 평가에 근거하여 사실적 정보이해 및 추론 과제를 중심으로, Norbury와 Bishop (2002), Yun과 Kim (2005) 등을 참고하여, 추론 능력을 크게 (1) 텍스트 연결추론(정서, 원인결과, 단서추측)과, (2) 빠진 정보추론, (3) 불충분한 정보 인식, (4) 문제해결로 구성하였다.
상위언어 인식 능력은 세 개의 하위영역, 즉 간접표현, 참조, 그리고 반어 및 비유로 구성하였고, 이러한 유형을 이해하거나 사용하 는 데 필요한 상위언어 인식 능력을 평가한다. 여기서 상위언어 인식이라는 것은 기초어휘나 문법 능력 이상의 능력을 일컫는 것으로, 바꿔 말하기(paraphrasing)나 추론하기, 다른 관점에서 이해하기 등이 발달함에 따라 형성되는 고급 수준의 언어 능력을 뜻한다(Paul, 2007). 간접적 의도나 비유적 표현은 Happe’ s Strange Stories 를 활용하여 마음이론에 대한 아동의 판단을 기초로, 이야기에 내포되어있는 간접적 의도나 비유적 표현에 대한 연구가 진행되어 왔다. 이러한 연구를 토대로, 간접표현과 비유적 표현으로 나누고, 간접표현에서는 수사적인 비유가 없이 문자 그대로의 의미가 아닌 표현으로 구성하였고, 비유적 표현은 크게 반어 및 비유로 나누어 본래 의도와 정반대로 표현하는 반어와 직유 및 은유, 그리고 속담을 활용한 비유로 나누어 구성하였다. 참조는 특정 맥락에서 제공하는 정보를 통합한 결과로 화용 이해가 이루어진다는 Ryder, Lei-nonen과 Schulz (2008)의 관점을 토대로 이루어진 후속 연구에 기초하여(Arnold, Bennetto, & Diehl, 2009; Norbury & Bishop, 2009), 특정 맥락 정보를 제공하고 목표물에 대한 이해 및 표현 과제를 제작하였다.

문항 구성

의사소통 조율 능력은 다시 대화 상대자와 상황 맥락으로 나뉘고, 상위언어는 간접표현, 참조, 반어 및 비유로 구분된다. 각 하위검사 및 하위영역의 목적과 문항 수는 Table 3과 같다. 문항 수를 구체적으로 살펴보면, 학령전기 아동의 경우 (1) 대화상대자에 따른 의사소통 조율, (2) 상황문맥에 따른 의사소통 조율, (3) 담화 및 이야기 정보추론, (4) 상위언어 인식 능력-간접표현, (5) 상위언어 인식 능력-참조, 이렇게 5가지 하위영역에 걸쳐 총 53문항을 실시한다. 학령기 아동에게는 위의 5가지 하위영역에 상위언어 인식능력의 반어 및 비유를 추가하여 6가지 하위영역에 대해 총 67문항을 실시하게 된다.
Table 3.
Subtests of the Korean meta-Pragmatic Language Assessment for Children (KOPLAC)
Subtests Purpose of the tasks No. of items
Communication regulations
 Communication partners The ability to change grammatical forms depending on conversational partners. 13
 Situational context The ability to judge if tones of voice are proper to conversational context, and the ability to regulate expressions proper to situational context. 6
Discourse & story information inferences The ability to infer information from a given discourse and story. 12
Awareness of higher-level language
 Indirect expressions The ability to understand non-literal expressions and to correctly respond in such situations. 12
 References The ability to index the referential target. 10
 Irony & metaphor Meta-linguistic ability used to understand ironical & metaphoric expressions. 14
Total number of preschoolers 53
Total number of school-aged children 67
의사소통 조율 능력은 판단 및 수정 과제로 구성되어 있다. 담화 상황을 듣고, 특정 발화에 대해 대화 상대자에 따른 혹은 상황 맥락에 따른 적절성을 판단하는 과제와, 부적절한 발화가 있다면, 그 발화를 수정하는 과제이다. 담화 및 이야기 정보추론 능력은 이야 기 담화 과제를 듣고, 이야기 다시 말하기와 정보추론 관련 질문에 반응하는 과제로 구성되어 있다. 정보추론 과제는 정서추론, 빠진 정보 인식, 불충분한 정보추론, 문제해결, 그리고 텍스트 연결추론으로 나뉜다. 상위언어 인식은 간접표현과 참조, 그리고 반어 및 비유의 세 가지 하위영역으로 구성되어 있다. 간접표현은 담화 맥락에서 제공되는 간접표현의 원래 의미를 설명하는 이해과제와 이러한 간접표현을 듣고 어떻게 반응할지에 대한 대처과제로 나뉜다. 참조는 특정 맥락에서 가리키는 대상을 이해하는 과제와 그 대상을 표현하는 과제로 나뉜다. 반어 및 비유는 목표 표현에 대해 그 의미를 설명하는 이해과제로 구성되어 있는데, 이 중 반어는 억양 유무에 따라 억양 없는 반어 표현과 억양 있는 반어 표현을 나누어 제시하였다. 각 영역에 따른 문항의 예는 Appendix 1과 같다.

예비검사

예비검사는 두 차례에 걸쳐 실시하였다. 1차 예비검사는 만 4세에서 12세 아동 94명(남아 45명, 여아 49명)을 대상으로 실시하였다. 참여 아동은 (1) 부모나 주양육자로부터 발달상 ‘정상’으로 보고 되었고, (2) 수용 및 표현어휘력검사(REVT)에서 정상으로 판별되었다. 예비검사 결과, 난이도에 따라 문항을 재배열하였고, 난이도가 너무 낮거나 높은 문항은 제외하였으며, 일부 문항은 새롭게 제작하여 추가하였다.
2차 예비검사에서는 1차 예비검사 결과로 수정·보완된 검사도구를 활용하여, 1차 예비검사와 같은 조건으로 선정된, 만 4세에서 12세 아동 총 128명(남아 70명, 여아 58명)의 자료를 분석하였다. 예비검사 결과, 난이도가 너무 낮거나 높은 문항은 삭제하였으며, 새로 추가된 문항의 난이도 및 변별도를 확인하여 문항을 재배열하였다. 또한 만 4세의 경우 검사 자체에 대해 이해가 부족하여 검사 대상에서 제외하였고, 5–6학년은 학년 간 수행의 차이가 유의하지 않 아 한 그룹으로 처리하였다.

검사방법

KOPLAC은 모든 문항에 해당하는 그림을 삽입하고, 각 문항을 녹음하여, 컴퓨터에서 실행되는 시청각적 담화 프로그램으로 제작되었다. 아동은 컴퓨터를 통해 그림과 함께 해당 문항의 스크립트를 듣고, 질문에 반응하게 된다.
검사는 언어병리학을 전공하는 대학원생이나 석사학위 소지자에 의해 진행되었고, 검사자에게는 2차에 걸친 검사자 훈련을 실시하였다. 1차 훈련은 검사 내용에 대한 소개 및 실시 방법에 대한 강의로 이루어졌고, 2차 훈련에서는 실제 검사를 실시한 뒤 이에 대한 질문이나 피드백을 받는 방식으로 진행되었다.
검사는 보호자의 동의하에, 아동이 다니는 유치원 및 학교에서 대부분 진행하였고, 일부 아동은 가정으로 직접 방문하여 검사를 실시하였다. 검사는 대부분 1회 방문을 통해 진행되었는데, 아동의 주의력이나 건강 상태, 혹은 유치원 및 학교 일정에 따라, 2회로 나눠 실시하기도 했다.

검사 실시 및 채점

아동과 친밀감을 형성한 뒤에, 검사자가 검사에 대해 소개하고, 하위영역 가운데 아동이 선택한 영역으로 검사를 시작하였다. 모든 하위영역은 1번부터 순차적으로 실시하였고, 상위언어 인식 능력 중 반어 및 비유 영역은 학령전기에는 실시하지 않고, 학령기에만 실시하였다. 모든 문항은 아동이 잘 못 들었거나 반복 듣기를 원하는 경우 1회에 한하여 반복 제시하였다.
모든 문항에 대한 아동의 반응을 기록지에 적고, 정반응인 경우 1점, 오반응인 경우 0점으로 처리하였다. 채점 결과는 영역별로 원점수의 합을 구하고, 영역별 문항 수가 다르기 때문에 이를 다시 백 분율로 환산하여 처리하였다.
전체 데이터 중 20명의 자료를 무작위로 선택하여 석사과정을 수료한 대학원생 2명 간 신뢰도를 산출하였다. 실제 평가를 실시하고, 자료 분석 기준과 지침을 충분히 이해한 상태에서 신뢰도 평가를 실시하였다. 평가자 간 신뢰도는 평가결과가 일치한 문항 수를 전체 문항수로 나눈 다음 100을 곱해 환산하였다. 그 결과, KOPLAC의 과제 수행 정확도에 따른 신뢰도는 97%로 나타났다.

타당도 및 신뢰도 분석

검사의 타당도를 검증하기 위해 내용타당도와 구인타당도, 그리고 공인타당도를 분석하였다. 내용타당도를 살펴보기 위해 1급 언어재활사 자격증을 소지하고, 10년 이상 언어재활 치료 및 교육 경험이 있는 5인의 언어재활전문가(언어병리학박사 3인, 언어병리학석사 2인)에게 5점 척도의 문항별 내용타당도 설문지를 배포 및 회수하여 분석하였다. 문항별 척도는 전체 문항의 평균 척도와 영역별 평균 척도로 환산하여 처리하였다. 구인타당도는 전체 총점과 하위영역의 총점 간의 상관 분석을 통해 산출하였으며, KOPLAC 과 REVT의 상관계수를 산출하여 공인타당도를 분석하였다.
검사의 신뢰도는 문항 내적일치도 신뢰도와 반분신뢰도, 그리고 검사-재검사 신뢰도를 살펴보았다. 문항의 내적일치도를 살펴보기 위해 Cronbach’ s α를 산출하였고, 반분신뢰도는 Spearman-Brown 의 공식에 따라 측정하였다. 검사-재검사 신뢰도는 학령전기와 학령기 아동 각각 7명씩, 총 14명을 대상으로, 1주에서 2주 내에 검사를 반복 실시하여, 결과 간 상관 분석을 실시하였다.
본 연구의 모든 통계처리는 SPSS version 24 프로그램을 이용하였다.

연구결과

타당도

내용타당도

KOPLAC의 각 문항들이 화용언어를 평가하기에 적합한 내용으로 구성되었는지를 확인하기 위하여 전문가 집단을 통한 내용타당도를 검증하였다. 내용타당도는 설문지를 통하여 예시를 포함한 모든 검사문항을 5점 척도(1점= 전혀 적절하지 않다, 2점= 적절하지 않다, 3점=보통, 4점= 적절하다, 5점= 매우 적절하다)에 따라 내용의 적절성을 평가하여 하위영역 및 전체 검사의 평균값을 산출하여 검증하였다. 그 결과, 각각의 하위영역 검사의 내용타당도는 의사소통 조율의 대화상대 13문항에서 평균 4.54점, 의사소통 조율의 상황문맥 6문항에서 평균 3.97점, 담화 및 이야기 정보추론 18문항에서 평균 4.19점, 상위언어의 간접표현 12문항에서 평균 4.00점, 상위언어의 참조 10문항에서 평균 3.84점, 상위언어의 반어 및 비유 14문항에서 평균 4.14점을 나타내었고, 전체 KOPLAC 검사 73문항의 내용타당도는 평균 4.11점으로 ‘적절하다’로 평가되었다(Figure 1). 담화 및 이야기 정보추론은 학령전기 및 학령기에서 각각 12문항으로 구성되었으나, 6개의 문항이 공통되고, 각각 6문항씩 별개의 문항을 실시하여, 총 전체 문항이 18문항이다.
Figure 1.
Content validity of the Korean meta-Pragmatic Language Assessment for Children (KOPLAC). CR=communication regulation; AHL=awareness of higher-level language.
csd-23-1-94f1.tif

구인타당도

구인타당도는 취학여부에 따라 학령전기(5–6세, N=120)와 학령기(1–6학년, N=150)의 2집단으로 구분하여 집단 내 각각의 하위검사와 전체 총점 간의 상관분석을 통하여 검증하였다. 학령전기 아동의 경우, 5가지 하위영역과 전체 총점과의 상관이 모두 유의한 상 관관계를 보였다. 그 중 의사소통 조율의 대화상대와의 상관이 .81로 가장 높게 나타났고 상위언어의 참조와의 상관이 .35로 가장 낮게 나타났다. 학령기 집단에서도 6가지 하위영역과 전체총점과의 상관이 모두 유의한 상관관계를 보였고 그 중 의사소통 조율의 대화상대와의 상관이 .79로 가장 높게 나타났으나 학령전기와 달리 이야기규칙과의 상관이 .54로 가장 낮게 나타났다. Tables 45는 학령전기와 학령기 집단에서의 개별 하위구인과 전체 총점 간의 상관계수를 나타낸다.
Table 4.
Correlations among subtests and total scores of KOPLAC: preschoolers
Total Communication partnersa Situational contexta Discourse & story information inferences Indirect expressionsb
Communication partnersa .809**
Situational contexta .521** .283**
Discourse & story information inferences .524** .293** .338**
Indirect expressionsb .779** .377** .265** .331**
Referencesb .346** .160 .065 .058 .216*

KOPLAC = Korean meta-Pragmatic Language Assessment for Children.

{ label (or @symbol) needed for fn[@id='table-fn2'] } aCommunication regulation,

{ label (or @symbol) needed for fn[@id='table-fn3'] } bawareness of higher-level language.

* p<.05,

** p<.01.

Table 5.
Correlations among subtests and total scores of KOPLAC: school-aged children
Total Communication partnersa Situational contexta Discourse & story information inferences Indirect expressionsb Referencesb
Communication partnersa .793**
Situational contexta .638** .415**
Discourse & story information inferences .537** .313** .372**
Indirect expressionsb .754** .391** .327** .322**
Referencesb .678** .471** .423** .389** .416**
Irony & metaphorb .702** .384** .355** .259** .474** .466**

KOPLAC = Korean meta-Pragmatic Language Assessment for Children.

a Communication regulation,

{ label (or @symbol) needed for fn[@id='table-fn8'] } bawareness of higher-level language.

** p<.01.

공인타당도

공인타당도 검정을 위하여 화용언어능력과 유의한 상관관계를 나타낸 수용 및 표현어휘력검사(REVT: Kim et al., 2009)를 사용하였다(Han, 2015; Jeon, 2016; Song, Kim, Lee, & Kim, 2017). 공인타당도는 REVT 수용 및 표현 점수와 KOPLAC의 하위검사 및 전체 총점과의 상관계수를 산출하여 분석하였다. 학령전기 아동을 대상으로 한 REVT와 KOPLAC의 공인타당도는 REVT의 표현어휘와 KOPLAC의 상위언어 중 참조와의 상관(p =.052)을 제외하고 모든 검사 간에 유의한 상관을 보였고, REVT의 수용과 표현 모두 KOPLAC의 하위검사보다는 전체 총점과 가장 높은 상관을 보였다. 하위검사와의 상관에서 REVT의 수용과 표현 모두 KOPLAC 의 의사소통 조율의 대화상대와 가장 높은 상관(수용 r =.559, 표현 r =.524)을 보였고, 상위언어 중 참조와 가장 낮은 상관(수용 r =.233, 표현 r =.179)을 보였다. 학령기 아동의 경우, 학령전기와 달리 REVT 의 수용과 KOPLAC의 이야기규칙과의 상관(p =.222)을 제외하고 모든 검사 간에 유의한 상관을 보였다. REVT의 수용과 표현 모두 KOPLAC의 하위검사보다는 전체 총점과 가장 높은 상관을 보였고, 하위검사와의 상관에서 REVT의 수용은 상위언어의 반어 및 비유와 가장 높은 상관(r =.545)을 보였고 이야기규칙과 가장 낮은 상관(r =.102)을 보였다. 반면에, REVT의 표현은 의사소통 조율의 대화상대와 가장 높은 상관(r =.490)을 보였고, 이야기규칙과 가장 낮은 상관(r =.178)을 보였다. Tables 67은 학령전기와 학령기 집단에서의 REVT의 수용 및 표현점수와 KOPLAC의 개별 하위검사 및 전체 총점과의 상관계수를 나타낸다.
Table 6.
Correlations between KOPLAC and REVT: preschoolers
Total Communication partnersa Situational contexta Discourse & story information inferences Indirect expressionsb Referencesb
REVT-R .559** .500** .317** .221* .380** .233*
REVT-E .524** .515** .197* .254** .343** .179

KOPLAC = Korean meta-Pragmatic Language Assessment for Children; REVT = Receptive & Expressive Vocabulary Test (Kim, Hong, Kim, Jang, & Lee, 2009); R = receptive; E = expressive.

a Communication regulation,

{ label (or @symbol) needed for fn[@id='table-fn12'] } bawareness of higher-level language.

* p<.05,

** p<.01.

Table 7.
Correlations between KOPLAC and REVT: school-aged children
Total Communication partnersa Situational contexta Discourse & story information inferences Indirect expressionsb Referencesb Irony & metaphorb
REVT-R .569** .503** .304** .102 .386** .336** .545**
REVT-E .561** .490** .348** .178* .382** .334** .466**

KOPLAC = Korean meta-Pragmatic Language Assessment for Children; REVT = Receptive & Expressive Vocabulary Test (Kim, Hong, Kim, Jang, & Lee, 2009); R = receptive; E = expressive.

a Communication regulation,

{ label (or @symbol) needed for fn[@id='table-fn17'] } bawareness of higher-level language.

* p<.05,

** p<.01.

발달적 타당성: 연령(학년)에 따른 차이 분석

KOPLAC이 연령이나 학년에 따라 차이를 나타내는지 살펴보기 위하여 화용언어 전체 점수와 각 하위검사에 대하여 일원변량분석을 실시하였으며, 분석 결과는 Table 8에 제시하였다. 일원변량분석 결과, 화용언어 전체 점수 및 각 하위검사들은 연령 및 학년에 따라 통계적으로 유의한 차이를 나타냈다. 즉 연령 및 학년이 높아질수 록 화용언어의 전체 점수와 하위점수들도 유의하게 증가한다고 볼 수 있다. Tukey에 의한 사후분석을 실시한 결과, 하위영역별로 발달적 집단이 3–6개 정도로 형성되어 대체로 발달적 타당성을 나타내었다. 사후분석 결과는 Table 9에 제시하였다.
Table 8.
Difference analysis by age (grade)
5;0–5;5
(N = 30)
5;6–5;11
(N = 30)
6;0–6;5
(N = 30)
6;6–6;11
(N = 30)
1st grade
(N = 30)
2nd grade
(N = 30)
3rd grade
(N = 30)
4th grade
(N = 30)
5–6th grade
(N = 30)
F
Communication partnersa 5.83 7.87 11.50 13.43 16.27 18.30 20.23 20.93 22.13 44.53***
Situational contexta 5.37 6.03 6.47 7.63 8.30 9.87 10.07 10.53 10.70 30.32***
Discourse & story information inferences 8.83 9.40 9.77 9.87 10.00 10.37 10.77 9.90 11.03 5.33***
Indirect expressionsb 10.63 13.5 14.03 16.63 17.97 19.1 19.4 20.7 22.7 24.09***
Referencesb 6.07 6.3 7.13 6.93 7.67 8.57 8.57 9.17 9.23 21.28***
Irony & metaphorb 8.1 9.6 10.8 11.57 12.47 17.88***
Total 36.73 43.10 48.90 54.50 68.30 75.90 79.83 82.80 88.27 113.99***

a Communication regulation,

b awareness of higher-level language.

*** p<.001.

Table 9.
Tukey post-hoc analysis
Subtest Post-hoc
Communication partnersa 5a, 5b<6a<6b<1<2<3, 4, 5–6
Situational contexta 5a, 5b, 6a<6b<1<2,3, 4, 5–6
Discourse & story information inferences 5a, 5b<6a, 6b, 1, 2<3, 4, 5–6
Indirect expressionsb 5a, 5b<6a, 6b<1, 2<3, 4<5–6
Referencesb 5a, 5b<6a, 6b<1, 2<3, 4, 5–6
Irony & metaphorb 1, 2<3<4<5–6
Total 5a, 5b<6a<6b<1<2, 3<4, 5–6

The letters in post hoc test indicate 5a (= 5;0–5;5), 5b (= 5;6–5;11), 6a (= 6;0–6;5), 6b (= 6;6–6;11), 1 (= 1st grade), 2 (= 2nd grade), 3 (= 3rd grade), 4 (= 4th grade), and 5–6 (= 5–6th grade).

a Communication regulation,

b awareness of higher-level language.

신뢰도

문항 내적일치도

개발된 도구의 문항내적일관성 신뢰도 검정을 위하여 하위검사별 내적일관성을 Cronbach’ s α로 측정하였다. 연구대상을 취학여부에 따라 학령전기(N=120)와 학령기(N=150)의 두 집단으로 나누고, 각 하위검사의 내적일관성과 함께 하위검사를 구성하는 세부적인 요소에 따른 내적일관성 신뢰도도 함께 측정하였다. 학령전기 아동의 경우, 의사소통 조율의 대화상대에서 .91로 가장 높은 내 적일치도를 보였고 상위언어의 참조에서 .45로 가장 낮은 내적일치도를 보였다. 학령기 아동의 경우, 학령전기와 동일하게 의사소통 조율의 대화상대에서 .86으로 가장 높은 내적일치도를 보였고 상위언어의 참조에서 .40으로 가장 낮은 내적일치도를 보였다. Table 10에서 보는 바와 같이 전체적으로 학령전기는 .94, 학령기는 .93으로, 두 집단 모두에서 높은 수준의 내적일치도를 보였다.
Table 10.
Internal consistency of items (Cronbach's α)
Subtest Preschoolers School-aged children
Communication partnersa .91 .86
Situational contexta .66 .69
Discourse & story information inferences .49 .49
Indirect expressionsb .86 .80
Referencesb .45 .40
Irony & metaphorb - .71
Total .94 .93

aCommunication regulation,

bawareness of higher-level language.

반분신뢰도

학령전기(N=120)와 학령기(N=150) 집단을 대상으로 KOPLAC 검사의 반분신뢰도를 측정하였다. Spearman-Brown 공식에 의한 반분신뢰도를 산출한 결과, 하위검사들의 반분신뢰도는 학령전기 집단에서 의사소통 조율의 상황문맥과 상위언어의 참조에서, 학령기 집단에서 상위언어의 참조에서 다소 낮은 신뢰도를 보였으나 검사전체의 신뢰도계수는 .60 이상으로 높은 신뢰도를 보였다. Table 11은 학령전기와 학령기 집단에서의 하위검사 및 전체 검사의 반분신뢰도를 보여준다.
Table 11.
Split-half reliability
Subtest Preschoolers (53 items) School-aged children (67 items)
Communication partnersa .866 .769
Situational contexta .431 .563
Discourse & story information inferences .454 .458
Indirect expressionsb .853 .775
Referencesb .548 .344
Irony & metaphorb - .809
Total .858 .862

aCommunication regulation,

bawareness of higher-level language.

검사-재검사 신뢰도

검사결과의 시간적 변화에 따른 안정성을 분석하기 위하여 검사-재검사 신뢰도를 측정하였다. 전체 14명의 아동(학령전기 7명, 학령기 7명)을 대상으로 1차와 2차에 걸쳐 동일검사자가 KOPLAC 검사를 실시하여 두 검사결과 간의 상관계수를 산출하였다. 학령전기 아동의 평균 연령은 5세 9개월(SD =10.50)로 남자 4명과 여자 3명이, 학령기 아동의 평균 연령은 9세 5개월(SD = 20.61)로 남자 3명과 여자 4명이 실험에 참여하였고, 1차와 2차 검사의 간격은 1주에서 2주 사이로 제한하였다. 전체총점의 검사-재검사 상관계수는 .997로 매우 높은 상관을 보였고 하위영역 검사들과의 상관계수 또한 .79-.99 사이로 높은 상관관계를 보였다(Table 12).
Table 12.
Test-retest reliability
Subtest Test Retest Correlation
Communication partnersa 14.36 (9.19) 14.93 (9.79) .983**
Situational contexta 7.86 (3.35) 8.14 (3.57) .948**
Discourse & story information inferences 9.36 (1.65) 9.29 (1.86) .794**
Indirect expressionsb 13.50 (8.57) 13.64 (8.83) .992**
Referencesb 7.43 (2.44) 7.43 (2.85) .946**
Irony & metaphorb 12.00 (2.38) 12.43 (2.07) .845**
Total 58.50 (27.56) 59.64 (29.79) .997**

Values are presented as mean (SD).

a Communication regulation,

{ label (or @symbol) needed for fn[@id='table-fn32'] } bawareness of higher-level language.

** p<.01.

논의 및 결론

본 연구는 화용언어의 발달 추이를 파악하고, 화용언어에 어려움을 보이는 아동을 선별하는 것을 목적으로, 한국아동 메타-화용언어 능력을 평가하는 검사도구(KOPLAC)를 개발하여, 도구의 타당도 및 신뢰도를 분석하였다. KOPLAC은 만 5세에서 12세에 해당하는 아동을 대상으로, 주어진 의사소통 상황에 적용되는 화용 규칙을 인식하고, 규칙을 적용하는 능력을 평가하는 도구이다. 대화상대자 및 상황 맥락에 따른 의사소통 조율 능력과 담화 및 이야기 정보추론 능력, 그리고 상위언어 인식 능력(간접표현, 참조, 반어 및 비유)의 세 가지 하위영역으로 구성되었고, 대화나 이야기 상황을 시청각적 담화 자료로 구성하여 평가를 실시하였다.
본 연구에서는 KOPLAC의 타당도를 검증하기 위해 내용타당도, 구인타당도, 그리고 공인타당도를 측정했으며, 연령에 따른 화용언어 능력의 발달 차이도 분석하였다. 먼저 내용타당도는 전문가 집단을 대상으로 설문지 방법에 의해 측정하였는데, 전체 평균이 4.11점으로 문항들의 타당한 정도가 ‘적절하다’의 수준을 보였다. 구인타당도는 화용언어 총점과 각 하위검사 간의 상관분석에 의해 측정하였으며, 학령전기와 학령기 모두 하위영역과 전체 점수의 상관이 유의한 것으로 나타났다. 특히 학령전기의 경우 대화상대에 따른 의사소통 조율과 상위언어의 간접표현, 학령기의 경우 두 개의 의사소통 조율 과제와 모든 상위언어 인식 검사들은 전체 점수와 .64-.81의 높은 타당도를 보였다. 공인타당도는 KOPLAC과 REVT (Kim et al., 2009)의 상관분석을 통해 검증했으며, 학령전기와 학령기 모두 화용 능력 전체 점수와 수용 및 표현어휘는 .52-.57의 상관을 나타내어 비교적 높은 공인타당도를 보였다(Kim, 2017). KO-PLAC의 하위검사들과 수용어휘의 상관은 학령전기의 경우 모두 유의하게 나타났으며, 학령기도 담화 및 이야기 정보추론을 제외하고 모두 유의한 것으로 나타났다. 또한 하위검사들과 표현어휘의 상관은 학령전기의 경우 상위언어의 참조를 제외하고 모두 유의하였으며, 학령기는 모든 하위검사와 유의한 상관이 있는 것으로 나타났다. 본 연구에서 담화 및 이야기 정보추론과 상위언어 참조가 어휘 능력과 유의하지 않은 상관관계를 나타낸 것은 과제의 특성면에서 두 과제의 난이도가 다소 낮은 편이고, 쉬운 어휘들로 구성되어 있기 때문이라고 볼 수 있다(Jeon, 2016; Song et al., 2017). 이 외에도 담화 및 이야기 정보추론과 참조 능력은 연령에 따라 유의한 차이를 나타내긴 했지만 연령 간 차이가 상대적으로 크지 않은 발달적 특성에도 기인한 것으로 볼 수 있다. 또한 연령이나 학년에 따른 차이 검정을 실시한 결과, 화용언어 전체 점수와 하위검사 모두에서 유의한 차이가 나타나서 KOPLAC이 연령이나 학년 증가에 따른 화용언어 능력의 발달 정도를 평가하는 데 타당한 검사임을 보여 주었다.
신뢰도는 문항 내적일치도, 반분신뢰도, 그리고 검사-재검사 신뢰도의 세 가지 방법에 의해 검증하였다. 먼저 문항 내적일치도를 측정한 결과, 각 하위검사의 내적일치도는 학령전기와 학령기 모두 담화 및 이야기 정보추론과 상위언어의 참조를 제외하고 .66-.91의 높은 신뢰도를 나타냈다. 하위검사 중 이야기와 참조의 신뢰도 계수가 낮게 나타난 것은 이 검사들의 문항이 상대적으로 쉬운 편이어서 변별도가 낮았기 때문으로 볼 수 있다. 반분 신뢰도는 학령전기가 .625, 학령기가 .726으로 비교적 높은 신뢰도를 보였다. 또한 검사-재검사 신뢰도도 전체 점수의 경우 .997로 매우 높은 상관계수를 나타냈으며, 모든 하위검사에서도 .79-.98로 매우 높은 신뢰도를 보였다.
본 KOPLAC 검사도구는 몇 가지 점에서 의의가 있다. 첫째, KO-PLAC은 학령전기 및 학령기 아동의 언어 능력 평가에서 중요성이 커지고 있는 화용언어 능력을 직접적, 독립적으로 평가할 수 있는 국내 최초의 표준화된 검사도구이다. 둘째, KOPLAC은 아동들의 화용언어 발달 추이를 파악하고, 화용언어 능력에 결함을 보이는 아동을 선별하는 것을 목적으로 한다. 이에 따라 검사 규준을 학령전기와 학령기로 나누어서 각 하위영역별로 백분위수, 등가연령 등을 제시하여 아동의 화용언어 능력을 구체적으로 살펴볼 수 있고, 또래와 비교해서 상대적인 위치도 파악할 수 있도록 하였다. 마지막으로 KOPLAC의 타당도와 신뢰도 검증을 위해 여러 가지 방법으 로 측정한 결과, 전반적으로 타당하고 신뢰도가 비교적 높은 검사도구임을 입증하였다.
본 연구의 제한점 및 제언은 다음과 같다. 첫째, 검사 대상이 서울과 경기지역의 아동들로 한정되어 있어서 추후 지역 분포를 고려한 자료 수집이 필요하다. 둘째, 일반 아동을 대상으로 검사를 실시하였으므로 임상군에 대한 후속연구들을 통해 각 하위영역의 특성을 구체적으로 제시할 필요가 있다. 셋째, 구인타당도를 산출하면서 요인분석을 실시하지 못하였는데, 이에 대한 후속연구가 필요하다. 또한 하위영역별 검사 결과를 판단과 수정 혹은 이해와 대처로 나누어 연령(학년)별 수행 능력을 살펴 볼 필요가 있다. 마지막으로 화용언어검사의 하위영역 중에서 담화 및 이야기 정보추론과 상위언어의 참조는 다른 하위검사에 비해 문항들이 쉬워서 문항 내적일치도가 낮게 나왔으므로 추후 문항 수정 시 반영할 필요가 있다.

Acknowledgments

This work was supported by Paradise Welfare Foundation.

Acknowledgments

이 논문은 2017년 파라다이스재단의 지원을 받아 수행된 연구임.

REFERENCES

Adams, C. (2002). Practitioner review: the assessment of language pragmatics. Journal of Child Psychology and Psychiatry. 43, 973–987.
crossref pmid
Adams, C., Lockton, E., Freed, J., Gaile, J., Earl, G., McBean, K., & Law, J. (2012). The Social Communication Intervention Project: a randomized controlled trial of the effectiveness of speech and language therapy for school‐age children who have pragmatic and social communication problems with or without autism spectrum disorder. International Journal of Language & Communication Disorders. 47, 233–244.
crossref pmid
American Psychiatric Association. (2013). Diagnostic and statistical manual of mental disorders (DSM-5). Arlington, VA: American Psychiatric Publishing.

Arnold, JE., Bennetto, L., & Diehl, JJ. (2009). Reference production in young speakers with and without autism: effects of discourse status and processing constraints. Cognition. 110, 131–146.
crossref pmid
Baroni, MR., & Axia, G. (1989). Children’s meta-pragmatic abilities and the identification of polite and impolite requests. First Language. 9, 285–297.
crossref
Bates, E. (1976). Language and context: the acquisition of pragmatics. New York, NY: Academic Press.

Bernicot, J., & Laval, V. (1996). Promises in French children: comprehension and metapragmatic knowledge. Journal of Pragmatics. 25, 101–122.
crossref
Bishop, DV. (2003). The Children’s Communication Checklist (CCC-2). London: Psychological Corporation.

Bishop, DV., & Adams, C. (1989). Conversational characteristics of children with semantic‐pragmatic disorder. II. What features lead to a judgement of inappropriacy? International Journal of Language & Communication Disorders. 24, 241–263.
crossref
Cain, K., & Oakhill, JV. (1999). Inference making ability and its relation to comprehension failure in young children. Reading and Writing. 11, 489–503.
crossref
Cassel, J. (1988). Metapragmatics in language development: evidence from speech and gesture. Acta Linguistica Hungarica. 38, 3–18.

Clark, EV. (1978). Awareness of language: some evidence from what children say and do. Sinclair, A. The child’s conception of language. (pp. 17–43). Heidelberg: Springer.

Collins, A., Lockton, E., & Adams, C. (2014). Metapragmatic explicitation ability in children with typical language development: development and validation of a novel clinical assessment. Journal of Communication Disorders. 52, 31–43.
crossref pmid
Gerber, S., Brice, A., Capone, N., Fujiki, M., & Timler, G. (2012). Language use in social interactions of school-age children with language impairment: an evidence-based systematic review of treatment. Language, Speech, and Hearing Services in Schools. 43, 235–249.
crossref pmid
Hamaguchi, P., & Ross-Swain, D. (2015). Receptive, Expressive and Social Communication Assessment-Elementary (RESCA-E). Novato, CA: Academic Therapy Publications.

Han, S. (2015). Analysis of the pragmatic competence of preschool children at risk for vocabulary development delay with CPLC. (Master’s thesis). Ewha Womans University, Seoul, Korea.

Jeon, H. (2016). Pragmatic competence of school-aged children in accordance to their vocabulary development and socioeconomic status. (Master’s thesis). Ewha Womans University, Seoul, Korea.

Karmiloff-Smith, A. (1986). From meta-processes to conscious access: evidence from children’s metalinguistic and repair data. Cognition. 23, 95–147.
crossref pmid
Kim, HC. (2017). Self-Led statistical analysis. Paju: Kyoyookbook.

Kim, YT. (2000). Content and reliability analyses of the preschool receptive-expressive language scale (PRES). Korean Journal of Communication & Disorders. 5, 1–25.

Kim, YT. (2002). Content and reliability analyses of the Sequenced Language Scale for Infants (SELSI). Korean Journal of Communication & Disorders. 7, 1–23.

Kim, YT., Song, S., Kim, HC., & Lee, SJ. (in press)Korean meta-Pragmatic Language Assessment for Children (KOPLAC). Seoul: Paradise Welfare Foundation.

Kim, YT., Hong, KH., & Kim, KH. (2009). Content and reliability analyses of the receptive and expressive vocabulary test (REVT). Korean Journal of Communication Disorders. 14, 34–45.

Landa, RJ. (2005). Assessment of social communication skills in preschoolers. Developmental Disabilities Research Reviews. 11, 247–252.
crossref
Lee, Y., Heo, H., & Jang, S. (2015). Standardization of the language scale for school-aged children (LSSC). Communication Sciences & Disorders. 20, 290–303.
crossref
Lockton, E., Adams, C., & Collins, A. (2016). Do children with social communication disorder have explicit knowledge of pragmatic rules they break? A comparison of conversational pragmatic ability and metapragmatic awareness. International Journal Of Language & Communication Disorders. 51, 508–517.
crossref pmid
Norbury, CF. (2014). Practitioner review: social (pragmatic) communication disorder conceptualization, evidence and clinical implications. Journal of Child Psychology and Psychiatry. 55, 204–216.
crossref pmid
Norbury, CF., & Bishop, DV. (2009). Narrative skills of children with communication impairments. International Journal of Language & Communication Disorders. 38, 287–313.
crossref
Norbury, CF., & Bishop, DVM. (2002). Inferential processing and story recall in children with communication problems: a comparison of specific language impairment, pragmatic language disorder, and high-function autism. International Journal of Language and Communication Disorders. 37, 227–251.
crossref pmid
Norbury, CF., Nash, M., Baird, G., & Bishop, DV. (2004). Using a parental checklist to identify diagnostic groups in children with communication impairment: a validation of the Children’s Communication Checklist-2. International Journal of Language & Communication Disorders. 39, 345–364.
crossref pmid
Oh, S., Lee, EJ., & Kim, YT. (2012). Preliminary study on developing test items of children’s pragmatic language checklist. Journal of Speech & Hearing Disorders. 21, 111–135.
crossref
Owens, RE. (2014). Language disorders: a functional approach to assessment and intervention (6th ed .). Boston, MA: Allyn & Bacon.

Paul, R. (2007). Language disorders from infancy through adolescence: assessment & intervention. St. Louis, MO: Mosby.

Phelps-Terasaki, D., & Phelps-Gunn, T. (2007). Test of pragmatic Language– second edition (TOPL-2). San Antonio, TX: The Psychological Corporation.

Roth, FP., & Spekman, NJ. (1984). Assessing the pragmatic abilities of children. Part 1. Organizational framework and assessment parameters. Journal of speech and Hearing Disorders. 49, 2–11.
crossref pmid
Ryder, N., Leinonen, E., & Schulz, J. (2008). Cognitive approach to assessing pragmatic language comprehension in children with specific language impairment. International Journal of Language and Communication Disorders. 43, 427–447.
crossref pmid
Silverstein, M. (1987). Cognitive implications of a referential hierarchy. Kickmann, M. Social and functional approaches to language and thought. (pp. 125–164). Orlando, FL: Academic Press.

Simmons, ES. (2013). Yale in vivo pragmatic protocol. Turkington, C., & Anan, R. Encyclopedia of autism spectrum disorders. (pp. 3416–3416). New York, NY: Springer.

Song, S., Kim, YT., Lee, S., & Kim, JA. (2017). Pragmatic language development and correlation with vocabulary ability of 4-to 10-year-old typically developing Korean children using audio-visual discourse tasks. Communication Sciences & Disorders. 22, 218–232.
crossref
Song, S., Yang, Y., Kim, YT., & Yim, D. (2016). A meta-analysis of Children’s Communication Checklist (CCC) for children & adolescents with pragmatic language impairment. Communication Sciences & Disorders. 21, 436–450.
crossref
Timler, GR., Vogler-Elias, D., & McGill, KF. (2007). Strategies for pro-motinggeneralization of social communication skills in preschoolersand school-aged children. Topics in Language Disorders. 27, 167–181.
crossref
Volden, J., & Phillips, L. (2010). Measuring pragmatic language in speakers with autism spectrum disorders: comparing the Children’s Communication Checklist-2 and the Test of Pragmatic Language. American Journal of Speech-Language Pathology. 19, 204–212.
crossref pmid
Wiig, EH., Secord, WA., & Semel, E. (2013). Clinical evaluation of language fundamentals (CELF-5). Bloomington, MN: Pearson.

Yun, HR., & Kim, YT. (2005). Story comprehension abilities in school-age children with specific language impairment. Communication Sciences & Disorders. 10, 41–56.

Appendices

Appendix 1.

Example items of KOPLAC

하위영역 문항의 예
의사소통 조율 대화상대자 예) 하영이는 학교가 끝나고 집으로 갔어요. 그런데 거실에 처음 보는 핸드폰이 있어서 엄마에게 누구 핸드폰인지 물어보았어요.
그러자 엄마는 “어머! 옆집 친구께서 핸드폰을 놓고 갔네”
판단 문제) 하영이가 한 말은 맞나요? 아니면 이상한가요?
수정 문제) 이상하다면 00가 바르게 고쳐주세요.
csd-23-1-94i1.tif
상황맥락 예) 수진이와 하영이는 토요일 아침 일찍 조별 숙제를 하기 위해 도서관에 갔어요. 도서관에는 아침부터 숙제를 위해 온 친구들이 많이 있었지만 아주 조용했어요. 수진이는 화장실에 가려고 책장 반대편에서 책을 고르고 있는 하영이에게 말했어요.
“(반대편에서 들리게 아주 큰 목소리로) 하영아, 나 화장실 다녀올게. 어디 가지 말고 여기서 기다려~
판단 문제) 수진이는 지금 상황에 맞게 말했나요? 아니면 이상한가요?
수정 문제) 이상하다면 00가 바르게 고쳐주세요
csd-23-1-94i2.tif

담화 및 이야기 정보추론 [텍스트연결추론: 단서추론]심부름 하고 온 아기 토끼를 보고 엄마는 왜 깜짝 놀랐을까요? ( )
[빠진정보 추론] 슈퍼 아주머니는 엄마토끼에게 전화해서 무엇을 물어보았을까요? ( )
csd-23-1-94i3.tif

상위언어 인식 간접표현 어느 날, 하영이는 지훈이가 좋아하는 공룡이야기 책을 읽고 있었어요. 지훈이는 처음 보는 공룡 책을 집에서 천천히 읽어보고 싶었어요.
지훈: 하영아 나 책 하루만 빌려주면 안될까?
하영: 이건 내 친구 책이야.
의도이해 문제) 하영이의 말은 무슨 뜻일까요?
대처 문제) 00가 지훈이라면 어떻게 할래요?
csd-23-1-94i4.tif
참조 이해 문제) 하영이는 동생 생일 선물로 머리핀을 사려고 합니다. 하영이는 엄마와 함께 백화점에 갔습니다. 엄마는 하영이에게 어떤 것을 살 거냐고 물어보았습니다. 하영이는 “동생은 리본 싫어하니까 분홍색 이거로 할래” 라고 말했습니다. 하영이와 엄마는 어떤 머리핀을 샀을까요?
csd-23-1-94i5.tif
반어 및 비유 반어의 예) 학교에서 퀴즈대회가 열렸어요. 지원이는 혼자 문제를 모두 맞혔다며 친구들에게 자랑을 했어요. 지원이가 계속해서 자랑을 하자 친구는 “그래, 너 잘났다!” 하고 말했어요. 친구가 말한 것은 무슨 뜻일까요?
csd-23-1-94i6.tif
비유의 예) 민수는 수업이 끝나고 지훈이네 집에 놀러갔습니다. 지훈이네 방 창문으로 따가운 햇살이 가득 들어왔습니다. 민수는 지훈이에게 “아, 지훈아 네 방 완전 찜통이야” 라고 말했습니다. 민수가 말한 것은 무슨 뜻일까요?
csd-23-1-94i7.tif
Editorial office contact information
Department of Speech and Language Pathology
College of Health Sciences, Chosun University,
309, Pilmun-daero, Dong-gu, Gwangju, 61452, Republic of Korea
Tel: +82-502-196-1996   Fax: +82-62-230-6271   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology. All right reserved.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
powerd by m2community