아동 의사소통 체크리스트(CCC)를 활용한 화용언어장애아동의 의사소통능력 평가에 대한 메타분석

A Meta-analysis of Children's Communication Checklist (CCC) for Children & Adolescents with Pragmatic Language Impairment

Article information

Commun Sci Disord Vol. 21, No. 3, 436-450, September, 2016
Publication date (electronic) : 2016 September 30
doi : https://doi.org/10.12963/csd.16302
Department of Communication Disorders, Ewha Womans University, Seoul, Korea
송승하, 양윤희, 김영태, 임동선
이화여자대학교 대학원 언어병리학과
Correspondence: Young Tae Kim, PhD  Department of Communication Disorders, Ewha Womans University, 52 Ewhayeodae-gil, Seodaemun-gu, Seoul 03760, Korea  Tel: +82-2-3277-2120 Fax: +82-2-3277-2122 E-mail: youngtae@ewha.ac.kr
This work was supported by the Ministry of Education of Korea and the National Research Foundation of Korea (NRF-2015S1A5A2A01009816).This work was supported by BK21 PLUS Project by the Korean Government.본 연구는 2015년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2015S1A5A2A01009816).본 연구는 정부의 재원으로 BK21 PLUS사업의 지원을 받아 수행된 연구임.
Received 2016 February 12; Revised 2016 May 16; Accepted 2016 May 25.

Abstract

배경 및 목적

본 연구에서는 아동 의사소통 체크리스트(Children’ s Communication Checklist, CCC)를 사용한 선행 연구들을 살펴보고, CCC가 화용에 어려움이 보고된 장애 집단과 비장애 집단을 유의하게 변별해줄 수 있는지, 각각의 장애 집단별 프로파일에 차이가 나타나는지 알아보고자 하였다. 본 연구에서는 화용언어장애 집단으로 자폐범주성장애(autism spectrum disorder), 주의력결핍 과잉행동장애(attention deficits & hyper-activity disorder), 그리고 윌리엄스증후군(Williams syndrome)을 포함하였다.

방법

화용언어장애 및 비장애 집단의 CCC 점수를 비교한 연구들을 PsycINFO, Academic Search Complete, ERIC 데이터베이스를 이용하여 수집하였다. ‘ Pragmatic language assessment’를 주제어로 최초 검색한 결과, 총 238편의 논문이 검색되었고, 선정 및 제외기준에 적합한 총 14편의 문헌을 분석대상으로 하였다.

결과

CCC 결과에 대한 메타분석을 통해 ASD, ADHD 집단은 비장애 집단과 유의한 차이를 보였으나, WS는 유의한 차이가 나타나지 않았다. 집단 간 차이가 유의하게 나타난 장애군의 세부적 프로파일로는 ASD 집단의 경우 언어구조, 화용, 사회성 영역 모두에서, ADHD 집단은 언어구조 및 화용영역에서 비장애 집단과 의미 있는 차이를 보이는 것으로 나타났다.

논의 및 결론

CCC를 활용하여 ASD, ADHD 집단의 변별적인 프로파일을 확인할 수 있었으며, 두 집단 모두 화용영역에 따른 어려움이 나타날지라도 장애집단에 따라 세부적으로 다른 프로파일을 보일 수 있다. 이들의 차별적인 어려움을 고려하여 체크리스트 형식 외에도 직접 평가를 병행하는 것이 요구된다.

Trans Abstract

Objectives

Children and adolescents with pragmatic language impairment show overall communication problems. However, the pragmatic problems vary depending on their diagnostic characteristics. The Children's Communication Checklist (CCC, CCC-2) was developed to assess overall language ability through parents’ and/or teacher's reports (Bishop, 2003). This research reviews studies of pragmatic language assessment using CCC or CCC-2, and investigates if children and adolescents with pragmatic deficits (autism spectrum disorders [ASD], attention deficit/hyperactivity disorders [ADHD], and Williams syndrome [WS]) can be differentiated through CCC or CCC-2.

Methods

Fourteen studies which met the inclusive and exclusive criteria were selected from three electronic databases: PsycINFO, Academic Search Complete, and ERIC. A systematic review was done using meta-analysis (Comprehensive Meta-Analysis II, 2005).

Results

There was a significant group difference between ASD and ADHD showing significant differences with typically development (TD), respectively, but there was no difference between the WS and TD controls. The sub-do-mains (structural/pragmatic/autism-social domain) that brought group differences were all three sub-domains in the ASD group. Structural and pragmatic domains were significantly different sub-domains in the ADHD group.

Conclusion

CCC or CCC-2 is a useful tool for discriminating ASD and ADHD groups from TD controls. However, it is not enough to represent various pragmatic profiles depending on diagnostic groups such as ASD and ADHD. Therefore, it is necessary to use both direct and indirect assessment tools to reveal the differential profiles of pragmatic problems in various groups with communication disorders.

‘의사소통’이란, ‘나’의 생각과 감정을 ‘타인’과 서로 주고받는 것으로, 바람직한 의사소통이 이루어지기 위해서는 언어 규칙 그 자체에 대한 지식을 습득해야 할 뿐만 아니라 상호적인 의사소통 맥락에서 사회구성원들에게 합의된 방법으로 적절하게 사용되어야 한다. ‘의사소통 장애’는 의사소통 능력에 결함이 있어 타인과의 의사소통에 어려움을 겪는 것을 말한다. 이 경우 개인의 교육, 직업, 삶의 질에 매우 심각한 영향을 미치게 되며, 의사소통상의 소외는 다양한 삶의 맥락에서의 불이익 가능성을 내포한다(Sim, 2010). 따라서 인간의 삶에서 의사소통 능력은 필수불가결한 매우 중요한 요소로 간주된다.

의사소통 및 언어능력 가운데 ‘화용 능력’은 언어 지식에 기초하여 사회적 지식이 의사소통 맥락에서 발휘될 때 드러나며, 화자가 자신의 언어 사용을 지속적으로 살피고 점검하는 능력을 포함한다(Phelps-Terasaki & Phelps-Gunn, 2007). 즉, 화용은 사회적 상황과 의사소통 맥락에 적절한 언어를 사용할 수 있는 능력이다(Bates, 1976). 화용 결함이 나타나지 않는 비장애아동의 경우 목적과 문맥에 적절하게 언어를 사용하고 다른 사람의 의도를 이해하는 화용론적 능력을 언어 이전기 또는 발달 초기에 이미 습득하게 된다 (Kim, 2014).

화용 능력을 독립적으로 평가하는 도구는 상대적으로 그 수가 적은 편이고, 특히 한국어 사용자를 대상으로 한 화용 평가도구는 주로 간접적인 평가에 의존하고 있다. 영어 사용자를 대상으로 한 화용 평가도구는 검사지를 통한 직접 또는 관찰평가와 부모 및 양육자를 통한 설문지나 체크리스트 형식의 간접 평가로 크게 나뉜다. 직접 또는 관찰평가는 대체로 만 4–18세를 대상으로 하며, 간접 평가는 대체로 유아기부터 성인기까지 대상 연령의 폭이 넓다(Norbury, Nash, Baird, & Bishop, 2004; Phelps-Terasaki & Phelps-Gunn, 2007). 구조화된 직접평가 도구로는 Test of Pragmatic Language-2 (TOPL-2; Phelps-Terasaki & Phelps-Gunn, 2007)가 대표적이다. TOPL-2는 만 6–18세의 구어 사용이 가능한 아동 및 청소년을 대상으로 실시하는 직접 평가이다. TOPL-2는 Norris와 Hoffman (1993)의 상황-담화-의미(Situational-Discourse-Semantic, S-D-S) 모델을 응용하여, 검사 하위 영역을 상황(물리적 맥락과 청자), 담화(주제, 목적), 그리고 의미(시각-제스처 단서, 추상적 개념, 화용 평가)로 구성하였다. 평가 결과는 백분위수와 등가연령 및 등가학령으로 환산 가능하고, 인지능력 검사에서 흔히 제시되는 화용언어 표준 점수를 제공한다(Phelps-Terasaki & Phelps-Gunn, 2007). 그 밖에도 Clinical Evaluation of Language Fundamentals (CELF)와 같은 종합 언어 검사의 하위 검사로 화용평가가 가능하다. 또한 Yale in vivo Pragmatic Protocol (YiPP; Simmons, 2013)과 같이 반구조화된(semi-structured) 상황에서의 평가도 개발되어 있다. 특히 YiPP 은 구조화된 직접 검사에서 그 한계로 지적되고 있는 자연스러운 상황을 일관되게 제시하여 평가한다는 점에서 대안이 되기도 한다.

그러나 현실적으로 언어치료실에서 이루어지는 의사소통 능력 평가 상황에서는 아동의 의미 있는 화용언어 능력을 평가하는 것에는 한계가 있다. 물리적인 변화 가능성을 비롯하여 대화 상대자 또한 평가자 또는 양육자로 국한되기 때문이다. 특히, 화용언어는 문맥 의존적인 특성을 지니기 때문에 구조화된 공식적 검사 절차 속에서는 변화하는 환경에 유연하게 조정하는 아동의 능력들을 세심하게 끌어내는 데에 어려움을 겪게 된다(Adams, 2002). 뿐만 아니라, 화용 결함이 있는 아동들은 공식적 검사 절차 상황과 같은 구체적으로 주어지는 문맥 내에서 명확한 지시사항이 주어질 경우 평소보다 더 좋은 수행을 보이는 경향이 있기 때문에 자연스러운 상황에서 두드러지는 이 아동들의 화용 결함을 충분히 확인하는 데에 한계점을 보인다(Bishop & Adams, 1989). 이에 따라 아동에 대해 잘 알고 있는 부모 또는 주양육자 보고 형식의 체크리스트 검사가 대안으로 제시될 수 있다. 부모 또는 주양육자의 보고는 가정 내에서 관찰되는 아동의 가장 자연스러운 언어 사용에 대해 평가가 가능하며, 아동을 잘 아는 사람에 의해 보고되기 때문에 시시각각 변화할 수 있는 아동의 컨디션에 영향을 덜 받는다. 뿐만 아니라 상대적으로 적은 시간이 소요되어 임상 현장에서도 효율적인 도구로 활용 가능하며, 구조화된 공식적 검사 상황에서 이끌어내기 어렵거나, 발생빈도가 낮은 행동에 대해 평가할 수 있다는 장점을 지닌다(Bishop, 1998).

Children's Communication Checklist (CCC; Bishop, 1998)는 아동과 정기적으로 접촉하는 성인 또는 부모의 판단에 의해 임상적으로 유의한 의사소통 문제를 선별해내고 화용언어 결함을 확인하기 위해 고안되었다(Volden & Phillips 2010). 이 평가도구는 의사소통의 질적인 측면에서 어려움을 보이는 아동들을 평가하기 위한 도구로, 전반적인 의사소통 결함을 선별할 뿐만 아니라, 대부분의 전통적 언어 검사들이 다루지 않고 있는 화용 의사소통 평가도 포함하고 있다(Bishop, 1998). 이 검사는 특히 자폐범주성장애(autism spectrum disorder, ASD) 집단이 지니는 임상적으로 유의한 화용 결함을 광범위하게 다루고 있어, 이들의 화용 결함을 확인하는 데에 매우 효과적이다. CCC (Bishop, 1998) 또는 CCC-2 (Bishop, 2003)는 비장애아동으로부터 전반적인 의사소통상의 어려움을 보이는 아동을 선별해내는 데에도 매우 효과적일 뿐만 아니라 ASD를 포함하여 다양한 장애집단 간 비교를 가능하게 해주는 도구이다. Geurts, Verté, Oosterlaan, Roeyers 그리고 Sergeant (2004)의 연구에서도 고기능 ASD와 비장애아동 집단을 구별해내는 데에 매우 효과적임을 입증하였다.

ASD 아동은 어휘, 구문지식, 음운, 형태론적 영역에서 결함을 보일지라도, 주된 결함은 언어의 화용양상에서 두드러지게 나타난다(Lord & Paul, 1997). 즉, 화용 결함은 일생을 지속하는 반면 다른 언어와 관련된 어려움들은 자라면서 더 이상 드러나지 않기도 한다(Rapin & Dunn, 2003). 즉, 어휘, 의미, 문법과 같은 언어 능력은 아동이 성숙함에 따라 갖춰질 수 있다고 하더라도 화용언어상의 어려움은 연령이 증가하더라도 계속적으로 존재하기 때문에 이 집단에서의 특징적인 화용언어의 손상에 많은 연구자들이 지속적으로 동의해왔으며 이 영역에 대한 연구 또한 집중적으로 이루어지고 있다(Landa, Accardo, Magnusen, & Capute, 2000; Tager-Flusberg, Paul, & Lord, 2005; Young, Diehl, Morris, Hyman, & Bennetto, 2005).

또한 ASD의 진단적 기준에 따르면, 이들은 사회적 의사소통 기술의 결함을 보이며, 제한되고 반복적인 관심을 지니는 특징을 보인다. ASD 아동의 세부적인 화용상의 어려움은 ‘대화 시작하기’, ‘다른 사람의 주도에 반응하기’, ‘적절하게 대화를 주고받기’ 등에서 나타난다(Baron-Cohen, 1988; Botting & Conti-Ramsden, 2003; Curcio & Paccia, 1987; Prizant & Rydell, 1984; Stone & Caro-Mar-tinez, 1990; Tager-Flusberg, 1996). 특히, 주제를 유지하고 관련된 정보로 대화를 발전시키는 것에서도 유의한 어려움을 보이는데, ASD 아동은 이전에 언급했던 주제를 계속 말하거나 이전에 언급한 것과 관련된 주제어로 연결짓는 것에 실패를 보인다(Volden, 2002; Choi & Lee, 2013, 2015). 이들의 대화는 관련 없는 것을 포함하거나, 부적절하거나, 틀에 박힌 표현이 특징적이다(Adams, 2002; Gilchrist et al., 2001; Volden, 2004). 이들은 또한 CCC의 하위영역 중에서는 부적절한 시작(inappropriate initiation), 응집력(coherence), 정형화된 언어(stereotyped language), 문맥 사용(use of context), 그리고 라포(rapport) 형성과 같은 화용적인 측면에서 특히 유의하게 어려움을 보이는 것으로 보고된 바 있다(Bishop & Baird, 2001; Geurts et al., 2004; Verté et al., 2006).

사회 의사소통 또는 화용에서의 결함을 보이는 또 하나의 주요 집단으로 주의력결핍 과잉행동장애(attention-deficit/hyperactivi-ty disorder, ADHD) 집단이 있다. 이들은 사회적 기술을 습득하고 효율적으로 활용하는 데에 어려움을 보이며, 언어의 사회적 사용(Prutting & Kittchner, 1987)과 같은 언어적인 어려움 역시 이들에게 흔하게 나타난다(Staikova, Gomes, Tartter, McCabe, & Halperin, 2013). 이 아동들의 사회적 어려움은 충동성으로 인한 차례 기다리기, 부주의함으로 인한 상대방의 말 경청하기(Barkley, 1997)등에서 어려움을 보이며, 이들의 화용 결함은 사회적 지식의 부족(Grenell, Glass, & Katz, 1987), 신경심리학적 원인(Barkley, 1997; Huang-Pollock, Mikami, Pfiffner, & McBurnett, 2009), 그리고 사회적 정보 처리 결함(Crick & Dodge, 1994)으로부터 비롯된다고 보기도 하였다. ADHD 아동은 특히 집행기능상에서의 어려움이 두드러지게 보고되고 있는데, 이와 관련하여 특히 억제(inhibition)에서의 결함으로 인해 충분한 계획이 없이 말을 시작하는 경향이 있으며, 조음 도중 말을 유예하는 등 언어 산출에서의 효율도 부족한 것으로 나타난다(Engelhardt, Corley, Nigg, & Ferreira, 2010; Engelhardt, Ferreira, & Nigg, 2011).

한편, 화용영역의 결함을 보이는 또 하나의 집단으로는 7번 염색체 결함으로 발생하는 윌리엄스 증후군(Williams syndrome, WS)이 있다. 이들은 상대적으로 언어에서의 강점을 나타내지만 화용언어의 문제는 지속적으로 보고되고 있다(Mervis & Klein-Tasman, 2000; Semel & Rosner, 2003; Strømme, Bjømstad, & Ramstad, 2002). 일반적으로 인지적인 장애를 동반하는 WS의 경우, 타인에 대한 높은 관심과 공감능력을 지님에도 불구하고, 또래관계 형성 및 유지에 어려움을 보인다고 보고하였다(Jones et al., 2000; Semel & Rosner, 2003; Tager-Flusberg & Sullivan, 2000). 즉, 표면적으로 ASD가 사회성에 결함이 있다면 WS는 오히려 과도한 사회성을 지니는 것으로, 상반되는 표현형을 지니지만 화용언어상의 어려움은 두 집단 모두 지니고 있다고 볼 수 있다(Philofsky, Fidler, & Hepburn, 2007). 이들은 얼굴 표정에 대한 모방 또한 가능하여 상대적으로 사회적 관계에서도 강점을 지닐 것으로 보이기도 하지만, 지나치게 말을 많이 하고, 배운 표현을 필요 이상으로 사용하며, 같은 질문을 여러 번 반복하는 등의 과도함이 이 집단에서의 화용적인 쟁점이라 할 수 있다(Philofsky et al., 2007).

이처럼 공통적으로 화용 능력을 포함한 의사소통상의 어려움을 보이는 것으로 확인된 ASD, ADHD, 그리고 WS 집단은 CCC를 통해 언어구조, 화용, 자폐-사회성으로 구성된 3가지 하위 영역에 따라 비장애아동 집단과 구별되는 특징적인 프로파일을 보일 수 있다. 이는 또한 각 장애 집단 간에도 진단적 특성과 맞물려 세부적으로 공통적인 어려움을 보이거나 또는 차별적인 어려움을 나타낼 것으로 예상된다.

최근에는 국내에서도 CCC와 관련된 화용검사도구에 대한 연구 및 화용평가에 대한 필요성에 대한 논의가 활발히 진행되고 있다. Lee (2010)는 국외 화용언어 평가도구들을 분석하여 국내에서도 유용하게 활용될 수 있는 화용언어능력 평가도구 개발의 필요성을 언급하였다. 이에 Oh, Lee와 Kim (2012)은 ‘아동 화용능력 체크리스트’ 문항 개발을 위한 예비 연구로 주제관리, 상황에 따른 조절과 적용, 의사소통 의도, 비언어적 의사소통의 네가지 하위영역을 통해 국내 현실에 적합한 문항 및 검사절차를 개발하였으며, 이 연구를 통해 ASD 아동의 수행이 언어지연, 지적장애 및 기타 장애아동들과 비슷한 프로파일을 보였으나 전반적인 수행력이 두드러지게 낮았음을 보고하였다. Seo와 Ahn (2015)은 지금까지 언어의 형식 및 구조적인 특성에 대해서만 중점적으로 다루었던 의사소통능력에 대한 평가와 더불어 화용 결함도 함께 살펴볼 수 있어 넓은 의미에서의 의사소통능력을 평가할 수 있는 아동용 의사소통 체크리스트(CCC, CCC-2)의 유용성을 확인하였다. CCC는 화용언어능력 및 의사소통능력에서의 결함 유무를 확인할 수 있을 뿐만 아니라, 언어구조, 화용, 사회성의 각 하위영역별 강약점을 살펴볼 수 있다는 장점이 있음을 언급하였다. 또한 연구결과를 통해 단순언어장애, 자폐성장애, 일반아동 집단을 대상으로 각 집단이 분류되는 정확도는 76.8%로 나타나 CCC가 우리나라 아동들에게도 적용하기에 유용한 도구임을 입증하였다. 그러나, 주로 화용 결함이 나타난다고 보고된 ASD, ADHD, 그리고 WS 세 집단을 모두 연구대상으로 포함하여 실시된 국내외 연구들은 부족한 실정이므로 이들 집단의 일부 또는 전체를 대상으로 한 연구결과들을 함께 통합하여 고찰해볼 필요성이 제기된다.

따라서 본 연구는 화용 결함이 있는 것으로 보고되는 ASD, ADHD, 그리고 WS 세 집단을 대상으로 최근 들어 가장 널리 사용되는 부모보고 형태의 화용평가도구인 CCC 또는 CCC-2를 활용한 연구들을 고찰하고, 통제 집단인 비장애 집단과의 차이를 분석하고자 하였다. 또한 ASD, ADHD, 그리고 WS 각 집단의 의사소통 및 화용 결함은 과소 또는 과잉표현형, 내적 지식의 부족, 외적 활용능력 등에서 다양한 원인 및 결과로 나타날 수 있는 특성에 따라 CCC의 세가지 하위영역(언어구조, 화용, 자폐-사회성) 중 어떤 영역에서 의미 있는 차이를 보이는지를 분석하고자 하였다. 이에 따른 연구 문제는 아래와 같다.

  • 1. 화용언어장애집단(ASD, ADHD, WS)과 비장애 집단은 CCC 결과를 통해 유의한 차이를 보이는가?

    • 1) ASD와 비장애 집단은 CCC 결과를 통해 유의한 차이를 보이는가?

    • 2) ADHD와 비장애 집단은 CCC 결과를 통해 유의한 차이를 보이는가?

    • 3) WS와 비장애 집단은 CCC 결과를 통해 유의한 차이를 보이는가?

  • 2. 통제집단인 비장애 집단과 유의한 차이를 보인 집단(ASD, ADHD)의 경우, CCC의 하위 영역(언어구조, 화용, 자폐-사회성) 중 그룹 간 유의한 차이를 불러일으키는 세부영역은 무엇인가?

    • 1) ASD와 비장애 집단 간 유의한 차이를 불러일으키는 CCC 의 하위 영역은 무엇인가?

    • 2) ADHD와 비장애 집단 간 유의한 차이를 불러일으키는 CCC 의 하위 영역은 무엇인가?

연구 방법

문헌 검색 방법

CCC를 통해 의사소통장애 집단과 비장애 집단의 화용 능력의 차이를 알아보기 위해 2015년 11월에 PsycINFO, Academic Search Complete, ERIC 데이터베이스에서 문헌 검색을 실시하였다. 문헌 수집에 사용된 검색어로 ‘pragmatic language assessment’, ‘PLI’, ‘ADHD’, 또는 ‘Children's Communication Checklist’, ‘CCC’, ‘CCC-2’를 사용하였다. 특히 ERIC 데이터베이스에서는 CCC 외의 다른 화용 검사에 대한 결과를 다수 포함하였으므로, 과제 관련 검색어에 “Children's Communication Checklist”로 한정하여 재검색한 결과, 3건의 논문이 추가적으로 포함되었다.

논문의 선정 기준

PsycINFO에서 28편, Academic Search Complete에서 92편, ERIC에서 118편으로 총 238편의 연구가 검색되었다. 논문의 선정기준(예: scholarly journals; Language, English) 및 제외기준을 통해 최종 14편의 문헌을 선정하였다. 포함 기준은 (1) 학술논문으로 전문(fulltext)이 제공되어야 하고, (2) CCC-2 (Bishop, 2003)가 개정된 2003년 이후부터 현재까지 출판된 논문들을 대상으로, (3) 언어는 ‘영어’로, (4) ASD, ADHD, WS 그리고 통제집단인 비장애 집단을 대상으로 하며, (5) CCC 및 CCC-2의 점수에 대해 평균 및 표준편차가 명시된 논문을 포함하였다. 제외 기준은 (1) 학술논문으로 전문(fulltext)이 제공되지 않은 논문, (2) CCC-2 (Bishop, 2003)가 개정되기 이전인 2003년 이전에 출판된 논문, (3) 언어가 ‘영어’가 아닌 경우, (4) 대상자가 본 연구의 화용언어장애 집단인 ASD, ADHD, 그리고 WS 집단이 아닌 경우, (5) 그리고 CCC 및 CCC-2의 수행 점수(평균 및 표준편차)가 제시되어 있지 않아서 조건을 충족시키지 못하는 경우 분석 대상에서 제외하였다. 논문 선정 과정은 Figure 1과 같으며, 선정된 개별 논문의 특성은 Table 1에 요약하여 제시하였다.

Figure 1.

Flowchart of studies included from database searching. ASD=autism spectrum disorder; ADHD=attention deficit/hyperactivity disorders; WS=Williams syndrome; TD=typically development; CCC=Children's Communication Checklist.

Summary of studies included in the meta-analysis

신뢰도 평가

언어병리학 박사과정 연구자 2인은 전체 분석 논문에 해당되는 14편의 연구를 코딩하여 효과크기를 산출하고, 각 항목별로 일치한 수의 비율을 측정한 결과, 일치율은 100%였다.

자료의 분석

자료의 코딩

연구자, 게재연도, 연구 내 대상아동의 장애 유형(ASD, ADHD, WS), CCC 하위영역, 통제 집단 및 실험집단의 표본 크기 등을 데이터로 입력하였다. 독립변인은 집단과 CCC의 세부 하위항목이며, 종속변인은 세부 하위항목별 점수이다. 이에 따라 평균 및 표준편차와 같은 통계치를 코딩하였다.

출판편향 검증

‘출판편향’은 출간된 연구결과가 모든 연구의 결과를 충분히 대표하지 못하는 것으로, 연구결과의 속성이나 방향에 따라 연구결과가 출간되거나 출간되지 못하는 오류를 의미한다(Higgins & Green, 2011). 이에 따라 메타분석 시 이미 출판된 학술저널에서의 결과를 데이터로 분석할 경우 출판편향의 위험성을 보고해야 할 필요성이 제기된다. 출판 오류가 어느 정도이며 전반적인 연구결과가 신빙성이 있는지 확인하기 위해 Classical fail-safe N (Rosenthal, 1978) 계수를 산출하였다. 그 결과, 210으로 ‘5K (연구 수 = 13)+10 = 75’보다 크면 신빙성이 있는 수치이므로, 본 연구는 출판편향의 영향이 유의하게 적은 것으로 나타났다. 이와 관련하여 헤지의 표준화된 평균차(Hedges' g)를 보여주는 도표는 Figure 2와 같다.

Figure 2.

Funnel plot of standard error by Hedges' g.

메타분석

본 연구는 Comprehensive Meta-Analysis (version 2.0)를 사용하여 효과크기를 산출하였다. 각각의 연구에서 사용된 CCC의 하위 유형에 따른 평균, 표준편차와 집단의 표본 크기 등을 입력하여 종합적인 효과크기 및 각각의 효과크기(Hedges's g)를 산출하였으며, 유의수준 .05를 기준으로 효과크기의 유의성을 검증하였다.

연구 결과

질적분석

연구대상

본 연구의 메타분석을 위해 선정된 학술논문은 학령전기, 학령기, 청소년기, 청년기에 걸친 광범위한 연령대의 참여자를 대상으로 하였으며, 연구에 포함된 대상자의 연령범위는 4세에서 25세였다. 연구대상자의 수는 ASD (아스퍼거 및 고기능 자폐 포함) 집단이 총 307명, ADHD 집단이 총 190명, WS 집단이 총 40명으로 장애 집단의 총 수는 537명이었으며, 통제 집단인 비장애 집단의 총 수는 562명이었다. 분석에 포함된 연구에서 비교 집단의 하위 유형으로는 ASD (아스퍼거 및 고기능 자폐 포함)와 통제 집단을 비교한 결과(N=10)가 가장 많았고, 그 다음으로 ADHD와 통제 집단을 비교한 결과(N = 7), WS와 통제 집단을 비교한 결과(N = 2) 순이었다.

평가도구

본 연구는 의사소통장애 집단과 비장애 집단의 화용언어능력 평가에 대한 메타분석 연구로, 분석 대상논문에서 사용된 평가도구는 CCC (Bishop, 1998) 또는 CCC-2 (Bishop, 2003)이다. 전체 논문 14편 중 CCC의 결과를 활용한 논문은 3편, 개정된 CCC-2의 결과를 사용한 논문은 11편이었다.

CCC는 양육자 또는 교사가 아동의 의사소통 행동에 관한 문항에 대해 해당 여부를 기록하는 간접 평가 형식의 도구이다. CCC는 화용 능력의 특성상 표준화된 평가가 어렵고, 발달 수준에 따라 비전형성에 대한 판단이 달라진다는 것을 고려하여, 화용 특성을 빠르고 손쉽게 평가하기 위해 개발되었다. 2003년 CCC-2로 개정되면서, 10개의 하위 항목에 각 7개씩, 총 70문항으로 구성되었고, 전체 결과를 의사소통 총점(general communication composite, GCC), 그리고 사회적 상호작용 일탈 점수(social interaction deviance composite, SIDC) 환산이 가능하다. GCC는 A부터 H에 이르는 하위 항목 점수의 합산이고, SIDC는 A, B, C, D의 합에서 E, F, I, J의 합을 뺀 값으로, GCC점수가 55점 미만인 경우에 한하여 환산한다. 여기에 E, F, G, H의 합산으로 이루어진 화용점수(pragmatic composite, PRAG)에 따른 표준화된 점수가 제공되는데, CCC에서 화용점수를 명확히 제시한 것과는 달리 CCC-2에서는 이를 제외시켰다. 그 이유는 검사자 간 신뢰도와 타당도가 낮아, 그 효과가 비장애 집단과의 변별에만 국한되기 때문이다(Bishop, 2003).

Table 2에 나타난 바와 같이, CCC의 하위항목은 초기 9개이던 것이, CCC-2에서 언어구조적인 측면의 ‘의미영역’이 추가되면서 10개로 늘어났다. 이는 CCC-2를 단순히 화용 능력 평가도구로 활용하는 것이 아니라, 의사소통장애 전반에 걸친 선별도구로 활용하기 위해서이다(Norbury et al., 2004). CCC-2에서는 하위 항목의 명칭과 세부 문항이 수정되었지만, 전체를 다시 언어구조, 화용, 자폐-사회성의 세 가지 큰 영역으로 분류하였다. 단, 기존에 화용 오류의 대표적인 특성 중 하나로 언급되는 응집력(coherence)의 경우, 화용언어장애 집단과 SLI 집단을 변별해내는 데 실패하면서 언어구조적인 영역에 포함하였다. 이에 대해서는 논란의 여지는 있으나, Norbury 등(2004)은 이야기능력은 화용언어능력에 비해 언어 자체의 핵심적인 능력과 깊은 관계가 있다는 데에서 근거해서 언어구조영역에 포함시켰다고 설명하였다.

Children's Communication Checklist 2nd edition (CCC-2) subscales

본 연구에서는 CCC의 하위 항목을 모두 변수로 포함시키지 않고, Table 2에서 제시된 세 가지 영역을 기준으로 점수를 환산하여 분석하였다. GCC는 의사소통 전반에 대한 환산 점수이므로, 본 연구의 목적에 부합하지 않으며, SIDC는 GCC가 낮은 대상에 한하여 환산 가능하며, 공식에 따른 환산 점수이기 때문에 활용하지 않았다.

의사소통장애 집단(ASD, ADHD, WS)과 통제 집단의 CCC 평가결과 비교

CCC를 활용하여 ASD, ADHD, 그리고 WS로 나눈 장애 집단과 통제 집단의 CCC 종합점수 차이에 대한 메타분석 결과는 Table 3과 같다. 전체 의사소통장애 집단의 효과크기는 g = −.295, p < .05, 95% 신뢰구간[−.533, −.058]에 해당하여, 비장애 집단과 유의하게 차이를 보였다.

Effect size of ASD, ADHD, and WS versus control participants' CCC score

의사소통장애 집단의 하위 그룹 중, ASD의 효과크기는 g = −.954, p < .0001, 95% 신뢰구간[-1.320, -.587], ADHD의 효과크기는 g = .475, p < .0001, 95% 신뢰구간[.209, .741], WS의 효과크기는 g = −.172, p = .744, 95% 신뢰구간[-1.205, .860]에 해당하였다. ASD와 ADHD, 그리고 WS를 하나의 집단으로 묶어 정상발달 통제 집단과 CCC 결과의 차이를 살펴봤을 때, 이는 유의하게 나타났다. 그러나, 하위 그룹으로 나누었을 때, ASD와 ADHD는 CCC 결과가 통제 집단에 비해 유의하게 낮았지만, WS와 통제집단 간에는 유의한 차이가 없었다. 이에 대한 결과를 Table 3에 제시하였다.

통제 집단과 유의한 차이를 보이는 장애 집단(ASD, ADHD)의 CCC 세부프로파일

지금까지 집단 간 비교 결과, 전체 의사소통장애 집단은 비장애 집단과 의미 있는 차이를 보였고, ASD, ADHD 집단 또한 비장애 집단과 유의한 차이를 보였지만, WS 집단은 유의한 차이를 보이지 않았다. 이에 따라 통제 집단과 유의한 차이를 보이는 ASD, ADHD 집단의 CCC 세부프로파일을 살펴보았다. ASD와 비장애 집단, 그리고 ADHD와 비장애 집단의 Forest Plot은 각각 Appendixes 1, 2와 같다.

집단 간 차이를 불러 일으키는 장애집단의 CCC 하위 영역을 알아보기 위해 본 연구에서는 언어구조, 화용, 자폐-사회성 영역에 따른 결과를 분석하였고, 그 결과는 Table 4와 같다. ASD 집단은 언어구조영역에서 효과크기 g = −.564, p = .036, 95% 신뢰구간[−1.090, −.037], 화용영역에서 효과크기 g = −.0854, p = .036, 95% 신뢰구간 [−1.499, −.191], 그리고 자폐-사회성 영역에서 효과크기 g = −1.225, p = .005, 95% 신뢰구간[-2.072, -.378]로, 모든 하위 영역에서 비장애 집단과 유의한 차이를 보였다. ADHD 집단은 언어구조영역에서 효과크기 g = .583, p = .001, 95% 신뢰구간[.251, .915], 화용영역에서 효과크기 g = .619, p = .013, 95% 신뢰구간[-.130, 1.108]로 의미 있는 차이를 보였으나, 자폐-사회성 영역에서는 효과크기 g = .616, p=.125, 95% 신뢰구간[-.170, 1.402]로 유의한 차이를 보이지 않았다.

Effect size of sub-domain results of CCC: each clinical populations vs. controls

논의 및 결론

본 연구는 화용 결함이 나타나는 ASD, ADHD, 그리고 WS 집단이 아동 의사소통 체크리스트(CCC, CCC-2)를 통해 비장애 집단과 구별되는 의사소통 및 화용 결함을 입증할 수 있는지, 화용을 포함한 언어구조 및 자폐-사회성의 하위영역에서 각 집단 간 세부프로파일상의 차이가 나타나는지 확인하고자 메타분석을 실시하였다. 그 결과, ASD와 ADHD 집단은 또래 비장애 집단과 유의한 차이를 보였으나, WS 집단은 유의한 차이를 보이지 않았다. 그룹 간 유의한 차이를 불러일으키는 하위 항목을 알아보기 위해, CCC 를 언어구조, 화용, 자폐-사회성 영역으로 나눈 분류 기준에 따라 집단 간 차이를 분석하였다. 비장애 집단과의 비교 결과, ASD 집단은 세 영역 모두에서 의미 있는 차이를 보였지만, ADHD 집단은 언어구조와 화용에서만 유의한 차이를 보였다. 선행 연구결과와 마찬가지로, 본 메타분석 결과에서도 비장애 집단과 장애 집단을 변별하는 데 유의하였다(Norbury et al., 2004; Volden & Phillips, 2010).

장애집단을 ASD, ADHD, WS와 같이 세부적으로 나누어 CCC 결과를 살펴보았을 때, ASD와 ADHD 집단은 비장애 집단과 유의한 차이를 보였으나, WS 집단은 비장애 집단과 유의한 차이를 보이지 않았다. 이는 ASD 집단은 전반적인 의사소통 및 화용언어 기술에서 어려움을 보였으며, ADHD 집단의 경우에도 역시 화용적인 어려움을 보인다고 보고한 선행 연구와 일치하는 결과라 할 수 있다(Bishop & Baird, 2001). WS 집단의 경우 다른 화용 결함을 보이는 장애 집단에 비해 전반적인 화용언어기술에서 유의하게 나은 수행을 보이며, 높은 공감능력을 지녀 화용에서 약점을 보이지 않는다고 제안한 결과들과 일치한다(Jones et al., 2000; Philofsky et al., 2007; Rice, Warren, & Betz, 2005). 그러나 WS 집단이 사회적 관계에 대한 강한 열망은 지니나 과도한 친밀함 표현으로 오히려 또래 관계를 형성 및 유지하는 데에는 어려움을 보여 화용 결함이 나타날 수 있음을 언급한 연구와는 상반되는 결과이다(Hoffmann, Martens, Fox, Rabidoux, & Andridge, 2013). CCC는 직접 또는 관찰평가가 아닌 주양육자 또는 아동과 정기적으로 접촉하는 성인에 의한 체크리스트 형식의 간접 평가로, 임상적으로 유의한 의사소통 및 화용상의 어려움을 선별하는 데에 목적이 있는 만큼, WS 집단이 보이는 고유한 어려움인 ‘과도한 사회적 행동(hyper-social behavior)’을 민감하게 탐지하기에는 어려움이 있었을 것으로 분석된다(Bellugi, Lichtenberger, Jones, Lai, & St. George, 2000). 또한 WS 집단은 타인이 느끼고 생각하는 특정 방식을 고려하는 것에 어려움을 느끼는 인지적 통찰력의 부족을 보이는 것으로 알려져 있지만, 타인의 정서에 공감하는 정서적 통찰력은 존재한다고 보고되고 있기에, 이러한 정서적 통찰력이 존재함으로 인해 이들의 화용 결함이 부모의 체크리스트를 기반으로 한 CCC를 통해서는 드러나지 않았을 것으로 추론된다(Tager-Flusberg & Sullivan, 2000). 즉, WS 집단이 화용 어려움을 지닌다고 알려진 것은 언어의 구조적 어려움에 기인하기보다는 이 집단의 특징적인 인지능력에서의 전반적인 결함 때문일 수 있다(Stojanovic, 2006).

한편, 비장애 집단과 유의한 차이를 보이는 ASD, ADHD 집단의 경우 각각의 장애 집단 내에서 나타나는 어려움들이 상당히 중첩될 수 있지만 고유의 어려움은 다를 수 있기 때문에 세부적인 프로파일을 살펴보는 것은 더욱 의의가 있다. 이에 따라 본 연구는 집단 간의 차이를 불러일으키는 영역으로, 하위 항목을 언어구조, 화용, 자폐-사회성으로 재분류한 것을 활용하였다. 그 결과, ASD 집단은 비장애 집단과 세 영역 모두에서 차이를 보였지만, ADHD 집단은 언어구조와 화용에서만 차이를 보였다. 특히 화용 결함은 일생 동안 지속되는 반면, 다른 언어구조적 어려움들은 아동이 성숙해감에 따라 습득될 수 있다고 언급한 선행연구에 근거하여(Rapin & Dunn, 2003), ASD 집단의 경우 화용 및 자폐-사회성 영역에서의 주된 어려움만을 지닐 것으로 예상하였으나, 언어구조 영역에서도 결함을 보인 것은 주목할 만한 점이다. ASD 집단의 아동은 화용 및 사회적 관계와 같은 영역에서 더욱 심각한 문제를 보이지만, 구문과 같은 구조언어적 문제 역시 존재하며, 이것은 아동의 연령이 어릴수록 더욱 두드러졌다(Geurts & Embrechts, 2008). 이는 ASD 집단이 화용 및 자폐-사회성 영역의 결함뿐 아니라 언어 형식에서의 결함도 보인다고 보고한 Geurts 등(2004)의 연구와 일치하는 결과이다. 자폐-사회성 영역은 자폐스펙트럼장애의 진단적 특성인 사회적 관계와 제한된 관심사가 반영된 것으로 볼 수 있다(Norbury et al., 2004). 그러므로 ADHD 집단에서는 나타나지 않았던 이 영역에서의 어려움이 ASD 집단에서는 유의하게 나타난 것으로 분석된다.

ADHD 집단의 언어구조 및 화용상의 어려움은 이들이 지닌 주의력 결핍 및 충동성 문제와 더불어 나타난다. 즉 기억 시스템에서 목표 어휘에 접근하고 인출 및 활성화하는 의미론적 결함, 이야기 및 대화능력에서 차례 기다리기, 주제 유지하기에서의 어려움, 이야기 특성에서의 비조직화 및 취약한 응집력, 그리고 전반적인 화용상의 결함들이 복합적으로 존재하는 것이다(Engelhardt et al., 2011; Safwat et al., 2013). 이에 따라 ADHD 집단은 언어 사용 또는 운동 반응 조절에서의 낮은 수준의 통제 메커니즘을 보이며, 화용상의 결함과 더불어 말, 구문, 의미, 응집력 등의 언어구조상의 결함 역시 존재한다는 것이 CCC를 통해서도 나타난 것으로 보인다.

이러한 영역의 특성을 고려할 때, CCC 결과는 ASD나 ADHD를 비장애 집단과 변별하는 데에서 더 나아가, 이 두 집단의 진단적 특성을 반영한다고 할 수 있다(Bishop, 2003; Norbury et al., 2004). 그러나 Bishop (2003)이 CCC-2를 개정하며 밝혔듯이, 화용영역은 비장애 집단과의 변별 수준에서 의미있다는 점이 반영된 것이므로, 화용영역에서 공통적으로 어려움을 보이는 ASD와 ADHD 두 집단을 직접 비교하는 데에는 주의가 필요하다. ‘PRAG’점수가 의사소통장애 간에 나타나는 화용 프로파일의 상이함을 반영하지 못한다는 본 연구의 결과가 이를 뒷받침하고 있다.

의사소통장애는 하위 분류에 따라 말 · 언어 프로파일이 다르고, 이와 같은 차이는 타인과의 상호작용, 더 나아가서는 관계 형성에 영향을 미친다. ASD나 ADHD, 그리고 WS 집단도 진단적 특성에 따라 말 · 언어 프로파일이 다르므로 각 장애 특성에 따른 화용상의 어려움 역시 다양하게 나타날 수 있다(Philofsky et al., 2007). 예를 들어, ASD는 또래관계 형성 및 유지 욕구가 결여되어 있는 것에 기인하여 전반적인 화용 및 사회성 영역에서 결함을 나타내는 반면(Geurts et al., 2004; Verté et al., 2006), ADHD나 WS는 또래관계에 대한 욕구는 상당하지만, 타인이 느끼고 생각하는 특정 방식에 대해 고려하는 인지적 통찰력이 부족하기 때문에, 전반적인 화용능력 및 사회적 관계 형성이 원만하지 않을 수 있다(Tager-Flusberg & Sullivan, 2000). 이들의 각기 다른 화용 및 사회적 능력에서의 어려움에 대해 적절하게 지원하기 위해, 화용의 세부적인 하위 영역 중 구체적으로 어떤 것이 이들의 어려움에 영향을 미치는지에 대한 원인 분석이 필요하다. 이런 의미에서 CCC는 비장애 집단으로부터 의사소통 전반 또는 화용상의 문제를 선별하는 데 있어 매우 훌륭한 도구라 할 수 있다. 하지만 의사소통장애 집단에 따른 각기 다른 프로파일을 설명하기 위해 단독으로 사용하기에는 충분하지 못한 것으로 보인다(Norbury et al., 2004). 그러므로 다양한 장애군의 특성에 따라 화용 문제를 지원하기 위해서는 직접 평가와 병행하였을 때, 민감도가 잘 반영된 평가가 이루어질 수 있을 것으로 기대된다.

결론적으로, 본 연구결과에서 CCC를 통해 의사소통 및 화용상의 어려움을 선별하고 더욱 세부적인 검사가 필요한 아동들을 확인하는 데에 도움이 될 수 있으나, 각 장애군에 따른 뚜렷한 차이를 단정짓기에는 무리가 있음을 확인하였다. 따라서, 본 연구의 한계 및 후속연구를 위한 제언으로는 본 연구의 포함 및 제외 기준을 충족하는 분석 대상의 논문 편수가 14편으로 다소 적은 편수임을 고려할 때 추후 더 많은 문헌이 포함되거나, 관련 연구들이 더욱 활발히 진행되어야 할 것이다. 또한, 본 연구에 사용된 문헌에서 연구대상의 광범위한 연령대로 인해 각 하위 항목에 따른 점수에서 연령에 따른 차이에 의한 영향력이 통제되지 못했을 가능성이 제기되므로 후속 연구에서는 보다 한정된 연령대에서의 결과들을 살펴보아야 할 것으로 보인다.

References

Adams, C. (2002). Practitioner review: the assessment of language pragmatics. Journal of Child Psychology and Psychiatry, 43, 973–987.
Barkley, R. A. (1997). Behavioral inhibition, sustained attention, and executive functions: constructing a unifying theory of ADHD. Psychological Bulletin, 121, 65–94.
Baron-Cohen, S. (1988). Social and pragmatic deficits in autism: cognitive or affective? Journal of Autism and Developmental Disorders, 18, 379–402.
Bates, E. (1976). Language in context. New York: Academic Press.
Bellugi, U., Lichtenberger, L., Jones, W., Lai, Z., & St. George, M. (2000). The neurocognitive profile of Williams syndrome: a complex pattern of strengths and weaknesses. Journal of Cognitive Neuroscience, 12, (Supplement 1)7–29.
Bishop, D. V. (1998). Development of the Children's Communication Checklist (CCC): a method for assessing qualitative aspects of communicative impairment in children. Journal of Child Psychology and Psychiatry, 39, 879–891.
Bishop, D. V. (2003). The Children's Communication Checklist: CCC-2. Lon-don: Harcourt Assessment.
Bishop, D. V., & Adams, C. (1989). Conversational characteristics of children with semantic-pragmatic disorder. II: What features lead to a judgement of inappropriacy? International Journal of Language & Communication Disorders, 24, 241–263.
Bishop, D. V., & Baird, G. (2001). Parent and teacher report of pragmatic aspects of communication: use of the Children's Communication Checklist in a clinical setting. Developmental Medicine & Child Neurology, 43, 809–818.
Botting, N., & Conti-Ramsden, G. (2003). Autism, primary pragmatic difficulties, and specific language impairment: can we distinguish them using psycholinguistic markers? Developmental Medicine & Child Neurology, 45, 515–524.
Choi, J., & Lee, Y. (2013). Conversational turn-taking and topic manipulation skills of children with high-functioning autism spectrum disorders. Communication Science & Disorders, 18, 12–23.
Choi, J., & Lee, Y. (2015). Contingency and informativeness of topic maintenance in children with high-functioning autism spectrum disorders. Communication Science & Disorders, 20, 413–423.
Crick, N. R., & Dodge, K. A. (1994). A review and reformulation of social in-formation-processing mechanisms in children's social adjustment. Psychological Bulletin, 115, 74–101.
Curcio, F., & Paccia, J. (1987). Conversations with autistic children: contin-gent relationships between features of adult input and children's response adequacy. Journal of Autism and Developmental Disorders, 17, 81–93.
Engelhardt, P. E., Corley, M., Nigg, J. T., & Ferreira, F. (2010). The role of inhibition in the production of disfluencies. Memory & Cognition, 38, 617–628.
Engelhardt, P. E., Ferreira, F., & Nigg, J. T. (2011). Language production strategies and disfluencies in multi-clause network descriptions: a study of adult attention-deficit/hyperactivity disorder. Neuropsychology, 25, 442–453.
Geurts, H. M., Verté, S., Oosterlaan, J., Roeyers, H., Hartman, C. A., Mulder, E. J., & Sergeant, J. A. (2004). Can the Children's Communication Checklist differentiate between children with autism, children with ADHD, and normal controls? Journal of Child Psychology and Psychiatry, 45, 1437–1453.
Geurts, H. M., & Embrechts, M. (2008). Language profiles in ASD, SLI, and ADHD. Journal of Autism and Developmental Disorders, 38, 1931–1943.
Geurts, H. M., Verté, S., Oosterlaan, J., Roeyers, H., & Sergeant, J. A. (2004). How specific are executive functioning deficits in attention deficit hyperactivity disorder and autism? Journal of Child Psychology and Psychiatry, 45, 836–854.
Gilchrist, A., Green, J., Cox, A., Burton, D., Rutter, M., & Le Couteur, A. (2001). Development and current functioning in adolescents with Asperger syndrome: a comparative study. Journal of Child Psychology and Psychiatry, 42, 227–240.
Grenell, M. M., Glass, C. R., & Katz, K. S. (1987). Hyperactive children and peer interaction: knowledge and performance of social skills. Journal of Abnormal Child Psychology, 15, 1–13.
Grzadzinski, R., Di Martino, A., Brady, E., Mairena, M. A., O'Neale, M., Pet-kova, E., & Castellanos, F. X. (2011). Examining autistic traits in children with ADHD: does the autism spectrum extend to ADHD? Journal of Autism and Developmental Disorders, 41, 1178–1191.
Helland, W. A., Biringer, E., Helland, T., & Heimann, M. (2010). Exploring language profiles for children with ADHD and children with Asperger syndrome. Journal of Attention Disorders, Advanced online publication; http://dx.doi.org/10.1177/1087054710378233.
Helland, W. A., Posserud, M. B., Helland, T., Heimann, M., & Lundervold, A. J. (2012). Language impairments in children with ADHD and in children with reading disorder. Journal of Attention Disorders, Advanced online publication; http://dx.doi.org/10.1177/1087054712461530.
Helland, W. A., Lundervold, A. J., Heimann, M., & Posserud, M. B. (2014). Stable associations between behavioral problems and language impairments across childhood: the importance of pragmatic language problems. Research in Developmental Disabilities, 35, 943–951.
Higgins, J. P., & Green, S. (2011). Cochrane handbook for systematic reviews of interventions. Vol. 5.1.0, Chichester: Wiley-Blackwell.
Hoffmann, A., Martens, M. A., Fox, R., Rabidoux, P., & Andridge, R. (2013). Pragmatic language assessment in Williams syndrome: a comparison of the test of pragmatic language-2 and the Children's Communication Checklist-2. American Journal of Speech-Language Pathology, 22, 198–204.
Huang-Pollock, C. L., Mikami, A. Y., Pfiffner, L., & McBurnett, K. (2009). Can executive functions explain the relationship between attention deficit hyperactivity disorder and social adjustment? Journal of Abnormal Child Psychology, 37, 679–691.
Jones, W., Bellugi, U., Lai, Z., Chiles, M., Reilly, J., Lincoln, A., & Adolphs, R. (2000). Hypersociability in Williams syndrome. Journal of Cognitive Neuroscience, 12, (Supplement 1)30–46.
Kim, Y. T. (2014). Assessment and Treatment of Language Disorders in Children. 2nd ed. Seoul: Hakjisa.
Landa, R., Accardo, P. J., Magnusen, C., & Capute, A. J. (2000). Pragmatic language intervention for children with autism spectrum disorders. Accardo, P. J., Magnusen, C., & Capute, A. J. Autism: clinical and research issues. (pp. 163–192). Baltimore, MD: York Press.
Laws, G., & Bishop, D. V. (2004). Pragmatic language impairment and social deficits in Williams syndrome: a comparison with Down's syndrome and specific language impairment. International Journal of Language & Communication Disorders, 39, 45–64.
Lee, E. J. (2010). Analysis of abroad pragmatic language measures and assessing instruments. Journal of Speech-Language and Hearing Disorders, 19, 109–132.
Lord, C., & Paul, R. (1997). Language and communication in autism. Handbook of Autism and Pervasive Developmental Disorders, 2, 195–225.
Mervis, C. B., & Klein-Tasman, B. P. (2000). Williams syndrome: cognition, personality, and adaptive behavior. Mental Retardation and Developmental Disabilities Research Reviews, 6, 148–158.
Norbury, C. F., Nash, M., Baird, G., & Bishop, D. V. (2004). Using a parental checklist to identify diagnostic groups in children with communication impairment: a validation of the Children's Communication Checklist-2. International Journal of Language & Communication Disorders, 39, 345–364.
Norris, J., & Hoffman, P. R. (1993). Whole language intervention for school-age children. San Diego, CA: Singular Publishing Group.
Oh, S., Lee, E. J., & Kim, Y. T. (2012). Preliminary study on developing test items of children's pragmatic language checklist. Journal of Speech-Language & Hearing Disorders, 21, 111–135.
Phelps-Terasaki, D., & Phelps-Gunn, T. (2007). TOPL-2: Test of Pragmatic Language-2. Austin, TX: Pro-Ed.
Philofsky, A., Fidler, D. J., & Hepburn, S. (2007). Pragmatic language profiles of school-age children with autism spectrum disorders and Williams syndrome. American Journal of Speech-Language Pathology, 16, 368–380.
Prizant, B. M., & Rydell, P. J. (1984). Analysis of functions of delayed echola-lia in autistic children. Journal of Speech, Language, and Hearing Research, 27, 183–192.
Prutting, C. A., & Kittchner, D. M. (1987). A clinical appraisal of the pragmatic aspects of language. Journal of Speech and hearing Disorders, 52, 105–119.
Rapin, I., & Dunn, M. (2003). Update on the language disorders of individuals on the autistic spectrum. Brain and Development, 25, 166–172.
Rice, M. L., Warren, S. F., & Betz, S. K. (2005). Language symptoms of developmental language disorders: an overview of autism, Down syndrome, fragile X, specific language impairment, and Williams syndrome. Applied Psycholinguistics, 26, 7–27.
Rosenthal, R. (1978). Combining results of independent studies. Psychological Bulletin, 85, 185–193.
Sadiq, F. A., Slator, L., Skuse, D., Law, J., Gillberg, C., & Minnis, H. (2012). Social use of language in children with reactive attachment disorder and autism spectrum disorders. European Child & Adolescent Psychiatry, 21, 267–276.
Safwat, R. F., Hamid, A. A., Salam, A. A., Amin, O. R., Mostafa, A., & Hamed, H. (2013). Pragmatic skills in attention-deficit hyperactivity disorder (AD-HD). Egyptian Journal of Neurology, Psychiatry & Neurosurgery, 50, 61–66.
Semel, E. M., & Rosner, S. R. (2003). Understanding Williams syndrome: behavioral patterns and interventions. Mahwah, NJ: Lawrence Erlbaum Associates.
Seo, Y. K., & Ahn, S. W. (2015). A feasibility study of CCC-2 as a screening instrument for children with communication disorders. Journal of Speech-Language & Hearing Disorders, 24, 319–332.
Sim, H. S. (2010). Korean and speech-language pathology. New Korean Life, 20, 65–78.
Simmons, E. S. (2013). Yale in vivo pragmatic protocol. Volkmar, F. R. Encyclopedia of autism spectrum disorders. (pp. 3416–3416). New York: Springer.
Staikova, E., Gomes, H., Tartter, V., McCabe, A., & Halperin, J. M. (2013). Pragmatic deficits and social impairment in children with ADHD. Journal of Child Psychology and Psychiatry, 54, 1275–1283.
Stone, W. L., & Caro-Martinez, L. M. (1990). Naturalistic observations of spontaneous communication in autistic children. Journal of Autism and Developmental Disorders, 20, 437–453.
Stojanovic, I. (2006). What is said, linguistic meaning, and directly referential expressions. Philosophy Compass, 1, 373–397.
Strømme, P., Bjømstad, P. G., & Ramstad, K. (2002). Prevalence estimation of Williams syndrome. Journal of Child Neurology, 17, 269–271.
Tager-Flusberg, H. (1996). Brief report: current theory and research on language and communication in autism. Journal of Autism and Developmental disorders, 26, 169–172.
Tager-Flusberg, H., & Sullivan, K. (2000). A componential view of theory of mind: evidence from Williams syndrome. Cognition, 76, 59–90.
Tager-Flusberg, H., Paul, R., & Lord, C. (2005). Language and communication in autism. Volkmar, F. R. Handbook of autism and pervasive developmental disorders. 3rd ed. (pp. 335–364). Hoboken, NJ: John Wiley & Sons.
Timler, G. R. (2014). Use of the Children's Communication Checklist-2 for classification of language impairment risk in young school-age children with attention deficit/hyperactivity disorder. American Journal of Speech-Language Pathology, 23, (1)73–83.
Timler, G. R. (2014). Use of the Children's Communication Checklist-2 for classification of language impairment risk in young school-age children with attention-deficit/hyperactivity disorder. American Journal of Speech-Language Pathology, 23, 73–83.
Väisänen, R., Loukusa, S., Moilanen, I., & Yliherva, A. (2014). Language and pragmatic profile in children with ADHD measured by Children's Communication Checklist 2nd edition. Logopedics Phoniatrics Vocology, 39, 179–187.
Verté, S., Geurts, H. M., Roeyers, H., Rosseel, Y., Oosterlaan, J., & Sergeant, J. A. (2006). Can the Children's Communication Checklist differentiate autism spectrum subtypes? Autism, 10, 266–287.
Volden, J. (2002). Features leading to judgements of inappropriacy in the language of speakers with autism: a preliminary study. Journal of Speech Language Pathology and Audiology, 26, 138–146.
Volden, J. (2004). Conversational repair in speakers with autism spectrum disorder. International Journal of Language & Communication Disorders, 39, 171–189.
Volden, J., & Phillips, L. (2010). Measuring pragmatic language in speakers with autism spectrum disorders: comparing the Children's Communication Checklist-2 and the Test of Pragmatic Language. American Journal of Speech-Language Pathology, 19, 204–212.
Young, E. C., Diehl, J. J., Morris, D., Hyman, S. L., & Bennetto, L. (2005). The use of two language tests to identify pragmatic language problems in children with autism spectrum disorders. Language, Speech, and Hearing Services in Schools, 36, 62–72.

Appendix

Appendix 1.

Forest plot of meta-analysis: ASD vs. TD

csd-21-3-436-app1.pdf

Appendix 2.

Forest plot of meta-analysis: ADHD vs. TD

csd-21-3-436-app2.pdf

Article information Continued

Figure 1.

Flowchart of studies included from database searching. ASD=autism spectrum disorder; ADHD=attention deficit/hyperactivity disorders; WS=Williams syndrome; TD=typically development; CCC=Children's Communication Checklist.

Table 1.

Summary of studies included in the meta-analysis

No. Study Statistical analysis Participants (N)
Variable
Study results
Clinical population Controls Independent Dependent
1 Volden & Phillips (2010) One-way ANOVA 6–10 yr ASD (16) 6–10 yr TD (16) 2 (group)×language CCC-2 CELF-4 TOPL The CCC-2 identified 13 of the 16 children with ASD as pragmatically impaired, while the TOPL identified only 9. Neither test identified any of the children in the control group as having pragmatic language impairment.
2 Helland et al. (2010) MANOVA 6–15 yr ADHD (28) 6–15 yr AS (19) 6–15 yr TD (28) 3 (group)×pragmatic language CCC-2 Communication impairments were as common in a group of children with ADHD as in a group of children with AS. Although a similar pattern appeared on most CCC-2 scales, children with ADHD and AS could be distinguished from each other in terms of their language profiles on the subscales assessing stereotyped language and nonverbal communication.
3 Geurts & Embrechts (2008) Study 1: MANOVA

Study 2: MANOVA, multiple regression
7–14 yr ASD (26) 7–14 yr ADHD (29)

4–7 yr ASD (28)
4–7 yr SLI (28)
7–14 yr TD (29)
4–7 yr TD (28)
3 (group)×pragmatic language
3 (group)×pragmatic language
CCC-2
CCC-2 PBQ
The first study indicated that school aged children with ASD have similar language profiles to children with ADHD. Both groups had relatively more difficulty with pragmatics than with structural language aspects. The second study indicated that both preschoolers with ASD and those with SLI show the opposite pattern, thus having relatively more difficulty with structural language aspects than with pragmatics.
4 Helland et al. (2012) One-way ANOVA, nonparametric test(Mann-Whitney U), effect size 6–12 yr SLI (19) 6–12 yr ADHD (21) 6–12 yr TD (19) 3 (group)×pragmatic language CCC-2 SDQ Communication impairments were as prominent in the ADHD group as in the SLI group. However, the groups were separable form each other in terms of their language profiles. Furthermore, the ADHD group experienced significantly more mental health problems compared with the SLI group.
5 Timler (2014) Descriptive statistics, F tests, effect size, bivariate correlation 5–7 yr ADHD (32) 5–8 yr TD (12) 2 (group)×language CCC-2, CELF-4 TNL CCC-2 GCC scores correctly classified 10 participants with ADHD diagnosed with LI as defined by composite scores < 85 on the CELF or TNL. Severity and specificity rates were 100% and 85.29%, respectively. CCC-2 scores and most measures were significantly correlated.
6 Sadiq et al. (2012) One-way ANOVA, chi-square tests 5–8 yr RAD (35) 5–8 yr ASD (52) 5–8 yr TD (39) 3 (group)×pragmatic language CCC-2 ADI-R The RAD group demonstrated significant problems in their use of context, rapport, and social relationships with a degree of severity equivalent to children with ASD. More than 60% of the group with RAD met ADI-R clinical criteria on the use of language and other social communication subscales. The RADs appear to be at least as impaired as children with ASD in certain domains of social relatedness, particularly in their pragmatic language skills.
7 Norbury et al. (2004) Study 1: One-way ANOVA 4–17 yr SLI (19) 4–17 yr PLI (14) 4–17 yr PLI+(21) 4–17 yr HFA (17) 4–17 yr ASP (16) 4–17 yr TD (21) 5 (group)×pragmatic language CCC-2 The CCC-2 distinguished children with communication impairments from non-impaired peers. Furthermore, the SIDC identified children with disproportionate pragmatic and social difficulties in relation to their structural language impairments. This measure also had good interacted agreement (r=.79).
Study 2: One-way ANOVA 6–10 yr SLI (15) 6–10 yr PDDNOS (10) 6–10 yr HFA (19) 6–10 yr ASP (7) None 4 (group)×pragmatic language
8 Grzadzinski et al. (2011) ANCOVA (covarying for age and sex), chi-square tests 7–17 yr ADHD–(51) 7–17 yr ADHD+(24) 7–17 yr TD (69) 3 (group)×pragmatic language CPRS-R:L CBCL CCC-2 ADHD+ and ADHD–subgroups differed significantly in CCC-2 pragmatic and autistic/social domains.
9 Väisänen et al. (2014) Nonparametric test (Mann-Whitney U) 5–12 yr ADHD (19) 5–8 yr TD (19) 2 (group)×pragmatic language CCC-2 According to the CCC-2 questionnaire, differences between the groups were found in linguistic abilities, pragmatics skills, and social interaction.
10 Helland et al. (2014) Independent-samples t-tests 12–15 yr ADHD (40) 12–15 yr TD (37) 2 (group)×pragmatic language CCC-2 The GCC revealed that the scores for the children in the BP(the group with behavior problems) group were significantly lower than the scores for the control group
11 Verté et al. (2006) ANOVA (post-hoc Bonferroni) 6–13 yr HFA (57) 6–13 yr AS (47) 6–13 yr PDDNOS (31) 6–13 yr TD (47) 4 (group)×pragmatic language ADI-R CCC Children with HFA, AS, and PDDNOS showed pragmatic communication deficits in comparison to the controls. Little difference was found between the three subtypes with respect to their CCC profile.
12 Geurts et al. (2004) One-way ANOVA 5–14 yr HFA (42) 5–14 yr ADHD (23) 5–14 yr TD (35) 3 (group)×pragmatic language CCC Compared to NC, children with HFA showed pragmatic deficits on all CCC scales. Children with ADHD demonstrated deficits compared to NC as well. Moreover, the ADHD and HFA groups differed from each other on most of the scales.
13 Laws & Bishop (2003) One-way ANOVA (post-hoc Scheffe) 6–25 yr WS (19) 6–25 yr DS (24) 6–25 yr SLI (17) 6–25 yr TD (32) 4 (group)×pragmatic language CCC Checklist ratings for the group with WS indicated significant levels of pragmatic language impairment, and difficulties with social relationships.
14 Philofsky et al. (2007) MANCOVA 7–12 yr ASD (20) 6–12 yr WS (21) 5–10 yr TD (19) 3 (group)×pragmatic language CCC-2 ASD and WS groups demonstrated impairment in overall communication and pragmatic language functioning, but children with WS performed significantly better on overall pragmatic language functioning, and the magnitude of the effect was medium.

ASD=autism spectrum disorder; ADHD=attention-deficit/hyperactivity disorder; AS=Asperger syndrome; HFA=high functioning autism; WS=Williams syndrome; CCC=Children's Communication Checklist.

Figure 2.

Funnel plot of standard error by Hedges' g.

Table 2.

Children's Communication Checklist 2nd edition (CCC-2) subscales

Structural Pragmatics Autism/social
CCC A: Speech C: Inappropriate initiation H: Social relationships
B: Syntax E: Stereotyped conversation I: Interests
D: Coherence F: Use of context
G: Rapport
CCC-2 A: Speech E: Inappropriate initiation I: Social relations
B: Syntax F: Stereotyped language J: Interests
C: Semantics G: Use of context
D: Coherence H: Nonverbal communication

Table 3.

Effect size of ASD, ADHD, and WS versus control participants' CCC score

Effect size and 95% CI
Homogeneity tests
Hedges' g Lower limit Upper limit p-value Q df (Q) p-value I2
All clinical population -.295 -.533 -.058 <.05 6,013.626 194 <.001 96.774
ASD -.954 -1.320 -.587 <.0001 3,354.124 96 <.001 97.138
ADHD .475 .209 .741 <.0001 1,357.172 76 <.001 94.400
WS -.172 -1.205 .860 >.05 761.187 20 <.001 97.373

ASD=autism spectrum disorder; ADHD=attention-deficit/hyperactivity disorder; WS=Williams syndrome; CCC=Children's Communication Checklist.

Table 4.

Effect size of sub-domain results of CCC: each clinical populations vs. controls

CCC sub-domain Effect size and 95% CI
Homogeneity tests
Hedges' g Lower limit Upper limit p-value Q df (Q) p-value I2
ASD vs. TD
   Structural -.564 -1.090 -.037 <.05 813.882 31 <.001 96.191
   Pragmatics -.845 -1.499 -.191 <.05 1,394.287 35 <.001 97.490
   Autism/social -1.225 -2.072 -.378 <.01 570.569 17 <.001 97.021
ADHD vs. TD
   Structural .583 .251 .915 <.01 262.600 26 <.001 90.099
   Pragmatics .619 .130 1.108 <.05 559.234 27 <.001 95.172
   Autism/social .616 -.170 1,402 >.05 333.245 13 <.001 96.099

CCC=Children's Communication Checklist; ASD=autism spectrum disorder; ADHD=attention-deficit/hyperactivity disorder; TD=typically developing.