한국판 표준화를 위한 ‘CSBS DP 행동샘플평가’신뢰도 및 타당도 연구
A Study of Validity and Reliability of the CSBS DP Behavior Sample in Korean Toddlers
Article information
Abstract
배경 및 목적
영아기의 사회적 의사소통 발달은 발달지체 아동을 더 이른 시기에 확인하도록 하는 데 중요한 역할을 하므로 영아기의 의사소통발달을 확인하는 것은 중요하다. 의사소통 및 상징행동 발달척도(CSBS DP)는 영아기의 사회적 의사소통 발달을 평가하는 타당하고 신뢰로운 도구로 알려져 있다. 본 연구는 CSBS DP 행동샘플평가가 우리나라 영아들의 사회적 의사소통 평가에도 신뢰도와 타당도가 높은 도구일지를 확인하는 것을 목적으로 하였다.
방법
전형적 발달을 보이는 12–24개월 사이 영아 260명이 본 연구에 참여하였다. 연구참가 영아에게 CSBS DP 행동샘플평가와 공인타당도 분석을 위해 영유아 언어발달검사(SELSI)를 실시하였으며, 문항내적일관도와 검사-재검사 신뢰도 방법으로 신뢰도를, 공인타당도와 확인적 요인분석, 연령에 따른 발달적 타당도를 통해 타당도를 검정하였다.
결과
CSBS DP 행동샘플평가는 SELSI 점수와 유의한 상관을 보여 높은 공인타당도가 측정되었으며, 확인적 요인분석결과도 높은 모형 적합도를 보여 높은 구인타당도를 보였다. 또한 연령집단에 따른 일원분산분석 결과도 유의한 발달적 타당도를 나타내 전반적으로 타당도가 높은 것으로 확인되었다. Cronbach α로 측정한 문항내적일관도도 높거나 적합한 수준으로 측정되었으며, 검사-재검사 신뢰도와 관찰자 간 일치도도 높아서 대체로 신뢰도가 높은 것으로 확인되었다.
논의 및 결론
CSBS DP 행동샘플평가는 우리나라 영아의 사회적 의사소통을 평가하는 데에 타당도와 신뢰도가 높은 검사도구로 확인되었다.
Trans Abstract
Objectives
Communication development during the toddler period provides an important opportunity for earlier identification of toddlers with developmental delays. The Communication and Symbolic Behavior Scale Developmental Profile (CSBS DP) has been known as a valid and reliable instrument for assessing communication skills in early period. This study aimed to examine if the CSBS DP behavior sample is valid and reliable tool for Korean toddlers as well.
Methods
Two hundred ninety typical developing toddlers 12–24 months of age participated and were assessed on the CSBS DP behavior sample and Sequenced Language Scale for Infants (SELSI). SELSI was conducted to assess the concurrent validity of the CSBS DP. The validity and the reliability of the CSBS DP were assessed.
Results
The CSBS DP demonstrated high concurrent validity with SELSI and high construct validity measured by confirmatory factor analysis. The reliabilities measured by internal consistency and inter-rater consistency showed that the CSBS DP was a highly reliable test.
Conclusion
The results of this study revealed that the CSBS DP is a valid and reliable tool for assessing the early social communication skills of Korean toddlers.
영아의 의사소통 능력은 언어표현이 시작되기 전부터 발달되기 시작된다. 영아들은 언어를 표현하기 이전 시기부터 몸짓이나 발성과 같은 비언어적 수단을 통해 자신의 의도를 다른 사람에게 전달하는 방법을 배워가며, 이러한 초기 의사소통행동 발달은 이후 언어를 통한 의사소통 발달의 토대가 된다(Calandrella & Wilcox, 2000; Chiat & Roy, 2008; Choi & Lee, 2018; Lee & Lee, 2016; Watt, Wetherby, & Shumway, 2006).
영아기의 의사소통행동 발달은 이후 언어 발달의 기반이 될 뿐 아니라 이후의 발달을 예측할 수 있게 한다(Choi & Lee, 2018; Lee & Lee, 2016). 아직 언어표현을 시작하지 않은 영아의 의사소통 발달과 이후의 언어 발달 간의 관계를 살펴본 연구들은 언어이전기의 의사소통 발달이 이후의 언어 발달을 유의미하게 예측하였다고 보고하였다(Choi & Lee, 2018; Thal, Tobias, & Morrison, 1991; Wetherby, Watt, Morgan, & Shumway, 2007). 따라서 아직 언어표현을 시작하지 않았거나 언어표현을 막 시작한 어린 영유아의 비언어적 의사소통 발달을 확인하는 것은 이후의 언어 발달이 지체될 수 있는 영아들을 더 일찍 발견하게 하고 나아가 조기 개입을 통해 이후 발생 가능할 수 있는 문제를 미리 예방할 수 있게 한다.
영아기의 비언어적 의사소통행동 중에서 언어 발달과 관련된 행동을 확인하는 것은 여러 연구자들의 주요 관심사였다. 관련 연구들은 영아들이 보이는 의도적 의사소통행동 빈도나 기능의 다양성(Calandrella & Wilcox, 2000; Hong & Kim, 2005; Lee & Lee, 2016), 의사소통을 목적으로 한 몸짓 사용 빈도와 몸짓의 유형(Choi & Lee, 2018; Iverson & Goldin-Meadow, 2005; Lee & Lee, 2015; Thal et al., 1991), 발성의 빈도와 발성에 포함된 말소리의 목록 및 음절 구조(McCathren, Yoder, & Warren, 1999; Paul & Jennings, 1992), 수용언어 능력(Thal, Bates, Goodman, & Jahn-Samilo, 1997), 상징놀이(Choi & Lee, 2011) 등이 언어 발달과 깊은 관계를 갖는다고 보 고하였다.
이처럼 이후 언어 발달의 토대로써, 그리고 이후 언어 발달을 예측해주는 요인으로써 영아기의 비언어적 의사소통행동 발달의 중요성이 여러 연구를 통해 확인되어 왔음에도 불구하고, 임상이나 교육현장에서 영아기의 비언어적 의사소통행동 발달을 평가하도록 고안된 검사도구는 많지 않다. 영유아 시기의 의사소통 평가 도구로 잘 알려져 있으며 우리나라 영유아를 대상으로도 표준화되어 있는 맥아더-베이츠 의사소통발달 평가(Fenson et al., 2007; Pae & Kwak, 2011)는 영아용에 수용 및 표현어휘 목록과 더불어 몸짓(제스처)과 놀이를 포함하여 영아기 비언어적 행동을 평가한다. 영아들은 아직 지시 따르기가 어렵기 때문에 구조화된 직접 검사 형식은 영아 행동을 신뢰롭게 평가하는 데 제한점이 있으므로(Rossetti, 2001), 이를 대체하기 위한 방법으로 양육자 보고를 통한 평가 절차가 흔히 사용되나, 양육자 보고만으로는 검사자가 영아의 행동을 직접 관찰할 수 있는 기회가 제한되기 때문에 영아 행동 관찰을 병행하는 것이 필요하다.
Communication and Symbolic Behavior Scale-Developmental Profile (CSBS DP)은 언어이전기 의사소통 평가의 중요성을 배경으로, Wetherby와 Prizant (2002)에 의해 개발되었다. CSBS DP는 선별검사인 Infant-Toddler Checklist (ITC)와 진단검사인 행동샘플검사(behavior sample), 양육자보고검사(parent questionnaire)의 세 검사로 구성되어 있으며, 이 중 행동샘플검사는 검사자가 관찰을 통해 영아의 행동을 직접 평가하도록 고안되어 있어 양육자설문검사를 통해서 얻어진 결과와 종합하여 영아기의 의사소통행동 발달을 이해할 수 있도록 하였다. 또한 영아들이 구조화된 지시를 잘 따르지 못한다는 점을 고려하여 네 가지의 반구조화된 의사소통행동 유도 절차와 놀이와 책보기 활동을 통하여 행동표본을 수집하도록 하였으며, 평가자가 쉽게 채점할 수 있는 채점 체계를 제시하여 관찰평가가 갖는 채점의 어려움과 채점 결과에 대한 신뢰도 문제를 해결하여 비교적 용이하게 임상 및 교육현장에서 활용될 수 있도록 하였다. 평가내용으로 선행연구를 통해 영아기 의사소통발달을 보여주는 주요 행동인 정서 및 시선 사용, 의도적 의사소통행동, 몸짓, 말소리, 낱말, 언어이해, 사물 사용 놀이의 7개 하위요인(cluster)으로 구성되었으며, 이중 정서 및 시선 사용, 의도적 의사소통행동, 몸짓은 사회적 영역(social composite), 말소리, 낱말은 발화적 영역(speech composite), 그리고 언어이해, 사물 사용 놀이는 상징적 영역(symbolic composite)의 세 구성영역(composite)으로 구분되었다.
검사가 개발된 미국에서는 ITC는 2,188명, 양육자설문검사는 790명을 대상으로 표준화되어 있으나, 행동샘플검사의 경우는 평가자가 직접 실시해야 하기 때문에 상대적으로 적은 수인 337명을 대상으로 표준화되어 있다. 검사의 신뢰도는 Cronbach α로 측정한 문항내적일관도와 재검사신뢰도로 보고되었는데, 문항내적일관도는 총점이 .92며 세 영역인 사회적, 발화적, 상징적 영역 모두 .86-.87로 높은 수치를 보였으며, 1년 이내의 간격으로 실시된 재검사신뢰도는 1차와 2차 검사 간에 총점은 .92, 세 구성영역은 .76-.89의 상관을 보여 대체로 높은 신뢰도를 보였다.
검사의 타당도는 내용타당도, 구성타당도, 준거타당도, 공인타당도를 통해 보고되었는데, 내용타당도는 평가내용에 대한 이론 및 문헌 근거를 통해 CSBS DP가 영아 의사소통행동 평가 도구로 타당함을 보고하였다. 구성타당도는 월령별 각 점수의 발달적 경향과 구성영역(composite) 간의 상관, 그리고 요인분석을 통해 보고되었는데, 월령이 증가함에 따라 각 점수가 증가하였으며, 세 구성요인 간의 상관계수가 .47-.65로 유의한 상관이 있었고, 요인분석 결과도 사회적, 발화적, 상징적 세 구성영역과 그에 해당하는 하위요인으로 유의하게 분류하는 것으로 보고하였다. 공인타당도는 ITC 및 부모보고평가와의 상관을 통해 보고하였는데, ITC와는 .38-.74의 상관계수를, 부모보고평가와는 .44-.71의 상관계수를 보고하여 대체로 유의한 상관을 보고하였다. 준거타당도는 2세에 Mullen 발달검사의 수용언어, 표현언어, 학습 영역의 점수들과 비교하였는데 전체 점수는 .74-,71, 구성영역 점수들은 .50-.75의 높은 상관을 보고하였다. CSBS DP 행동샘플검사는 어린 영아들을 대상으로 검사자에 의해 관찰을 통해 이루어지는 검사임에도 불구하고 대체로 신뢰도와 타당도가 높은 검사로 평가받고 있다(Crais, 2011).
CSBS DP는 영아의 의사소통행동을 평가하는 신뢰도와 타당도를 갖추고 있어 영아를 대상으로 한 관련 연구들에서 연구도구로 폭넓게 활용되고 있으며(Chambers et al., 2017), 임상 및 교육의 유용성이 높은 평가되고 있어 중국과 대만(Lin & Chiu, 2014; Lin, Chang, Cheng, Chao, & Chiu, 2015), 남아프리카공화국(Chambers, Stronach, & Wetherby, 2016), 오스트레일리아(Eadie et al., 2010) 등 다른 언어나 문화권 영아를 대상으로 그 적용도가 검토되고 있다. 국내에서도 자폐스펙트럼장애(Jeon, Lee, & Lee, 2013; Kim, 2010, 2011), 미숙아(Lee & Lee, 2014; Lee & Lee, 2016)의 초기 의사소통 특성에 대한 연구들에서 연구도구로 활용되어 왔으나 우리나라 영아를 대상으로 표준화되지 않아 연구가 아닌 임상이나 교육을 목적으로 사용하는 것에는 제한이 있었다.
검사 표준화를 위해서는 먼저 이 검사가 우리나라 영아들에게도 타당도와 신뢰도를 갖춘 검사인지를 확인하는 절차가 선행되어야 할 것이다. 본 연구는 CSBS DP의 행동샘플검사를 우리나라 영아들을 대상으로 표준화하기 위한 선행절차로 이 검사가 우리나라 영아에게도 타당도와 신뢰도를 갖춘 검사인지 검정하는 것을 목적 으로 하였다. 본 연구의 결과는 CSBS DP의 한국판 표준화를 위한 근거가 될 것이며, 나아가 미국과 대만, 중국 등에서 이루어진 연구들과의 비교를 통해 영아기 의사소통발달의 보편성과 문화적 차이 등에 대한 시사점을 제공할 것이다.
연구방법
연구 참가자
본 연구에는 6개월에서 24개월에 해당하는 영아 297명이 참여하였다. 참가 영아는 CSBS DP 한국판 표준화 연구에 참여 동의한 영아들과, 제1저자의 미숙아 출생 영유아 종단적 연구에 참여한 영아 중 보호자가 검사 결과를 표준화 연구를 목적으로 활용하는 것에 동의한 영아들이었다. 연구에 참여한 영아들은 모두 보호자가 연구목적과 절차, 결과 활용에 대해 설명을 듣고 자발적으로 참가 동의를 하였다.
총 297명의 영아 중 한국 베일리 영아발달검사 II (Korean-Bay-ley Scales of Infant Development II, K-BSID-II; Cho & Park, 2006) 또는 영아선별교육진단검사(DEP; Jang, Seo, & Ha, 2011)를 실시하여 결과가 정상범위에 속하지 않은 영아 37명은 제외하여 총 260명 영아 자료만을 포함하였다. 정상범위 판별 기준은 베일리 영아발달검사의 경우는 동작 및 인지 발달 지수가 정상범위인 85–114 사이에 속하는 경우로, DEP 결과는 전체 점수가 정상발달(25 백분위수 이상)에 해당하는 경우로 하였다.
연령 집단은 CSBS DP (Wetherby & Prizant, 2002) 원검사의 규준과 동일하게 12–14개월(61명), 15–17개월(52명), 18–20개월(55명), 21–24개월(92명) 네 집단으로 분류하였다. 각 집단의 성별은 12–14개월에는 남아 36명(59.0%), 여아 25명(41.0%), 15–17개월은 남아 18명(34.6%), 여아 34명(64.7%), 18–20개월에는 남아 29명(52.7%), 여아 26명(47.3%), 21–24개월은 남아 48명(52.2%), 여아 44명(47.8%)의 분포를 보였다(Table 1). 영아의 부모 모두 고졸 이상이었으며, 평균 월수입은 대부분 300만 원 이상인 것으로 나타났다(Table 2).
Demographic information of toddlers
Demographic information of participants' parents
연구도구
CSBS DP 행동샘플검사
CSBS DP 행동샘플검사는 CSBS DP를 구성하는 세 검사 중 하나로 12–24개월 영아의 의사소통 및 상징행동 발달의 진단·평가를 목적으로 Wetherby와 Prizant (2002)에 의해 개발된 검사이다. 행 동샘플검사는 먼저 4가지의 반구조화된 의사소통행동 유도절차(태엽인형, 풍선, 비누방울, 병 속 과자), 책 보기, 놀이의 총 6개 활동을 통해 영아의 행동표본을 수집한 후 영아의 정해져 있는 채점 체계에 근거하여 의사소통 및 상징 행동을 채점하도록 구성되어 있다. 6개의 활동 중간에 의사소통 행동을 관찰하는 주머니 속 사물 4회, 공동관심을 유도하는 활동 2회가 추가되며 놀이 후 언어이해를 검사하는 활동과 블록쌓기를 진행하도록 되어 있다.
연구를 위한 검사도구는 태엽장난감, 풍선, 비누방울, 병 속 과자, 치발기 2개와 동물모형 2개가 포함된 주머니, 동화책 3권, 소꿉놀이 세트, 아기 인형, 그리고 정육면체의 나무 블록 5개였다. 처음에는 원검사 도구를 그대로 사용하였으나 원검사에 포함된 인형(big bird와 cookie monster)을 영아들이 낯설어 하거나 무서워하여 우리나라에서 만들어진 콩순이 인형으로 대체하였다. 동화책 3권도 원검사에 포함된 동화책과 비슷한 수준으로 우리나라에서 출판된 동화책, “아이 예뻐!” (Yoon & Yoon, 2011), “사과가 쿵” (Hiroshi, 2006), “내 물건” (An & Lee, 2010)으로 대체하였다. 자료 수집이 진행됨에 따라 2–3명의 검사자가 동시에 자료 수집에 참여하는 경우를 위하여 추가로 3세트의 검사도구를 준비하였다. 추가 검사도구는 인형과 동화책, 태엽장난감을 제외하고는 최대한 원검사 도구와 동일한 제품을 구하여 구성하였다.
검사자 훈련자료는 매뉴얼에 제시된 검사 실시 절차를 번역하여 준비하였다. 실시 절차도 원검사 절차를 수정 없이 그대로 따랐다.
영유아 언어발달검사(SELSI)
SELSI는 Kim 등(2003)에 의해 생후 4–35개월 영유아의 전반적인 언어 및 의사소통 능력을 평가하기 위하여 고안된 검사로 본 연구에서는 CSBS DP의 공인타당도 평가를 위해 포함하였다. SELSI 는 부모보고 형식을 통해 영유아의 수용언어와 표현언어를 평가하는 검사인데, 본 연구에서 대상으로 하고 있는 12–24개월 영아 언어능력을 평가할 뿐 아니라, 신뢰도와 타당도가 보고되어 있어 공인타당도 평가도구로 포함하였다.
자료수집
자료수집은 이 연구의 저자 중 한 사람이 주검사로 진행하였으며, 박사과정생 1명과 석사과정생 5명이 보조검사자로 참여하였다. 주검사자는 아동언어장애 전공 박사학위 소지자(자료수집 당시에는 박사 수료)로 CSBS DP 실시 절차에 대해 훈련을 받았으며 베일리 영유아발달검사 등과 같이 어린 영아 검사 경험이 많은 사람이었다. 보조검사자로 참여한 박사과정생 1명과 석사과정생 5명도 모두 언어병리학(아동언어장애) 전공자로 자료수집 전에 자료수집 절차에 대해 교육과 훈련을 받은 후에 연구에 참여하였다. 대부분의 경우 자료수집 시 주검사자를 도와 검사와 자료 녹화가 원활히 진행되도록 하였으나 어느 정도 검사에 숙달된 이후에는 주검사자의 감독하에 부분적으로 검사를 실시하거나 일부는 전체 검사를 실시하기도 하였다. 그러나 이 경우에는 주검사자가 녹화된 내용을 살펴보고 실시 과정에 문제가 없는 자료만 포함하였다.
자료수집은 영아의 집으로 방문하여 진행하였다. 방문 시간은 영아의 건강 상태, 어린이집 재원 시간, 낮잠 시간 등을 고려하여 양육자와 상의 후 결정하였다. 먼저 양육자를 대상으로 연구 목적과 방법을 설명한 후 연구참여 동의서에 서명을 받았다. 그리고 양육자가 평가하는 SELSI에 대해 설명하였으며, 몇 개의 문항을 함께 평가하여 검사방법을 숙지하게 하였다. 평가 중에 이해가 되지 않는 문항에 대해서는 추후 검사자에게 확인한 후 체크하도록 안내하였다.
검사 실시 전에 먼저 영아와 친숙해지기 위하여 가정 내 익숙한 장난감을 사용하여 10분 정도 놀이를 진행한 후 CSBS DP 행동샘플검사를 실시하였다. 집에 어린이용 책상과 의자가 있는 경우에는 의자에 앉게 하였으며, 어린이용 책상이나 의자가 없는 경우에는 집에 있는 낮은 테이블을 사용하여 검사를 실시하였다. 어머니(또는 기타 양육자)는 영아 옆쪽에 자리하도록 지시하였으나, 혼자 착석이 어려운 일부 영아의 경우는 양육자의 무릎에 앉힌 자세로 실시하였다. 검사자는 사전에 양육자에게 검사의 목적과 실시 방법을 알려주었으며, 검사 중에 영아에게 단서를 제공하거나 수행을 돕는 말과 몸짓을 하지 않도록 지시하였다. 특히 양육자가 참여하는 놀이와 책 읽기 활동 중에는 놀이나 행동을 지시하거나 질문을 제공하지 말고 영아가 시도하는 행동에 대해 반응해주는 형태로 참여하도록 상호작용 지침을 제공하였다. CSBS DP의 모든 절차는 추후 채점과 신뢰도 평가를 위하여 보호자의 동의를 얻어 캠코더(Samsung DCR-SX83)로 녹화하였다
채점
CSBS-DP 행동평가
수집된 자료는 CSBS DP 채점 체계에 따라 채점하였다. CSBS DP 행동샘플검사는 총 20개의 항목으로 구성되며, 각 항목별로 채점을 하도록 되어 있다. 항목별 점수는 7개의 하위요인(정서 & 시선, 의사소통, 몸짓, 말소리, 낱말, 언어이해, 사물사용놀이)과 3개의 구성영역(사회적, 발화적, 상징적), 그리고 총점으로 합산될 수 있다. 20개 항목의 최대 점수의 합은 170점이다(Table 3).
Points on CSBS DP behaviorsample according to items
본 연구에서는 채점 방식도 원검사를 그대로 따랐으나 말소리 목록을 측정하는 11번 항목은 우리나라와 영어의 말소리 체계가 달라 우리나라 말소리 체계와 영아 말소리 발달 연구(Kim, Pae, & Park, 2007)를 참조하여 평가 말소리를 보완 또는 대체하였다. 즉, 원검사에 포함된 말소리 /m/, /n/, /b/ /p/, /d/ /t/, /g//k/, /w/, /l/, /y/, /s/, /sh/를 /ㅁ/, /ㄴ/, /ㅂ//ㅍ//ㅃ/, /ㄷ//ㅌ//ㄸ/, /ㄱ//ㅋ//ㄲ/, /ㅇ/, /ㄹ/, /ㅈ/, /ㅅ/, /ㅎ/로 보완 또는 대체하였다. /m/, /n/, /l/, /s/는 우리말소리에 있는 동일 말소리 /ㅁ/, /ㄴ/, /ㄹ/, /ㅅ/로 그대로 대체하였으며, /b/ /p/, /d//t/, /g//k/는 /ㅂ//ㅍ//ㅃ/, /ㄷ//ㅌ//ㄸ/, /ㄱ//ㅋ//ㄲ/로 긴장음에 해당하는 /ㅃ/, /ㄸ/, /ㄲ/를 추가하여 보완하였다. 영어권 말소리에만 존재하는 /sh/는 우리말소리 /ㅈ/ /ㅊ/ /ㅉ/로 대체하였다. /w/, /y/는 우리나라 말소리에서는 반자음의 개념이 강조되지 않으므로 종성 /ㅎ/과 /ㅇ/ 소리로 대체하였다. /ㅎ/의 경우는 영어권에서는 초성에서 빈번하게 생략되어 말소리 목록에서 제외된 듯하나 우리 말소리에서는 낱말 첫소리에서 조음되는 경우가 많기 때문에 포함하였으며, 원검사에서는 모두 초성 위치의 소리만을 포함하였으나 초성 위치에서 포함할 수 있는 자음군이 이미 모두 평가 항목으로 포함되어서 우리 말소리에서는 종성위치에서만 산출되는 /ㅇ/을 포함하였다. 수정된 내용에 대해서는 언어병리학 박사학위 소지자 1인에게 점검 받았다.
영유아 언어발달검사(SELSI)
SELSI는 수용언어와 표현언어 정답 문항을 산출하였으며, 측정된 점수에 기초하여 수용언어발달연령, 표현언어발달연령, 통합언어발달연령을 측정하였다.
통계분석
통계분석은 SPSS 통계프로그램(version 22)을 이용하여 실시하였다. 신뢰도는 전체 자료의 20%에 대한 채점자 간 일치도와 전체 260명 자료에 대해 Cronbach α를 실시하여 문항내적일관도를 측정하였다. 타당도는 확인적요인분석을 통한 구인타당도와 SELSI와의 상관분석을 통한 공인타당도, 그리고 연령집단 간의 일원분산 분석과 Tukey 사후검정을 통한 발달적 타당도를 측정하였다.
연구결과
CSBS DP 행동샘플검사의 신뢰도 분석
문항내적일관도
전체 점수, 세 구성영역별 점수, 7개의 하위요인별 점수에 대해 Cronbach α로 문항내적일관도를 측정한 결과, 전체 점수에 대한 문항내적일관도는 .90, 사회적 영역 .86, 발화적 영역 .81, 상징적 영역은 .80으로 높은 신뢰도를 보였다. 연령집단별 결과에서는 .50대의 α값이 관찰되었으나 260명 전체 결과에서는 7개의 하위영역 또한 .61-.82로 적절 수준의 신뢰도를 보였다(Table 4).
Cronbach α of the CSBS DP behavior sample
채점자 간 신뢰도
채점자 간 신뢰도는 Cohen’ s Kappa 공식을 이용하여 주채점자에 의해 측정된 결과와 신뢰도 평가자 간의 일치도로 측정하였다. 주채점자는 주검사자로 참여한 연구자였으며, 신뢰도 평가를 위해 참여한 제2채점자는 보조연구자들이었다. 채점자들은 신뢰도 측정 전에 채점 기준 및 절차에 대해 교육을 받았으며, 실제 행동표본을 통하여 연습을 실시하였다. 연습과정을 통해 채점자 간 일치도가 .90 (90%) 이상이 된 이후, 전체 자료의 20%에 해당하는 40명의 자료를 무작위로 추출하여 독립적으로 채점하였다. 주채점자와 제2채점자가 관찰기회(예: 정서 및 시선에서는 총 14회의 관찰 기회가 제공됨)에서 일치한 수를 일치와 불일치를 합한 수로 나누어 일치도를 구한 결과 전체 일치도는 .99, 세 구성영역 일치도는 .98-.99의 매우 높은 일치도를 보였으며, 7개의 하위요인도 .98-.99 사이의 매 우 높은 일치도를 보였다(Table 5).
Inter-rater consistency of the CSBS DP behavior sample
CSBS DP 행동샘플검사의 타당도 분석
공인타당도
공인타당도는 CSBS DP 행동샘플검사 전체 점수, 세 구성영역별 점수, 7개의 하위요인별 점수와 영유아 언어발달검사(SELSI; Kim et al., 2003)의 수용언어, 표현언어, 통합언어 점수 간의 Pearson 상관계수로 측정하였다. 분석에는 260명의 영아 중 SELSI 검사가 불완전하였던 일부 영아 자료가 제외되어 총 208명 자료가 포함되었다. 분석 결과, CSBS DP 행동샘플검사 점수는 SELSI 점수와 전체 점수 .76-.81, 사회적 영역 .46-.58, 발화적 영역 .66-.75, 상징적 영역 .63-.70의 정적상관을 보였다. 7개의 하위요인들도 .30-.90 사이의 유의한 상관을 보였다(Table 6).
Concurrent correlation between behavior sample of CSBS DPand SELSI
구인타당도
구인타당도는 확인적 요인분석을 통해 검정하였다. 확인적 요인분석을 실시한 이유는 CSBS DP가 이미 검사의 구성을 갖추고 출판된 검사이며, 탐색적 요인분석을 통해 구인타당도가 보고된 검사이기 때문이었다. 분석결과, 3요인 구조가 유의한 것으로 확인되었으며(χ2 = 370.066, p < .001), 모델의 적합도를 알아보는 χ2/ df값은 2.29, RMSEA는 .071, CFI는 .92, TLI는 .91로 나타나 검사에서 평가 하는 3요인 구조가 수집된 자료에 잘 부합된 모형이라고 할 수 있다(Table 7).
Result of confirmation factor analysis
발달적 타당도
검사가 연령에 따른 발달적 변화를 잘 반영하는가를 확인하기 위하여 연령집단 간 일원분산분석과 Tukey 사후분석을 실시하였다. 분석결과, 전체 점수를 비롯하여 3구성영역과 7세부요인 모두 연령에 따른 유의한 차이가 있는 것으로 나타나 전반적으로 발달적 차이를 잘 반영하는 검사임을 확인하였다. 전체 점수는 네 연령집단 간에 모두 유의한 차이를 보였으며, 세 구성영역 중 사회적 영역과 상징적 영역은 18–20개월과 21–24개월 사이를 제외한 집단 간에서, 발화적 영역은 12–14개월과 15–17개월을 제외한 집단 간에서 유의한 차이가 있는 것으로 나타났다(Table 8).
Result of ANOVA according to age group
논의 및 결론
본 연구는 CSBS DP의 행동샘플검사를 우리나라 영아들을 대상으로 표준화하기 위한 선행절차로 이 검사가 우리나라 영아의 의사소통능력 평가에도 신뢰도와 타당도를 갖춘 검사인지 갖춘 검사인지 검정하는 것을 목적으로 하였다.
첫째, 검사의 신뢰도는 CSBS DP 행동샘플검사가 얼마나 정확하게 우리나라 영아를 평가해주는가를 확인하기 위한 목적으로 실시하였으며, Cronbach α로 측정한 문항내적일관도와 검사자간 일치도로 측정하였다. 먼저 Cronbach α로 측정한 문항내적일관도는 전체 점수의 경우 .90, 사회적 영역 .86, 발화적 영역 .81, 상징적 영역은 .80으로 매우 높게 측정되었다. 전체 영아집단을 대상으로 하였을 때 7개의 하위영역 또한 .61 이상의 α값을 보여 신뢰도가 적절한 수준으로 측정되었다. 문항내적일관도는 문항 하나하나를 하나의 검사로 간주하여 문항들 간의 유사성 혹은 측정의 일관성을 검정하는 방법으로 대체로 점수가 1에 가까울수록 높은 신뢰도를 갖는다고 평가된다. 보통 .60 이상인 경우 신뢰도가 있다고 판단하며, .80이 넘으면 신뢰도가 높다고 해석한다(Sung, 2015). 미국 영아를 대상으로 표준화된 CSBS DP의 행동평가 원검사(Wetherby & Prizant, 2002)는 Cronbach α값이 전체점수는 .92, 세 구성영역인 사회적, 발화적, 상징적 영역 모두 .86-.87로 우리나라 영아를 대상으로 한 결과보다 높은 수치를 보고한 반면, 남아프리카 영아를 대상으로 연구에서는(Chambers et al., 2016)은 전체 점수는 .90, 세 구성영역은 .77-.86, 7개의 하위요인은 정서 및 응시 요인에서 .22로 매우 낮은 수치를 보고한 것 외에는 .69-.86로 본 연구에서 측정된 값과 비슷한 수치를 보였다. 대체로 검사가 개발된 미국 영아 자료에 비 해서는 약간 낮은 수치이나 남아프리카 공화국 영아들의 자료와는 유사하다 할 수 있다. 미국 영아를 대상으로 개발된 검사이므로 상대적으로 미국 영아에게서 높은 신뢰도가 측정된 것으로 추정해 볼 수 있다. 앞에서도 서술하였듯이 보통 .60 이상인 경우 신뢰도가 있다고 판단하며, .80이 넘으면 높은 신뢰도를 갖는다고 해석하므로 CSBS DP의 행동샘플검사는 미국 영아에게서 보고된 수준으로 매우 높은 수치는 아니지만, 우리나라 영아의 의사소통 능력도 신뢰롭게 평가해주는 검사도구라 결론지을 수 있다.
CSBS DP의 행동샘플검사는 영아 행동관찰을 기반으로 하는 검사이므로 채점자가 행동표본을 얼마나 신뢰롭게 측정하는가도 검사의 신뢰도에 매우 중요한 영향을 미친다. 때문에 본 연구에서는 Cohen’ s Kappa 공식을 사용하여 검사자 간 일치도를 측정하였다. 검사자 간 일치도는 전체 자료의 20%에 해당하는 40명의 자료를 무작위로 추출하여 측정하였는데, 전체 점수는 .99, 세 구성영역 및 7하위요인의 검사자 간 일치도는 모두 .98-.99로 매우 높은 일치도를 보였다. 이는 전체 .97, 세 구성영역 .90-.94, 7개의 하위요인은 .73-.95의 일치도를 보고한 미국판 원검사(Wetherby & Prizant, 2002)나 전체 .84, 세 구성영역 .78-.84, 7개의 하위요인은 .78-.84의 일치도를 보고한 중국판(Lin et al., 2015)보다도 매우 높은 수치라 할 수 있다. 본 연구는 두 검사자 간의 일치도를 측정한 반면, 미국판 원검사와 중국판 검사는 g 계수로 측정하여 수치가 의미하는 바가 완전히 일치하지 않을 수 있지만 개념적으로는 g 계수와 일치도는 크게 다르지 않다. 보통 일치도는 .8이 넘는 경우 매우 높은 신뢰도를 갖는다고 해석된다(Landis & Koch, 1977). 따라서 검사자 간 일치도 결과도 CSBS DP 행동샘플검사가 매우 높은 신뢰도를 가진 검사임을 입증해준다.
둘째, 검사의 타당도는 CSBS DP가 영아의 사회적 의사소통을 평가하는 데 적절한 내용들로 구성되어 있는가를 살펴보기 위한 목적으로 실시하였으며, SELSI와의 공인타당도와 확인적 요인분석을 통한 구인타당도를 통해 검정하였다. 먼저 SELSI와의 공인타당도 결과는 .76-.81, 사회적 영역 .46-.58, 발화적 영역 .66-.75, 상징적 영역 .63-.70, 그리고 7개의 하위요인 점수들도 .30-.90 사이로 유의한 상관이 있는 것으로 나타났다. 미국판 원검사는 공인타당도를 CSBS DP의 다른 검사인 ITC 및 양육자설문검사와의 상관을 통해 보고하였는데, ITC와는 .38-.74의 상관계수를, 양육자설문검사와는 .44-.71의 상관계수를 보고하여 SELSI와 측정된 결과와 유사한 결과를 보였다. ITC와 CSBS DP 양육자설문검사는 행동샘플검사와 검사 형식만 다를 뿐 같은 내용을 측정하는 반면, SELSI는 언어를 중심으로 의사소통 능력을 평가한다는 점에서 차이가 있음에도 불구하고 미국판 원검사와 유사한 수준의 공인타당도가 나타난 것 은 CSBS DP가 영아 의사소통평가로서 타당할 뿐만 아니라 초기 의사소통 발달이 언어 발달과 밀접하게 관련된다는 선행연구들(Calandrella & Wilcox, 2000; Chiat & Roy, 2008; Choi & Lee, 2018; Lee & Lee, 2016; Watt et al., 2006)을 지지해주는 결과라 할 수 있다.
공인타당도와 더불어 확인적 요인분석을 통한 구인타당도를 검정하였다. 확인적 요인분석은 가정된 요인구조를 자료에 적용시켜서 그 구조의 타당성을 확인하는 방법으로(Sung, 2015), 앞에서 설명한 것처럼 CSBS DP 행동샘플검사가 이미 탐색적 요인분석을 통하여 구성타당도가 검정된 검사이므로 본 연구에서는 확인적 요인분석방법을 통해 구인타당도를 검정하였다. 분석결과, 원검사(Wetherby & Prizant, 2002)에서 탐색적 요인분석을 통해 보고된 3요인 구조가 유의한 것으로 확인되었으며, 모델의 적합도를 알아보는 RMSEA, CFI, TLI 값이 모두 의미 있는 것으로 측정되어 원검사의 3요인 구조가 수집된 자료에 잘 부합된 검사임을 입증하였다. Hay-nes와 Pindzola (2008)는 검사가 측정하고자 하는 개념을 평가할 수 있는 요인들로 잘 구성되어 있는가를 보여주는 구인타당도가 가장 중요하게 반영되어야 한다고 강조하였다. 확인적 요인분석을 통해 검증된 구인타당도 결과는 CSBS DP 행동샘플검사가 타당한 검사임을 확인해 주는 것이라 할 수 있다.
마지막으로 검사가 연령에 따른 발달적 변화를 잘 반영하는가를 확인하기 위하여 연령집단 간 일원분산분석과 Tukey 사후분석을 실시하였다. 분석결과, 전체 점수를 비롯하여 3 구성영역과 7 하위요인 모두 연령에 따른 유의한 차이가 있는 것으로 나타나 CSBS DP 행동샘플검사가 전반적으로 발달적 차이를 잘 반영하는 검사임을 확인하였다. 특히 전체 점수는 모든 연령집단 간에서 유의한 차이를 보여 연령에 따른 발달경향을 민감하게 보여주는 것으로 나타났다. 또한 세 구성영역 중 사회적 영역과 상징적 영역 점수와 해당 영역의 세부요인들은 18–20개월과 21–24개월 사이를 제외한 집단 간에서 유의한 차이를 보여 상대적으로 어린 시기의 발달을 더 민감하게 반영하는 것으로 나타났으며, 발화적 영역과 세부요인들은 12–14개월과 15–17개월을 제외한 집단 간에서 유의한 차이가 있는 것으로 나타나서 상대적으로 연령이 더 높은 영아들의 발달을 잘 보여주는 것으로 나타났다. 이러한 결과는 3 구성영역이나 7 하위요인에서의 수행 프로파일 역시 발달적 경향을 반영할 수 있음을 시사한다.
본 연구는 Cronbach α로 측정한 문항내적일관도와 검사자 간 일치도를 통해 CSBS DP의 신뢰도를 증명하였으며, SELSI와의 공인타당도와 확인적 요인분석을 통한 구인타당도, 그리고 연령집단 간의 일원분산분석을 통한 발달적 타당도를 통하여 타당도를 증명하였다. 이러한 결과는 CSBS DP의 행동샘플검사가 우리나라 영아들의 의사소통능력 평가에도 신뢰롭고 타당한 검사도구임을 확인해 주며 발달적 경향도 잘 반영해 주는 검사임을 보여주는 것이라 할 수 있다. 서론에서도 서술하였듯이 CSBS DP의 신뢰도와 타당도는 이미 여러 연구들을 통해 반복적으로 보고되었으며, 연구는 물론 임상 및 교육적 목적으로 광범위하게 사용될 수 있는 것으로 평가받고 있다(Crais, 2001). 본 연구는 CSBS DP 행동샘플검사가 우리나라 영아에게도 신뢰롭고 타당한 도구임을 입증하였을 뿐 아니라 앞으로의 표준화 연구를 위한 기반을 마련하였다는 점에서 의의가 있다.
본 연구는 CSBS DP 행동샘플검사의 신뢰도와 타당도만을 검정하였다. CSBS DP를 구성하는 다른 두 검사, 즉 ITC와 양육자설문검사에 대한 신뢰도 및 타당도 검정은 추후 검토되어야 할 것이다.
Acknowledgements
This research was supported by Hallym University Research Fund 2016 (No. HRF-201804–009).
Acknowledgements
본 논문은 2018년도 한림대학교 교비연구비(HRF-201804–009)에 의하여 연구되었음.