AAC 그림상징 판별에 관한 연구: 명사, 부사, 동사를 중심으로

A Study on the Verification of AAC Graphic Symbols Focusing on Nouns, Adverbs, and Verbs

Article information

Commun Sci Disord Vol. 22, No. 3, 597-607, September, 2017
Publication date (electronic) : 2017 September 30
doi : https://doi.org/10.12963/csd.17423
a Department of Communication Disorders, Ewha Womans University, Seoul, Korea
bDepartment of Special Education, Ewha Womans University, Seoul, Korea
신상은a, 김영태,a, 박은혜b
a이화여자대학교 대학원 언어병리학과
b이화여자대학교 특수교육학과
Correspondence: Young Tae Kim, PhD Department of Communication Disorders, Ewha Womans University, 52 Ewhayeodae-gil, Seodaemun-gu, Seoul 03760, Korea Tel: +82-2-3277-2120 Fax: +82-2-3277-2122 E-mail: youngtae@ewha.ac.kr

This study was supported by the research fund of Gyeonggi-do Assistive Technology Research & Assistance Center.

본 연구는 경기도재활공학서비스 연구지원센터에서 연구비를 지원받아 수행되었음.

Received 2017 July 5; Revised 2017 August 13; Accepted 2017 August 13.

Abstract

배경 및 목적

중증 의사소통장애인들이 보완대체의사소통의 그림상징을 사용하여 문장 수준까지 효과적으로 산출해내기 위해서는 다양한 품사의 목표 상징들을 정확하고 빠르게 판별해내는 능력이 필요하다. 본 연구에서는 근거기반의 중재를 위한 기초자료를 마련하기 위해 품사별로 그림상징의 판별 능력에 차이가 있는지를 살펴보고 목표어휘와 그림상징 간의 일치성 여부가 이에 영향을 주는지를 함께 조사하였다.

방법

20–30대 정상 성인을 대상으로 그림상징 판별과제를 실시하여 명사, 부사, 동사에 해당하는 개별 그림상징이 목표어휘와 일치하는지를 판단하도록 하였다. 피험자들의 정확도와 반응시간은 반복측정 일원분산분석과 이원분산분석을 통해 분석하였다.

결과

품사유형은 상징판별의 정확도에 영향을 주지 않으나 반응시간에는 유의한 영향을 끼쳤다. 명사에 해당하는 그림상징의 판별 시간이 부사나 동사에 비해 유의하게 짧았고 동사와 부사 간에는 유의한 차이가 없었다. 목표어휘와 그림상징이 불일치하는 조건에서 명사 상징과 동사 상징의 판별시간이 일치하는 조건일 때보다 더 오래 걸리는 것으로 나타났다.

논의 및 결론

본 연구는 품사별로 그림상징을 인지처리하는 시간에 차이가 있다는 것을 밝힘으로써 도상성의 차이가 실제로 사용자의 수행에 영향을 끼친다는 것을 입증하였다. 아울러 목표어휘와 그림상징 간의 불일치조건에서는 정확한 판별을 위한 인지처리의 부담이 증가하는 것으로 나타남에 따라, 효율적인 상징 판별을 위한 전략이 중재 단계에서 강구되어야 함이 논의되었다.

Trans Abstract

Objectives

Verifying graphic symbols in an accurate and timely manner is essential for individuals with severe communication difficulties to be able to produce words, phrases, and sentences effectively in augmentative and alternative communication (AAC) systems. In order to provide empirical data for AAC evidence-based practice, the current study investigated whether the part-of speech (POS) of target symbols and the congruency between a word and a symbol affected the verification process.

Methods

Thirty-three healthy young adults (mean age=26.85 years, SD=6.96) participated in the symbol verification task. They were asked to judge whether the graphic symbols were matched with written words com-posed of nouns, adverbs, and verbs. The data was analyzed using a repeated measures analysis of variance.

Results

The POS significantly affected the response time: participants judged noun symbols faster than the other two symbol types. There was no difference in the response time between adverbs and verbs. In addition, participants showed a significantly longer response time in the incongruent condition than the congruent condition for the noun symbols and verb symbols.

Conclusion

The results provide support for the high iconicity of noun symbols, which affects the performance of graphic symbol verification. This study also suggests that cognitive load increases when filtering out non-target graphic symbols, which requires a strategy to enhance the efficiency of target symbol selection.

언어의 표현 및 이해에 심각한 결함을 보이는 중증 장애인들이 보완대체의사소통(augmentative and alternative communication, AAC)을 통해 성공적으로 의사소통하기 위해서는 이들이 말 대신 매개물로 사용해야 하는 상징을 이해할 필요가 있다(Beukelman & Mirenda, 2013; Park & Kim, 2004). 상징은 발성, 몸짓, 수화와 같이 신체부위만을 이용하는 비도구적 상징(unaided symbols)과 실물, 그림, 글자와 같이 신체부위 이외의 다른 도구를 필요로 하는 도구적 상징(aided symbols)으로 분류될 수 있다. 이중에서 그림상징은 문해력이 발달되지 않았거나 손상된 아동과 성인에게 임상에서 많이 활용되고 있다(Choi, Kim, Yeon, Kim, & Hong, 2016; Emms & Gardner, 2010; Nigam, Chlosser, & Lloyd, 2006; Sutton, 2012; Tönsing, 2016; Trudeau et al., 2010).

그림상징을 통해 자신의 생각을 표현해야 하는 AAC 사용자들의 발화 산출과정은 인지심리학에서 설명하는 자연스러운 단어인출 매커니즘에 기반한 산출과정(Dell, 1986; Indefrey & Levelt, 2004; Levelt, 1989)과 비교하여 공통점과 차이점을 갖는다. 일반인과 마찬가지로 AAC 사용자는 개념준비(conceptual preparation) 단계에서 자신이 말하고자 하는 개념을 떠올리고 이와 연관한 어휘를 개개인이 갖고 있는 어휘저장소(mental lexicon) (Dell, 1986)에 접근하여 목표 어휘를 활성화하는 동일한 과정을 밟게 된다. 그러나 일반인이 목표 어휘를 음운부호화(phonological encoding)하여 조음(articulation)하는 단계를 거치는 것과는 다르게 그림상징에 의존해야 하는 AAC 사용자는 그림을 재인(recognition)하여 자신이 말하고자 하는 개념과 일치할 경우 이를 선택하여 메시지를 구성하고 컴퓨터의 음성지원을 통해 산출하게 된다. 재인은 시각적으로 제시되는 그림상징을 보고 그것이 표상하는 의미를 기억해는 과정으로 상징세트에서 시각적으로 제시되는 상징들 중에서 목표상징과 비목표상징을 판별하는 데에 중요한 기능이다.

그림상징에 대한 판별능력이 효율적인 AAC 발화와 긴밀하게 연관되어 있음에도 불구하고 아직까지 이에 대해서는 보고된 바가 없다. 대부분의 상징연구는 상징의 어떠한 특징이 개인의 인식에 영향을 주는지에 대해서 초점이 머물러 있다. 가령, 상징이 참조물을 얼마나 잘 표상하는지와 관련된 도상성(iconicity), 개인의 선호도, 사용자의 연령, 문화적 차이 등이 상징을 재인하는 과정에 영향을 주는 것으로 문헌에서는 보고하고 있다(Barton, Sevcik, & Romski, 2006; Dada, Huguet, & Bornman, 2013; Emms & Gardner, 2010; Harmon et al., 2014; Huang & Chen, 2011; Huer, 2000; Mirenda & Locke, 1989; Mizuko, 1987; Musselwhite & Ruscello, 1984; Sevcik & Romski, 1986; Stephenson, 2009; Tsai, 2013; Visser, Alant, & Harty, 2008; Yovetich & Young, 1988).

국내 연구에서도 상징의 인식에 관한 연구는 최근 들어 보고되고 있으나 상징을 인식한 후 실제로 목표상징을 판별해내는 능력에 대해서는 조사된 바가 없다. 제시되는 그림상징의 의미가 본인이 생각하는 단어의 의미와 일치하는지 여부를 판단하는 판별능력은 우선적으로 시각적으로 제시되는 자극물을 지각하는 인식과정을 수반하므로 상징 인식과 관련한 국내 연구를 통해 이해를 도모할 필요가 있겠다. Chae (2014)는 지적장애아동과 특수교사를 대상으로 미국에서 개발한 Picture Communication Symbols (PCS)를 사용하여 감정 어휘에 따라 그림상징을 인식하는 정확도에 차이가 있다는 것을 밝혀냈다. 비록 한국 고유의 사회문화적 특징이 PCS에 반영되어있지 않기 때문에 문화적 차이가 주는 영향을 완전히 배제할 수는 없으나 사용자의 수행이 같은 의미범주 내에 있는 어휘에 따라 달라질 수 있다는 것을 제시하였다는 점에서 의의가 있다. Chae의 연구가 어휘에 대한 상징 인식의 차이를 본 것이라면 Lee와 Park (2016)은 동일한 10개의 어휘를 표상하는 서로 다른 그림상징체계에 대해 아동들이 보이는 반응을 살펴보았다. 만 3–5세의 취학전 아동들을 대상으로 그림상징의 이해도와 선호도를 조사한 결과 Developmentally Appropriate Symbols (DAS)에 대한 반응이 PCS나 이화-AAC 상징보다 더 호의적인 것으로 나타났다. 여기서 DAS는 어린 연령의 일반아동에게 인터뷰를 실시하여 아이들이 어휘에 대하여 갖는 이미지 개념을 상징제작에 반영하여 제작한 상징체계를 말한다(Worah, McNaughton, Light, & Benedek-Wood, 2015). Lee와 Park (2016)의 연구 결과는 아동이 언어에 대해 갖는 개념을 그림상징에 반영할 경우 상징의 이해가 촉진되고 성공적인 AAC의 사용으로 이어질 수 있다는 Light와 Drager (2002, 2007)의 주장을 뒷받침한다.

이상의 연구들이 해외에서 제작된 그림상징을 연구설계에 포함하여 상징의 인식을 살펴보고 있다면, 보다 최근에 보고된 몇몇 연구에서는 국내에서 개발되어 현재 임상에서 활발하게 사용되고 있는 이화-AAC 상징에 초점을 맞추었다(Park et al., 2016; Yeon, Kim, & Park, 2016). 이화-AAC 상징은 다양한 연령층에서 필요로 하는 어휘 자료를 토대로 한국의 사회, 문화적 특징을 반영하여 개발된 상징체계로, 전문가 집단 및 장애아동의 보호자를 대상으로 실시한 설문조사에서 높은 타당도를 갖는 것으로 소개되고 있다(Park et al., 2016). 또한 취학 전 일반 아동을 대상으로 실시된 상징투명도와 명명일치도 검사에서는 이화-AAC 상징의 비교적 높은 투명도가 보고되었으며, 품사별로 상징을 인식하는 데에 차이가 있다는 것으로 나타났다. 즉 명사 상징의 투명도와 명명일치도가 동사나 형용사보다 유의하게 높았다(Yeon et al., 2016).

Park 등(2016)과 Yeon 등(2016)의 연구가 국내에서 많이 사용되고 있는 상징체계의 특징을 이해하는 데에 도움을 주고는 있으나 실제 AAC 사용자들에게 요구되는 상징 판별능력에 대해서는 살펴보고 있지 않기 때문에 임상적인 활용가치를 다소 제한된다. AAC 사용자는 성공적인 의사소통을 위해 다수의 그림상징들로부터 목표상징과 비목표상징을 정확하고 빠르게 판별해내는 능력이 요구되기 때문에 상징자체의 특징을 나타내는 타당도와 투명도과 같은 측정변수들만으로 이러한 능력을 가늠하기가 어렵다.

또한 국내외 연구들은 대부분 아동을 대상으로 하고 있기 때문에 어휘에 대한 개념 학습을 마치고 다양한 사회경험을 통하여 개념이 확장된 성인을 대상으로 한 상징인식 연구가 필요하다. 비록 Park 등(2016)의 연구에서 성인을 대상으로 한 타당도 결과가 보고되고 있으나 그 대상은 10년 이상의 중증 의사소통장애인의 교육 및 임상 경험이 있는 언어치료사와 특수교사이기 때문에 일반적인 성인의 특징으로 확장하기에는 어려움이 있다. AAC 잠재 사용자 중 가장 높은 분포를 차지하고 있는 연령대가 성인(Seong, Lim, Kim, & Park, 2013)인 점을 고려하였을 때 정상 성인의 그림상징에 대한 인식을 살펴보는 연구는 AAC 임상현장에서 성인장애인을 위한 기초자료로 활용될 수 있을 것이다. 특히 성인의 경우 복수의 상징을 결합하여 복잡한 수준의 메시지까지도 산출하기를 원하므로 그들의 필요와 요구를 고려할 때, 다양한 품사에 해당하는 그림상징들을 판별하는 능력이 요구되므로 문장구성에 중추적인 역할을 하는 명사, 부사, 동사와 같은 주요 품사에 대한 상징판별 능력을 살펴볼 필요가 있겠다.

본 연구에서는 근거기반의 AAC 중재를 위한 기초자료를 마련하기 위해 일반 성인을 대상으로 상징판별과제를 실시하여 품사별로 그림상징을 판별하는 정확도와 반응시간에서 차이를 보이는지를 살펴보고 목표어휘와 그림상징 간의 일치성 여부가 이에 영향을 끼치는지를 조사하였다. 연구 질문은 아래와 같다.

첫째, 목표어휘의 품사유형에 따라 그림상징판별과제에서의 정반응수에 유의한 차이가 있는가?

둘째, 목표어휘의 품사유형에 따라 그림상징판별과제에서의 반응시간에 유의한 차이가 있는가?

셋째, 그림상징판별과제에 사용된 목표어휘-그림상징의 자극간 일치 여부에 따라 수행에 차이가 있는가?

연구방법

연구대상

본 연구는 서울 및 경기도에 거주하는 20–30대의 일반인을 대상으로 실험참여자를 모집하였으며 이중 고졸 이상의 학력을 가지면서 정신 및 신경학적 질환 또는 말, 언어장애의 결함이 없는 사람을 대상으로 하였다. 실험에 영향을 미칠 수 있는 개인의 시지각능력 및 언어능력을 통제하기 위하여 선별 검사를 실시하였고 그 검사내용은 다음과 같다. Snellen 시력측정표(reduced Snellen chart)를 사용한 시력검사에서 양쪽 눈 모두 양호한 소견을 보이고(20/100 기준) (Ross & Wertz, 2003), 수용 및 표현어휘력검사(REVT; Kim, Hong, Kim, Jang, & Lee, 2009)의 수용어휘 점수가 −1 SD 이상에 속하는 사람을 포함하였다. 또한 Korean version of the Western Aphasia Battery (K-WAB; Kim & Na, 2001)의 검사항목 중 ‘읽기’ 하위 검사에서 모두 정반응을 보인 사람을 포함하였다. 선별검사를 통과하여 본 실험에 참여한 피험자 수는 총 33명이며 이들의 평균연령은 26.85년이고(SD = 6.96), 평균 교육년수는 15.82년(SD =1.94)이다. 피험자 모집이 서울소재의 모 여대에서 주로 이루어졌기 때문에 피험자는 모두 여성이었다. 선별검사와 본 실험은 피험자들로부터 연구동의서의 서명을 받은 후에 실시되었다.

실험과제 및 절차

자극어 및 그림상징

실험에 사용된 어휘는 명사, 부사, 동사의 세 가지 품사별로 다섯 개씩 선정되었으며 어휘에 대한 피험자의 교육년수 및 친숙도가 영향을 줄 수 있기 때문에 ‘초등학생 교육용 기초 어휘 선정 연구’(Chang, Jeon, Shin, & Kim, 2014)에서 제시된 고빈도 기초어휘를 사용하였다. 목표어휘의 음운길이가 과제 수행에 영향을 줄 수 있으므로 음절수는 2–3개로 제한하였다.

과제에 사용된 명사는 모두 사물을 나타내는 구체명사로 하였으며(예: 사과, 의자, 양말, 그릇, 비누) 동일한 의미범주에 속한 단어들 간의 의미적 간섭이 발생하는 것을 배제하기 위하여 5가지의 서로 다른 의미범주에서 하나씩 선정되었다(예: 음식류, 가구류, 의류, 식기류, 욕실용품류). 부사는 상태나 정도를 나타내는 성상부사로 제한하였고(예: 빨리, 계속, 많이, 지금, 다시), 동사는 동작동사만을 포함하였다(예: 찾다, 잡다, 던지다, 놓다, 버리다).

선정된 15개의 어휘에 대한 그림상징은 이화-AAC 상징 중에서 언어병리학과 교수 등으로 구성된 전문가 집단 5인이 만장일치로 선택한 도상성이 비교적 높은 것을 선택하였으며 그림 일부분의 색(예: 동작 상징에 등장하는 소매의 색)이 통일되어 있지 않은 상징에 대해서는 Photoshop 7.0 프로그램을 사용하여 편집 작업을 하였다. 모든 그림상징의 규격은 실제 AAC 상징판에서 사용되는 비교적 작은 크기의 상징을 고려하여 220×160 픽셀(가로×세로)로 통일하였고 dpi 300에 맞추어 제작되었다. 본 실험과제에 사용된 자극어와 그림상징이 Appendix 1에 제시되어 있다.

실험과제

본 실험에 사용된 그림상징 판별과제는 E-Prime 2.0 (Schneider, Eschman, & Zuccolotto, 2002)을 통해 제작 및 실시되었다. 피험자에게는 다음과 같은 지시문이 제시되었다. “이 과제는 글과 그림상징이 일치하는지를 판별하는 과제입니다. 과제 시작 전, 집게손가락을 키보드 앞에 놓인 홈베이스의 모서리 끝에 올려놓으십시오. 화면에 글이 나타나면 속으로 반복하여 읽으십시오. 자동으로 나타나는 그림상징이 글의 내용과 일치하면 키보드 오른쪽의 ‘ O’버튼을 일치하지 않으면 왼쪽의 ‘ X’버튼을 누르십시오. 최대한 ‘빠르고’ ‘정확하게’ 누르십시오. 누르신 후에는 반드시 홈베이스로 원위치 하십시오. 이제 연습문항을 시작하겠습니다.”

이후 5개의 연습문항을 실시한 후, 피험자의 반응에 따라 구두로 피드백을 주었다. 연습문항을 마친 후 피험자가 과제수행 방법을 정확하게 이해한 것을 확인한 후에 바로 본 실험을 실시하였다. 문항은 총 30개로 이루어졌으며 목표어휘와 그림상징이 일치한 15개의 항목과 불일치한 15개 항목으로 구성되었다. 상징판별과제의 항목은 유사무작위(pseudo-randomized)로 제시되도록하여, 불일치 항목과 일치 항목이 적절하게 교차되도록 하였다.

본 실험 과제의 진행구성은 Figure 1과 같다. Fixation 화면이 500 ms 동안 나타난 후 100 ms 간격의 blank 화면이 나타났다가 사라지면 목표어휘가 화면 중앙에 글로 제시되도록 하였다. 2,500 ms 후에 자동으로 글이 사라지면 다시 100 ms 간격의 blank 화면이 나타나도록 한 후 그림상징이 화면 중앙에 나타나도록 하였다.

Figure 1.

Procedures of the symbol verification task using E-Prime 2.0.

연구자는 피험자가 그림상징을 보고 앞서 읽었던 어휘와 일치하는지를 판단하여 키보드의 왼쪽 또는 오른쪽에 지정된 버튼을 최대한 빠르고 정확하게 누르도록 하였다. 손가락의 이동거리와 위치가 반응시간에 영향을 미칠 수 있으므로 별도의 홈베이스판을 키보드 앞에 위치시켜 동일한 위치에서 움직임의 반응이 시작되도록 하였다. 피험자의 정반응과 반응시간(ms)은 E-Prime을 통해 자동 산출되도록 하였으며 반응시간은 그림상징이 제시된 onset time부터 키보드를 누른 시간까지로 지정하였다.

실험절차

실험은 개별적으로 조용하고 독립된 공간에서 이루어졌다. 피험자들이 제시된 목표어휘와 그림상징을 판별할 때에 개별적으로 다른 그림상징의 도상성이 수행에 영향을 줄 수 있으므로 본 실험과제 실시 전 친숙화 단계를 거쳤다.

친숙화 단계에서는 피험자에게 실험과제에 사용되는 그림상징 15개와 연습문항에 사용되는 상징들을 목표어휘와 함께 나열된 목록을 제시하고 연구자가 하나씩 상징에 해당하는 어휘를 손으로 짚으며 확인시켰으며 모든 문항에 대하여 피험자 스스로 한 번 더 충분히 검토할 수 있는 시간을 제공하였다. 피험자가 그림상징을 모두 숙지하였다고 보고를 하면 그림상징만을 제시하고 각각의 이름을 말하도록 하였다. 피험자가 오반응을 보일 경우 피드백을 주어 올바른 이름을 알도록 하였으며 모든 문항에 대하여 100% 정반응이 나오는 것을 확인한 뒤에 본 실험과제가 시작되었다.

자료분석 및 통계처리

각 항목에 대하여 피험자들이 보인 반응은 맞으면 1점, 틀리면 0점으로 채점하여 피험자별로 총점을 산출하였고 반응시간은 피험자가 정확하게 반응한 문항에 대해서만 분석에 포함하였다. 자료 분석은 IBM SPSS version 24을 사용하여 품사유형(3)을 독립변인으로 하는 반복측정 일원분산분석(repeated one-way ANOVA)을 실시하였고 유의수준 .05에서 검증하였다. 구형성(sphericity) 가정에 위반될 경우 Greenhouse-Geisser 분석을 통해 제시된 p-value 에 근거하여 유의성을 판단하였다. 일원분석분석을 통해 품사별로 종속변수에 차이가 있는 경우 사후검정으로 대응표본 t-검정을 실시하였다. 다중비교로 인한 제1종 오류의 보정을 위해 본페로니 교정(Bonferroni correction)을 시행하였다.

아울러 제시 자극어와 그림상징 간의 일치 여부가 수행에 영향을 주었는지를 살펴보기 위하여 품사유형(3)× 자극일치성(2)를 독립변인으로 하는 반복측정 이원분산분석(repeated two-way ANOVA)을 추가로 실시하였다. 이원분산분석을 통해 두 독립변수 간의 상호작용효과가 유의한 것으로 나타날 경우 자극 간 일치 항목과 불일치 항목 각각에 대하여 품사유형에 따른 단순주효과(simple main effect)를 살펴보았고, 유의할 경우 위와 마찬가지방법으로 대응표본 t-검정을 통한 사후검정을 교정된 유의수준에서 검정하였다.

신뢰도는 E-Prime 프로그램이 자동으로 피험자의 반응을 정확한 수치로 수집하였기 때문에 별도의 연구자 간 또는 연구자 내 신뢰도분석은 실시하지 않았다.

연구결과

품사유형이 정확도에 미치는 효과

상징판별과제에서 피험자들의 품사별 평균점수와 표준편차는 Table 1과 같다. 5개의 일치항목과 5개의 불일치항목으로 구성된 명사(N=10), 부사(N=10), 동사(N=10)에 대하여 10점 만점 중 명사는 평균 10.00점이었고 부사는 9.85점이었으며 동사는 9.88점인 것으로 나타났다. 모든 피험자가 명사에 대해서는 오반응 없이 모두 정확하게 반응을 한 것으로 나타났으며 비록 동사와 부사에서는 일부 오반응이 보이긴 하였지만 비교적 높은 점수를 보였다. 반복측정 일원분산분석 결과 과제점수에 있어서 품사유형 간의 유의한 차이는 없는 것으로 나타났다 (F(1.690, 54.076) = 2.765, p =.080).

Accuracy scores in the symbol verification task for nouns, adverbs, and verbs

제시 자극어와 그림상징 간의 일치 여부가 수행에 영향을 주었는지를 살펴보기 위하여 반복측정 이원분산분석을 추가로 실시한 결과 자극일치도의 주효과는 없었으며 (F(1, 32) =.139, p =.712), 품사유형과의 상호작용효과도 유의하지 않은 것으로 나타났다 (F(1.404, 44.944) =.693, p =.456).

품사유형이 반응시간에 미치는 효과

피험자들의 품사별 평균반응시간과 표준편차는 Table 2에 제시되어 있다. 명사의 평균 반응시간은 914.13 ms로 가장 짧았으며 부사와 동사 순으로 그 뒤를 이었다. 통계적으로 품사별 유의한 차이가 있는지를 살펴보기 위해 반복측정 일원분산분석을 실시한 결과 반응시간에 유의한 차이가 있는 것으로 나타났다 (F(1.816, 581.170) = 22.348, p < .001).

Response time (ms) in the symbol verification task for nouns, verbs, and verbs

사후검정으로 반응시간의 차이를 보이는 품사를 판별하기 위해 대응표본 t-검정을 보정한 유의수준 .017 (.05/3 contrasts)에서 실시한 결과 명사와 부사 간에 (t(324) = −5.693, p < .001), 그리고 명사와 동사 간에 (t(325) = −6.943, p < .001) 유의한 차이가 있었다. 부사와 동사 간에는 통계적으로 반응시간에 차이가 없었다 (t(320) = -.356, p =.722).

자극 간의 일치 여부가 품사유형별 반응시간에 미치는 효과

제시 자극어와 그림상징 간의 일치 여부가 반응시간에 영향을 주었는지를 살펴보기 위하여 반복측정 이원분산분석을 추가로 실시한 결과 자극일치도의 주효과가 유의하였으며 (F(1, 156) =52.027, p<.001), 품사유형과의 상호작용효과도 유의하였다 (F(2, 312) = 22.182, p< .001) (Figure 2). 이에 목표어휘-그림상징 자극 간의 일치 항목과 불일치 항목 중 어떤 항목에서(또는 두 조건 모두에서) 품사유형별로 차이를 보이는지를 파악하기 위하여 단순주효과를 보정한 유의수준 .025 (.05/2 contrasts)에서 살펴본 결과 자극 간 일치 항목들에서 (F(1.695, 274.628) = 22.691, p < .001) 그리고 불일치 항목들에서 (F(1.743, 275.402) =12.733, p < .001) 품사유형에 따라 반응시간에 유의한 차이가 있었다.

Figure 2.

Response times of nouns, adverbs and verbs for the incongruent and the congruent conditions in the symbol verification task.

각각의 조건에서 보이는 품사유형별 반응시간의 차이가 전체 항목에 대한 결과와 일치하는지를 살펴보기 위하여 조건별로 대응표본 t-검정을 실시한 결과는 다음과 같다. 자극 간 일치조건에서는 명사와 부사 간에 (t(164) = −8.202, p < .001), 그리고 명사와 동사 간에 (t(162) = −4.800, p < .001) 유의한 차이가 있었다. 부사와 동사 간에는 통계적으로 반응시간에 차이가 없었다 (t(162) =1.485, p =.139). 자극 간 불일치조건에서는 명사와 부사 간에 (t(161) = 4.128, p < .001), 그리고 명사와 동사 간에 (t(160) = −5.596, p < .001) 유의한 차이가 있었으며 부사와 동사 간에는 유의한 차이가 없었다 (t(158) = -.032, p =.975).

반응시간 간의 차이는 Figure 2Table 3에 제시된 바와 같이 자극 일치 여부에 따라 그 성격이 다르게 나타났다. 일치조건에서는 부사의 평균 반응시간이 967.52 ms로 가장 긴 반면, 불일치조건에서는 부사의 평균 반응시간인 957.01 ms가 다른 두 품사보다 짧은 것으로 나타났다. 즉, 일치조건보다 불일치조건에서 명사의 평균 반응시간이 월등히 길어졌으며 (t(161) = −7.427, p < .001), 이는 동사에 대해서도 마찬가지 양상을 보였다 (t(158) = −5.590, p < .001). 부사는 두 조건 간에 반응시간의 차이가 통계적으로 보이지 않았다 (t(164) =.610, p =.543).

Response time (ms) of nouns, adverbs and verbs for the incongruent and the congruent conditions

논의 및 결론

본 연구에서는 성인 AAC 사용자들에게 근거기반의 중재를 제공하고자 AAC 체계의 중요 구성요소 중 하나인 그림상징에 초점을 맞추어 임상에서 필요로 하는 상징판별능력에 관한 기초연구를 실시하였다. 첫 번째 연구 질문과 관련하여, 품사유형별로 과제 점수 간에는 차이가 없었다. 피험자들은 명사 항목에 대해 오반응 없이 100% 정확한 상징 판별을 하였고, 부사와 동사에 대해서는 일부 오반응을 보이긴 하였으나 대체로 양호한 수행을 보였다. 이러한 천장효과(ceiling effect)는 본과제를 실시하기 전에 목표단어와 그에 해당하는 그림상징을 연결하는 친숙화 단계를 거쳤기 때문에 생기는 당연한 결과로 볼 수도 있겠으나 한편으로는 AAC 그림상징을 학습한 경우 이들을 실전에서 사용할 때에는 그 정확도에 차이가 발생하지 않는다는 것을 보여준다. 본 연구에서 친숙화 단계는 연구 목적상 개개인이 상징에 대해 갖고 있을 서로 다른 개념을 통일시켜 하나의 목표어휘를 표상하도록 고안된 조치이다. 따라서 일반적인 그림상징을 보고 명명하기를 통해 상징인식의 정도를 가늠하는 연구방법(예: Yeon et al., 2016)과는 그 목적을 달리하며 오히려 일반적인 판별과제에서 더 민감한 측정변수로 작용할 수 있는 반응시간의 분석을 위한 전제를 형성하는 역할도 한다고 볼 수 있다. 그러므로 본 과제에서 피험자들이 보인 높은 정반응률을 잘못 해석하여 이화-AAC 상징의 높은 타당도나 투명도로 해석하지 않도록 조심해야 하겠다.

두 번째 연구 질문은 품사유형이 상징을 판별하는 반응시간에 영향을 미치는지를 살펴보는 것이었다. 피험자가 정반응을 보인 것에 대하여 반응시간을 분석한 결과 명사에 해당하는 그림상징을 판별할 때에 부사나 동사를 판별할 때보다 더 짧은 시간이 소요되었다. 선행연구에 따르면 명사는 높은 도상성으로 인해 상징의 인식과 이해가 도모된다고 하였다(Bloomberg, Karlan, & Lloyd, 1990; Yeon et al., 2016). 본 연구는 이러한 명사 상징의 특징이 실제로 목표상징을 판별하는 상황에서도 영향을 주었다는 것을 밝혀냈다. 아울러 취학전 아동과 마찬가지로 20–30대의 성인 또한 명사 상징을 인식하는 과정에서 다른 품사보다도 편향한 효율성을 보인다는 것을 밝힘으로써 기존의 Yeon 등(2016)이 주장한 이화-AAC 상징에 대한 사용자의 특징을 젊은 층의 성인으로 확장하였다.

동사와 부사는 서로 간의 유의한 차이가 없이 명사보다 반응시간이 긴 것으로 나타났는데 이에 대해서 AAC 문헌에서는 명사보다 낮은 도상성에 그 이유를 두고 있다(Bloomberg et al., 1990; Yeon et al., 2016). 그러나 이러한 설명한 그 기저에 깔린 명확한 메커니즘을 설명해주고 있지는 못하기 때문에 인지심리학의 단어인출모델(Dell, 1986; Indefrey & Levelt, 2004; Levelt, 1989)을 통해 설명을 시도해볼 필요가 있겠다. AAC는 그림상징(예: 의자)이 표상하고 있는 여러 가지 자질들(예: 나무, 다리, 네 개, 등받이)이 지각된 후 개념 준비단계에서 그 의미가 처리되어 그림상징이 나타내는 특정 단어(예: ‘의자’)를 떠오르게 하는 것으로 볼 수 있다. 따라서 목표 어휘를 활성화시키기 위해 요구되는 개념 단위들이 그림상징을 통해 활성화되기 어렵거나 개념 활성화에 필요한 그림 자질의 양와 질이 미흡하다면 상징에 해당하는 어휘를 인식하기까지 많은 시간이 소요될 수밖에 없다. 동사와 부사가 명사와 다르게 상징을 인식하여 판별하는 반응시간이 길어진 이유는 바로 이러한 개념활성화에 요구되는 그림의 자질이 명사보다 더 다양하고 더 복잡하기 때문일 것으로 유추해볼 수 있겠다. 가령, 동사의 그림상징은 동작의 방향, 대상, 위치 등의 다양한 그림자질들을 확인하여 이를 통합한 뒤 개념으로 형성하는 단계가 필요하다. 부사의 경우도 상태나 정도를 그림으로 표상하기 위해서는 명사보다도 많은 배경정보를 필요로 하기 때문에 한번에 필요로 하는 그림자질의 수가 많게 된다.

마지막 연구질문은 자극 간의 일치 여부가 반응시간에 영향을 주는지를 살펴보는 것이었다. 연구결과 불일치조건의 명사와 동사를 판별할 때에 일치조건일 때보다 더 오랜 시간이 걸리는 것으로 나타났다. 이러한 결과를 Indefrey와 Levelt (2004)의 인출과정모델을 통해 살펴보면, 목표어휘와 일치하지 않는 그림상징의 자질들이 입력되었을 경우 자동으로 활성화되는 그림의 개념 단위들이 목표어휘가 아닌 비목표어휘를 어휘저장소에서 인출하게 하고, 이렇게 인출된 비목표어휘와 글로 제시된 목표어휘간의 불일치가 상징을 정확하게 판별하는 데에 더 오랜 시간을 소요하게 만드는 것으로 풀이된다. 또는 어휘저장소에 접근할 필요도 없이, 목표어휘가 갖는 개념이 비목표어휘에 해당하는 그림상징이 제시하는 개념과 일치하지 않기 때문에 이들간의 불일치를 검증하는 과정이 일치조건일 때보다 더 많은 시간을 소요했던 것으로 보인다. 다만 부사 상징에 대해서는 두 조건간의 차이가 없는 것으로 나타났는데, 이에 대해서는 이화-AAC 그림상징만이 갖고 있는 상징의 특징이 영향을 주었기 때문인지 혹은 그림상징체계의 종류와 무관하게 부사에 대하여 불일치조건에서 판별하는 데에 별다른 어려움이 없는 것인지 후속 연구가 필요하겠다.

본 연구에서 확인된 결과들은 그림상징을 사용하여 의사소통하는 성인 장애인들에게 효과적인 AAC 중재를 제공하는 데에 다음과 같은 중요한 기초자료를 제공한다. 우선 품사별로 서로 다르게 나타나는 반응시간은 AAC 사용자가 상징을 단독으로 선택하거나 결합하여 메시지로 산출할 때에 목표어휘의 품사가 AAC 수행의 효율성에 영향을 주는 중요한 요소로 작용될 수 있다는 것을 보여준다. 개인이 어휘에 대해 갖고 있는 개념과 AAC 시스템이 제공하는 그림상징의 표상과의 관계가 얼마나 잘 대응되는지에 따라 그 수행이 결정될 수도 있지만, 이러한 대응되는 정도가 품사별로 차이가 나타난다는 것을 보여준다 하겠다. 이러한 결과는 다수가 보편적으로 표상할 수 있는 도상성이 높은 그림상징을 개발하는 것이 얼마나 중요한지를 알 수 있으며 한편으로는 모두를 만족시키는 그림상징의 개발이 어려울 수도 있다는 것도 말해준다. 따라서 어휘에 대해 보편적인 개념을 형성하지 못한 장애인의 경우라면 그에 맞는 상징의 선택이 AAC의 초기 평가 때에 체계적으로 잘 이루어져야 할 것이며, 상징체계를 개발할 때에도 이들이 어휘에 대하여 갖고 있는 개념을 잘 표상한 상징을 선택하는 배려가 필요할 것으로 보여진다. 아울러 명사 위주의 단단어 산출이 아닌 부사와 동사를 함께 사용하는 2어 조합 이상의 산출 형태에서는 반응시간이 선택하는 상징의 수만큼 일관되게 증가하는 것이 아니라 상징의 품사에 따라서 더 증가할 수 있다는 것을 예측할 수 있게 해준다. 보다 복잡한 구문으로 문장산출을 원하는 성인 사용자들의 의사소통 속도 향상을 위해서는 이들의 상징 판별시간을 줄여주기 위한 방안이 모색되어야 할 것으로 보이며 상징의 위치를 고정시켜 인지적 부담을 줄이는 것이 대안이 될 수 있을 것이다(Shin, in press).

두 번째로 자극 간의 일치성이 주는 영향과 관련하여 본 연구는 AAC 사용자들이 그림상징판을 사용할 때에 발생할 수 있는 인지적 부담에 대해서도 기초자료를 제공해 주고 있다. 사용자가 메시지를 효과적으로 산출하기 위해서는 상징을 선택하는 과정에서 다수의 비목표 그림상징을 필터링하여 목표 그림상징을 찾아내야 하기 때문에 의사소통에 소요되는 시간은 효율적인 상징의 판별능력과 직접적으로 반비례하게 된다. 이러한 시간소요를 줄이기 위해서는 사용자가 그림상징의 자질을 시지각적으로 입력하고 그 자질이 가지고 있는 의미를 목표 개념과 비교 판단하는 데에 소모되는 시간과 노력을 최소화하는 방안이 필요하다. 위와 마찬가지로 가급적 자주 사용하는 상징의 위치를 고정화하여 상징선택을 위한 움직임의 자동화(motor planning 또는 automaticity)가 일어날 수 있도록 하는 방법이 고려될 수 있으며, 이와 함께 문법과 어순을 고려한 효율적인 그림상징의 배치 전략과 화면에 제시되는 그림상징의 수 조절, 그리고 체계적인 중재 계획 등이 마련되어야 할 것이다(Beukelman & Mirenda, 2013; Grabowski, 2010; Shin, in press; Thistle & Wilkinson, 2015).

위와 같은 연구의 의의에도 불구하고 다음과 같은 한계점이 있어 후속 연구를 필요로 한다. 우선 대상자를 젊은 성인층으로 한정하였기 때문에 인지 및 언어능력이 감퇴하는 노년층의 상징인식능력을 이해하는 데에는 어려움이 있다. 또한 음절수와 빈도수를 통제하여 자극어가 선정되었기 때문에 품사별로 선정된 어휘의 수가 적었다는 점이 일반화를 하는 데에 제한점이 될 수 있겠다. 마지막으로 본 연구에서 명사 상징의 반응시간이 동사와 부사보다 높게 나타난 것은 구체명사만을 포함하였기 때문일 수 있으므로 구체명사보다 더 복잡한 개념의 표상을 필요로 하는 추상명사로 확대하는 데에 어려움이 있다. 추후 연구에서는 폭넓은 연령대와 장애인 군을 대상으로 다양한 품사에 대한 상징판별능력을 연구할 필요가 있겠다.

References

Barton, A., Sevcik, R. A., & Romski, M. A. (2006). Exploring visual-graphic symbol acquisition by preschool age children with developmental and language delays. Augmentative and Alternative Communication, 22, 10–20.
Beukelman, D., & Mirenda, P. (2013). Augmentative and alternative communication (4th ed.). Baltimore, MD: Brookes, Paul H.
Bloomberg, K., Karlan, G. R., & Lloyd, L. (1990). The comparative translucency of initial lexical items represented by five graphic symbol systems. Journal of Speech and Hearing Research, 33, 717–725.
Chang, H. J., Jeon, H. S., Shin, M. S., & Kim, H. J. (2014). Study on selection of basic vocabulary for elementary school students: focused on basic vocabulary in the lower grades. Journal of Speech & Hearing Disorders, 23, 157–170.
Choi, E. J., Kim, Y. T., Yeon, S. J., Kim, J., & Hong, K. H. (2016). Effects of ro-bot and computer-based intervention on learning action word symbols of AAC for children with autism spectrum disorder. Communication Science and Disorders, 21, 744–759.
Dada, S., Huguet, A., & Bornman, J. (2013). The iconicity of picture communication symbols for children with english additional language and mild intellectual disability. Augmentative and Alternative Communication, 29, 360–373.
Dell, G. S. (1986). A spreading-activation theory of retrieval in sentence production. Psychological Review, 93, 283–321.
Emms, L., & Gardner, H. (2010). Study of two graphic symbol-teaching methods for individuals with physical disabilities and additional learning difficulties. Child Language Teaching and Therapy, 26, 5–22.
Grabowski, J. (2010). Speaking, writing, and memory span in children: output modality affects cognitive performance. International Journal of Psychology, 45, 28–39.
Harmon, A. C., Schlosser, R., Gygi, B., Shane, H. C., Kong, Y. Y., Book, L., & Hearn, E. (2014). Effects of environmental sounds on the guessability of animated graphic symbols. Augmentative and Alternative Communication, 30, 298–313.
Huang, C. H., & Chen, M. C. (2011). Effect of translucency on transparency and symbol learning for children with and without cerebral palsy. Research in Developmental Disabilities, 32, 1829–1836.
Huer, M. B. (2000). Examining perceptions of graphic symbols across cultures: preliminary study of the impact of culture/ethnicity. Augmentative and Alternative Communication, 16, 180–185.
Indefrey, P., & Levelt, W. J. M. (2004). The spatial and temporal signatures of word production components. Cognition: International Journal of Cognitive Science, 92, 101–144.
Kim, H. H., & Na, D. L. (2001). Paradise·Korean version-Western Aphasia Battery (K-WAB). Seoul: Paradise Welfare Foundation.
Kim, Y. T., Hong, G. H., Kim, K. H., Jang, H. S., & Lee, J. Y. (2009). Receptive & Expressive Vocabulary Test (REVT). Seoul: Seoul Community Rehabilitation Center.
Levelt, W. J. M. (1989). Speaking: from intention to articulation. Cambridge, MA: MIT Press.
Light, J., & Drager, K. (2002). Improving the design of AAC technologies for young children. Assistive Technology, 14, 17–32.
Light, J., & Drager, K. (2007). AAC technologies for young children with complex communication needs: State of the science and future research directions. Augmentative and Alternative Communication, 23, 204–216.
Mirenda, P., & Locke, P. A. (1989). A comparison of symbol transparency in nonspeaking persons with intellectual disabilities. Journal of Speech and Hearing Disorders, 54, 131–140.
Mizuko, M. (1987). Transparency and ease of learning of symbols represented by Blissymbols, PCS, and Picsyms. Augmentative and Alternative Communication, 3, 129–136.
Musselwhite, C. R., & Ruscello, D. M. (1984). Transparency of three communication symbol systems. Journal of Speech and Hearing Research, 27, 436–443.
Nigam, R., Chlosser, R. W., & Lloyd, L. L. (2006). Concomitant use of the matrix strategy and the mand-model procedure in teaching graphic symbol combinations. Augmentative and Alternative Communication, 22, 160–177.
Park, E. H., & Kim, J. Y. (2004). A literature review regarding symbol systems for augmentative and alternative communication. Korean Journal of Communication Disorders, 9, 100–129.
Park, E. H., Kim, Y. T., Hong, K. H., Yeon, S. J., Kim, K. Y., & Lim, J. H. (2016). Development of Korean Ewha-AAC symbols: validity of vocabulary and graphic symbols. AAC Research & Practice, 4, 19–40.
Ross, K. B., & Wertz, R. T. (2003). Quality of life with and without aphasia. Aphasiology, 17, 355–364.
Schneider, W., Eschman, A., & Zuccolotto, A. (2002). E-Prime user's guide. Pittsburgh, PA: Psychology Software Tools Inc.
Seong, S. Y., Lim, J. H., Kim, Y. T., & Park, E. (2013). The prevalence of potential AAC users in Korea: from the early childhood to the adulthood. AAC Research & Practice, 1, 1–24.
Sevcik, R., & Romski, M. A. (1986). Representational matching skills of persons with severe retardation. Augmentative and Alternative Communication, 2, 160–164.
Shin, S. (in press). Effect of AAC graphic symbols in a fixed array on sentence construction. Communication Sciences & Disorders.
Stephenson, J. (2009). Iconicity in the development of picture skills: typical development and implications for individuals with severe intellectual disabilities. Augmentative and Alternative Communication, 25, 187–201.
Sutton, M. (2012). Apps to aid aphasia. ASHA Leader, 17, 32.
Thistle, J. J., & Wilkinson, K. M. (2015). Building evidence-based practice in AAC display design for young children: current practices and future directions. Augmentative and Alternative Communication, 31, (2)124–136.
Tönsing, K. M. (2016). Supporting the production of graphic symbol combinations by children with limited speech: a comparison of two AAC systems. Journal of Developmental and Physical Disabilities, 28, 5–29.
Trudeau, N., Sutton, A., Morford, J. P., Côté-Giroux, P., Pauzé, A., & Vallée,, V. (2010). Strategies in construction and interpretation of graphic-symbol sequences by individuals who use AAC systems. Augmentative and Alternative Communication, 26, 299–312.
Tsai, M. J. (2013). Adults' preferences between Picture Communication Symbols (PCSs) and Gus Communication Symbols (GCSs) used in AAC. Research in Developmental Disabilities, 34, 3536–3544.
Visser, N., Alant, E., & Harty, M. (2008). Which graphic symbols do 4-year-old children choose to represent each of the four basic emotions? Augmentative and Alternative Communication, 24, 302–312.
Worah, S., McNaughton, D., Light, J., & Benedek-Wood, E. (2015). A comparison of two approaches for representing AAC vocabulary for young children. International Journal of Speech-Language Pathology, 17, 460–469.
Yeon, S. J., Kim, Y. T., & Park, E. H. (2016). Transparency and name agree-ment of Korean Ewha-AAC symbols: nouns, verbs, and adjectives. AAC Research & Practice, 4, 45–63.
Yovetich, S., & Young, A. (1988). The effects of representativeness and con-creteness and the “guessability” of blissymbols. Augmentative and Alternative Communication, 4, 35–39.

Appendices

Appendix 1. 자극어 및 그림상징목록

Article information Continued

Figure 1.

Procedures of the symbol verification task using E-Prime 2.0.

Table 1.

Accuracy scores in the symbol verification task for nouns, adverbs, and verbs

Score
Nouns 10.00 (0.00)
Adverbs 9.85 (0.36)
Verbs 9.88 (0.33)

Values are presented as mean (SD).

Table 2.

Response time (ms) in the symbol verification task for nouns, verbs, and verbs

Response time
Nouns 914.13 (159.42)
Adverbs 1,004.56 (304.04)
Verbs 1,011.12 (255.11)

Values are presented as mean (SD).

Figure 2.

Response times of nouns, adverbs and verbs for the incongruent and the congruent conditions in the symbol verification task.

Table 3.

Response time (ms) of nouns, adverbs and verbs for the incongruent and the congruent conditions

Congruent Incongruent
Nouns 765.70 (132.51) 1,069.35 (352.45)
Adverbs 967.52 (170.61) 957.01 (222.16)
Verbs 940.65 (227.63) 1,067.33 (271.61)

Values are presented as mean (SD).

No. 명사
부사
동사
자극어 그림상징 자극어 그림상징 자극어 그림상징
1 의자 6 빨리 11 잡다
2 그릇 7 지금 12 찾다
3 비누 8 계속 13 놓다
4 양말 9 다시 14 버리다
5 사과 10 많이 15 던지다