Development of Performance Indicators for AAC Application Design and Usability Evaluation

Kyungrang Baik; Kyungyang Kim; Eunhye Park; Young Tae Kim

doi:10.12963/csd.23983

Commun Sci Disord > Volume 28(3); 2023 > Article

AAC 애플리케이션 디자인 및 사용성 평가를 위한 성과지표 개발

Original Article

Commun Sci Disord 2023; 28(3): 567-582.

Published online: September 30, 2023

DOI: https://doi.org/10.12963/csd.23983

AAC 애플리케이션 디자인 및 사용성 평가를 위한 성과지표 개발

백경랑^a, 김경양^b, 박은혜^c, 김영태^a

^a이화여자대학교 대학원 언어병리학과

^b서울시장애인의사소통권리증진센터

^c이화여자대학교 특수교육과

Development of Performance Indicators for AAC Application Design and Usability Evaluation

Kyungrang Baik^a, Kyungyang Kim^b, Eunhye Park^c, Young Tae Kim^a

^aDepartment of Communication Disorders, Ewha Womans University, Seoul, Korea

^bThe Center of Communication Rights in Seoul for the People with Disabilities (CCRS), Seoul, Korea

^cDepartment of Special Education, Ewha Womans University, Seoul, Korea

Correspondence: Young Tae Kim, PhD Department of Communication Disorders, Ewha Womans University, 52 Ewhayeodae-gil, Seodamun-gu, Seoul 03760, Korea Tel: +82-2-3277-2120 Fax: +82-2-3277-2122 E-mail: youngtae@ewha.ac.kr

This research was supported by the Assistive Technology R&D Project for People with Disabilities and the Elderly funded by the Ministry of Health & Welfare, Korea (grant number: HJ21C0007).

Received July 4, 2023 Revised August 29, 2023 Accepted August 29, 2023

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

배경 및 목적

과학 기술 진보와 함께 다양한 AAC 애플리케이션(이하 앱)이 개발되고 있으며, 이러한 상황에서 AAC 사용자는 자신의 특성 및 요구에 맞는 AAC를 찾고자 한다. AAC 성과지표는 AAC에 대한 사용성 평가와 함께 사용자의 의사소통 능력 향상과 만족도를 측정하는 도구로 사용될 수 있어야 한다. 따라서 본 연구에서는 AAC 사용자 및 주변관련인이 AAC 앱을 다각적으로 평가할 수 있는 성과지표를 개발하게 되었다.

방법

모바일 앱 및 사용성 평가 관련 선행연구 및 기존 사용성 평가들을 분석하여 키워드를 추출하였으며, 그를 바탕으로 성과지표 문항을 개발하였다. 전문가 타당도 및 AAC 사용자 · 주변관련인 대상으로 설문조사를 실시하여 최종 문항 수를 조정하고 타당도 및 신뢰도를 평가하였다.

결과

성과지표 문항 개발을 위한 선행연구 분석 결과는 워드 클라우드의 형태로 시각화하였으며, AAC 사용자와 관련된 단어가 여러 연구에서 높은 빈도로 나타났다. AAC 앱 성과지표에 대한 신뢰도 평가 결과, Cronbach’s α 값 .9 이상으로 나타났으며, 내용타당도 실시 결과, 전문가 타당도는 S-CVI가 .978, AAC 사용자 및 주변관련인 설문조사에서는 .754로 나타났다. 탐색적 요인분석을 통한 구인타당도 실시 결과, 모든 변수는 .4 이상의 공통성을 보였으며, 문항들은 사용성, 사회적 의사소통, 사용자 중심 설계, 적용, 역량 강화의 5개 요인으로 구분되었다.

논의 및 결론

AAC 앱 성과지표는 사용자 중심으로 개발 및 활용되어야 하며, 주변관련인들의 의견과 다양한 요인을 포함하여야 한다.

Keywords: 보완대체의사소통, AAC 애플리케이션, 성과지표, 설문조사, 요인분석

Abstract

Objectives

With advancements in scientific and technological progress, various Augmentative and Alternative Communication (AAC) applications (apps) have been developed. AAC users require AAC systems that align with their personal characteristics and needs. AAC performance indicators, which encompass usability evaluation, aim to measure communication effectiveness and satisfaction. These indicators can be utilized to assist AAC users in selecting appropriate AAC systems. The goal of this study was to develop performance indicators that would allow AAC users and stakeholders to evaluate AAC apps from multiple perspectives.

Methods

Mobile apps and usability evaluations in prior studies were analyzed to extract keywords. Performance indicator items were developed based on this analysis. Expert validity was evaluated, and a survey of AAC users and stakeholders was done to adjust the number of items included and measure validity and reliability.

Results

The analysis of prior studies for the development of performance indicator items was visualized in the form of a word cloud. The reliability assessment of AAC app performance indicators yielded a Cronbach’s α value of 0.9 or higher. Regarding content validity, the expert validity showed an S-CVI of 0.978, while the survey with AAC users and stakeholders resulted in 0.754. Exploratory factor analysis was performed to assess construct validity, revealing that all variables demonstrated a communalities value of 0.4 or higher. The items were categorized into five factors: usability, social communication, user-centered design, adoption, and empowerment.

Conclusion

AAC app performance indicators should be user-centered, incorporating diverse perspectives and evaluating various aspects of app usage.

Keywords: Augmentative and Alternative communication (AAC), AAC application, Performance indicator, Survey, Factor analysis

보완대체의사소통(Augmentative and Alternative Communication; AAC)은 개인이 일상적인 의사소통 문제를 해결하기 위해 사용하는 도구와 전략의 집합이다(Burkhart, n.d.). AAC는 크게 외부 도구의 포함 여부에 따라 도구적(aided) AAC와 비도구적(unaided) AAC로 나눌 수 있다. 도구적 AAC는 외부 도구를 사용하는 것으로서(Light, Wilkinson, Thiessen, Beukelman, & Fager, 2019), 기술적 수준에 따라 ‘low tech’부터 ‘high tech’까지 다양한 범위에서 구현된다. 비도구적 AAC는 의사소통을 위하여 개인의 신체를 다양하게 활용하는 것으로, 눈짓, 표정, 몸짓, 발성 등을 포함한다(Braddock, Hilton, & Loncke, 2017).

최근, AAC는 과학 기술의 발전과 함께 많은 변화를 겪게 되었다. 인간-컴퓨터 상호작용(Human Computer Interface, HCI) 기술이 AAC에 적용되며 의사소통 기술의 발전이 이루어지고, 다방면에서 AAC 사용자의 의사소통 능력 향상을 위한 지원이 강화되었다. AAC와 결합된 HCI 기술의 예로는 눈동자의 움직임을 따라 글자, 그림, 상징 등을 선택하는 방식으로 의사소통에 활용할 수 있는 시선추적 기술, 사람이 손으로 만질 때의 전기 신호에 반응하는 터치스크린(Caligari, Godi, Giardini, & Colombo, 2019), 신경신호를 감지하여 기기를 제어하는 뇌-컴퓨터 인터페이스 기술 등을 들 수 있다(Elliott, Sutherland, Gerhard, & Theys, 2022; Pitt & Brumberg, 2023).

또한 소셜 미디어, 모바일 기술과 같은 주류 정보 기술의 유기적인 활용은 AAC를 새로운 시대로 이끌고 있다(Hemsley, Balandin, Palmer, & Dann, 2017; Light & McNaughton, 2014). 정보통신 기술의 광범위한 적용은 음성 출력 기술, 단어 예측 및 이미지 지원 등의 기술을 주류 플랫폼에서 장애인에게 제공될 수 있게 하였다(Waller, 2019). 모바일 기술의 발전이 스마트폰 기반의 AAC 애플리케이션(application, 이하 앱) 개발을 확대시킴에 따라 세계 각국에서 다양한 모바일 AAC 앱이 개발되었다(de los Reyes, Rodriguez, Umali, Solamo, & Feria, 2014; Hirotomi, 2018). 이러한 모바일 기술의 발전은 국내외에서 모바일 AAC 앱 개발 및 관련 연구가 다양한 방향에서 이루어질 수 있는 확장된 접근성을 제공하였다(Light, McNaughton, & Caron, 2019; McNaughton & Light, 2013).

그 외에도 모바일 기술에 인공지능(Artificial Intelligence, AI), 전지구 위치 파악 시스템(Global Positioning System, GPS) 기술 등을 적용하여 AAC의 역할 범위를 확장시키는 개발 연구들이 점차 증가하고 있다. Murero, Vita, Mennitto와 D’Ancona (2020), Lee와 Park (2021)은 AI 기술을 접목하여 말장애 대상 AAC 개발 연구를 하였으며, Ryu, Hong, Chae와 Yeon (2022)은 AI speaker와 Home IoT 기술을 AAC와 연결지었다. GPS 기술을 활용한 AAC 개발 연구는 Davies, Stock, Herold와 Wehmeyer (2018)의 GeoTalk과 Ahn, Hong, Kim과 Lee (2022)의 Location and Situation Based AAC 등이 있다.

이와 같이 AAC가 다양한 기술 영역과 접목하며 다양화, 다각화되는 것은 AAC 사용자의 의사소통 옵션을 확대할 수 있으며(Light et al., 2019), AAC 체계의 유연성과 효율성을 증진시킬 수 있다. 그리고 모바일 기반 AAC 앱은 기존의 AAC 전용 기기보다 휴대하기 용이하며, 대중적으로 사용되는 스마트 기기를 통한 접근은 AAC 사용자의 사회적 인식 및 자아 이미지에 긍정적인 영향을 미칠 수 있다(Hyatt, 2011; McNaughton & Light, 2013). 또한 모바일 AAC 앱은 인터넷이나 모바일 앱 스토어를 통해 설치할 수 있어서 AAC 사용자에게 접근 용이성을 제공하며, 사용자가 자체적으로 AAC에 대해 자율성을 가지고 선택과 결정을 하는데 도움을 준다(Rummel-Hudson, 2011).

AAC 사용자들은 자율성 확대에 따라, 다양한 선택지 중에서 자신의 개인적 특성과 요구에 맞는 적합한 AAC를 찾아야 한다. AAC 사용자는 어떤 것이 더 사용하기 쉬운지, 어떤 것이 더 효율적인지 등을 비교하여 자신의 요구에 맞는 AAC를 선택할 수 있어야 한다. 또한 AAC 사용자와 가장 많은 의사소통을 주고받으며(Kim, Baik, Park, & Kim, 2022), AAC 사용자를 지원하고 연결된 사람들인 주변관련인(stakeholders) 역시 AAC 사용자의 AAC 선택을 지원하기 위한 방법을 찾고자 한다. 성과지표(performance indicator)는 정량적인 측정 방법으로, AAC 관련 의사결정에 효과적으로 활용될 수 있다.

성과지표란 성과목표를 측정하기 위한 객관적인 수단이자, 성과가 가져올 수 있는 기대결과에 대비하여 성과를 평가하는 기준이다(Niven, 2008). 성과지표와 유사한 개념으로 사용성 평가(usability test)가 있다. International Organization for Standardization(ISO, 2018)은 사용성을 사용자가 특정 목표를 효과적(effectiveness), 효율적(efficiency), 만족할 수 있게(satisfaction) 달성하도록 하는 제품의 정도로 정의한다. 효과성, 효율성, 만족성은 ISO (2018)의 사용성 요소에 해당하며, 사용성의 요소는 연구자에 따라 다양하게 정의한다(Arthana, Pradnyana, & Dantes, 2019). Nielsen (2020)은 사용성에 대한 열 가지 규칙을 제시하였으며, 구체적이거나 특수하게 적용 가능한 내용이 아닌 일반적, 보편적인 내용으로 구성된다. 이를 휴리스틱(heuristics)이라고 하며, 단순한 디자인, 오류 예방, 도움말 제공 등을 포함한다.

성과지표와 사용성 평가는 질적 향상을 위해 활용할 수 있는 방법이라는 공통점을 갖지만, 세부적인 내용에서는 차이를 갖는다. AAC 성과지표라고 하면, AAC를 사용했을 때의 효과 및 성과에 대해 측정하는 도구가 되며, 이를 통한 의사소통 능력 향상 정도 등에 대해 측정하는 것을 목표로 한다. 그러나 AAC 사용성 평가는 사용자가 AAC를 사용했을 때의 효율성이나 만족도 등을 고려하여 AAC 기기를 평가하고 개선하고자 하는데 초점을 둔다. 수행의 초점을 누구/무엇에게 두느냐의 차이를 갖고 있지만, 성과지표와 사용성의 개념은 서로 상호보완적이며, AAC를 통한 의사소통의 향상을 위해서는 두 가지가 함께 고려되어야 한다. 따라서 본 연구에서는 성과지표에 사용성 평가의 개념을 포함하여 사용자가 AAC 앱을 사용했을 때 느끼는 만족도나 효율성을 평가하는 동시에, 해당 AAC 앱을 통해 사용자의 의사소통에 어떠한 변화가 생겼는지도 함께 살펴보고자 한다.

이에 따라 본 연구에서는 AAC 사용자 및 주변관련인을 대상으로 AAC 앱의 사용성, 만족성, 효율성 등의 측면을 다각적으로 살펴보는 평가문항을 구성하여 AAC 앱 성과지표를 개발하고자 한다. AAC 앱에 대한 평가문항을 개발할 경우, 모바일 기기의 크기, 상징이나 배열 등의 애플리케이션 구성, 음색과 관련된 문항이 포함되어야 하며(Lee & Hong, 2012), 실제 의사소통 상황에서의 활용 측면도 고려되어야 한다. 기존의 기기 중심의 사용성 평가와는 다른, AAC ‘성과지표’로서의 측면을 차별화하기 위해서는 AAC 사용자의 의사소통 측면과 관련된 내용이 포함되어야 한다. AAC 사용자의 의사소통과 관련하여 AAC 사용자의 역량, 주변관련인의 태도와 기술, 전문가의 가치와 지식, 부모의 참여와 지원, 팀 협력 등을 고려하여 문항을 개발할 수 있다(Soto, Muller, Hunt, & Goetz, 2001).

AAC 도구 및 AAC 사용자 측면을 고려하여 AAC 앱 성과지표가 개발된다면, 기존에 개발된 AAC나 새로 개발된 AAC 도구 및 방법에 대해 AAC 사용자와 주변관련인이 성과지표를 활용하여 사용성 및 만족성을 평가할 수 있다. 과학 기술 진보와 함께 다양한 AAC 애플리케이션이 개발되는 상황에서, AAC가 사용자의 필요에 적합하게 개발되었는지 평가할 수 있는 성과지표에 대한 요구에 따라 본 성과지표를 개발하게 되었다.

본 연구는 크게 두 가지 단계로 진행된다. 첫째, AAC 사용자 및 주변관련인의 AAC에 대한 경험 및 관점, AAC 및 모바일 앱 사용성 평가 관련 선행연구를 바탕으로 성과지표에 포함되어야 할 필수적인 요소들을 찾고, 그를 바탕으로 성과지표 예비문항을 개발하는 것이다. 둘째, 문헌분석을 중심으로 개발한 성과지표 예비문항을 바탕으로 전문가 타당도 평가 및 AAC 사용자와 주변관련인 대상 설문조사를 실시하여, 설문조사 결과에 대한 신뢰도 평가 및 요인분석을 실시하여 성과지표 문항의 적합성을 측정하는 것이다.

연구방법

연구절차

본 연구는 이화여자학교 생명윤리위원회의 승인을 받아 실시하였다(IRB 승인번호: ewha-202211-0010-01). 연구에서의 성과지표 개발 절차는 크게는 선행연구 분석을 통한 성과지표 문항 개발과 AAC 사용자 및 주변관련인을 대상으로 한 설문조사 실시 및 분석으로 진행되었다. 전반적인 연구절차 진행은 Figure 1에 도식화하여 제시하였다.

성과지표 문항 개발

선행연구 분석

AAC 앱 성과지표 개발을 위하여 AAC 사용자 및 주변관련인의 경험 및 관점에 대한 연구와 모바일 앱 사용성 평가라는 두 가지 주제를 중심으로 선행연구를 분석하였다. 모바일 앱 사용성 평가 주제는 모바일 앱 사용성 평가 방법, 사용자 인터페이스 디자인과 모바일 기기 평가, 특정 애플리케이션을 위한 사용성 평가 및 설계라는 세 가지 하위주제로 나뉘었다. 선행연구 분석에 포함된 연구 목록은 Table 1에 제시하였다. 선행연구를 바탕으로 키워드를 추출하였으며, 도출된 키워드는 키워드 분석을 통해 검증 절차를 거쳐서 1차 성과지표 문항으로 개발되었다.

키워드 분석은 텍스트 데이터에서 중요한 단어를 식별하고 분석하는 방법으로, 데이터의 특성 및 목적에 따라 키워드 빈도 분석, 키워드 네트워크 분석 등 다양한 방법으로 사용될 수 있다(Kim, Lee, Choi, & Wong, 2017). 본 연구에서는 AAC, 성과지표 및 사용성 평가 관련 키워드로 연구 논문을 검색하고, 해당 텍스트를 기반으로 키워드 빈도 분석을 실시하였다. 키워드 분석은 텍스트 마이닝 방법을 사용하여 Excel의 Pivot table에서 키워드 사용 빈도를 분석하였으며, 분석 결과는 워드 클라우드(word cloud) 형태로 시각화하여 제시하였다(Kim et al., 2022; Heimerl, Lohmann, Lange, & Ertl, 2014). 워드 클라우드는 키워드 빈도에 따라 글씨 크기를 다르게 하였으며(size =1-7), 글씨체(일반, 이탤릭체, 세리프체) 및 색(분홍, 하늘, 연보라색)을 통해 키워드별 유사성에 따라 한 눈에 파악할 수 있도록 유목화하여 제시하였다.

내부 타당도 평가

선행연구 분석에 따라 개발된 78개의 문항을 두고 2022년 6월 10일에 Google Forms를 사용하여 연구진 8인(연구보조원 포함)을 대상으로 내부 타당도 평가를 실시하였다. 5점 척도를 사용하여 1 (전혀 그렇지 않다)-5 (매우 그렇다)로 평정을 하였다. 전체 문항 평균 4.59점, 최고점 5점, 최저점 3점으로 나타났다. 평균 5점인 문항 28개와 평균 4.5점 이상의 문항 중 연구진 논의를 통해 선별한 17개의 문항을 더하여 2차로 총 45개의 성과지표 문항을 선정하였다.

전문가 타당도 평가

전문가 타당도 평가는 Lynn (1986)의 연구에서 권장하는 바에 따라 3인 이상의 전문가를 포함하였다. 본 연구에서는 언어병리학 전공 교수 2인 및 특수교육과 교수 2인, 총 4인의 교수가 전문가 타당도 평가를 실시하였다. 참여 전문가는 모두 박사학위 소지자로, 소속 대학에서 평균 약 10년의 재직 경력을 가지고 있다. 또한 AAC와 관련된 논문을 1인당 평균 10편 이상 게재하였다. 전문가 타당도 평가는 5점 척도를 사용한 평정과 함께 필요 문항에 대해서는 주관적 의견 진술을 하도록 하였으며, 100%의 회수율을 나타내었다.

전문가 타당도 평가 결과를 바탕으로 내용 타당도 지수(Content Validity Index, CVI)를 산출하였으며, 주관적 의견 진술에 따라 문항을 수정하였다. CVI는 척도 수준 CVI (Scale-Level Content Validity Index, S-CVI)와 문항 수준 CVI (Item-Level Content Validity Index, I-CVI)로 나눌 수 있다(Polit, Beck, & Owen, 2007).

CVI는 먼저 각 문항에 대한 전문가 간의 일치도를 통해 I-CVI를계산한 후에, 전체 문항에 대한 S-CVI를 산출하였다(Yusoff, 2019). I-CVI는 해당 문항에 대해 ‘타당하다’라고 평가한 전문가의 비율을 계산하여 구하는 것으로, ‘타당하다’라고 평가한 기준은 5점 척도 중 4, 5점을 준 것으로 보았다(Tsai, Fang, & Chi, 2019; Zamanzadeh et al., 2015). I-CVI는 5점 척도 중 4점, 5점을 선택한 인원의 수를 더하여 전체 인원 수로 나누었다(Russ et al., 2013). 전문가 타당도는 전문가 수가 3-5명일 때의 기준을 제시한 Polit 등(2007)의 기준을 반영하여 I-SCIexpert ≤1.000 미만을 1차 cut-off 점수로 삼았다(Yusoff, 2019). S-CVI는 I-CVI 점수의 합을 전체 항목 수로 나눈 S-CVI/Ave (S-CVI based on the average method)와 전문가 간 보편적 동의를 기준으로 이분법으로 계산하는 S-CVI/UA (S-CVI based on the universal agreement method)가 있으며(Yusoff, 2019), 본 연구에서는 S-CVI/Ave (이하 S-CVI)를 사용하고자 한다.

설문조사

연구 참여자

AAC 앱 성과지표 문항에 대한 설문조사를 AAC를 사용해 본 경험이 있는 AAC 사용자 및 주변관련인을 대상으로 실시하였다. 연구 참여자는 편의 표본 추출법(convenience sampling)을 사용하여 서울시장애인의사소통권리증진센터 이용자를 중심으로 모집하였다. 연구 참여자 중 AAC 사용자는 98.1% (104/106)가 성인으로 발달장애(지적장애, 자폐범주성장애) 및 뇌병변장애를 지녔으며, AAC 사용자의 가족 또한 주로 발달장애 및 뇌병변장애를 지닌 사람의 가족이다. 주변관련인에는 AAC 사용자의 가족과 함께 언어치료사, 특수교사, 활동지원사, 사회복지사 등이 포함되었다. 기타 집단에는 통합학급 교사, 보조공학사, 근로지원인, 언어병리학과 석사과정생 등이 포함되었다. 설문 참여자는 총 106명이며, 설문 참여자의 연령대는 10대부터 60대 이상까지 다양하게 분포하였다. 집단 구성 및 연령 분포에 관한 구체적인 내용은 Table 2에 제시하였다.

설문조사 절차

성과지표 문항에 대한 설문조사는 2022년 7월 19일부터 8월 16일까지 구글폼(Google Forms)을 사용하여 온라인으로 실시되었다. 설문조사 URL 주소는 서울시장애인의사소통권리증진센터에서 휴대전화 메시지를 통해 총 134명에게 설문조사 URL 주소를 2회 전달하였다. 설문조사는 각 하위범주별로 구분된 45개의 문항을 보고 매우 타당하다(5)-매우 타당하지 않다(1)의 5점 척도로 평정을 하도록 하였다. 온라인 설문조사에 참여한 106명의 설문 응답은 결측치 및 중복응답이 포함되지 않은 유효 표본으로 모두 통계 분석에 사용되었다.

자료분석

신뢰도 검증 절차

각 성과지표 문항의 신뢰도를 검증하기 위하여 신뢰도 분석을 통해 내적일관성 신뢰도를 산출하였다. 내적일관성 신뢰도는 IBM SPSS statistics version 28.0 for Windows 프로그램을 사용하여 신뢰도분석 절차에 따라 Cronbach’s α 값을 산출하여 검증하였다. 신뢰도 검증은 두 차례로 이루어졌다. 첫 번째는 AAC 사용자 및 주변관련인 설문조사와 전문가 타당도 평가에서의 각 문항의 신뢰도를 확인하기 위해 실시하였으며, 두 번째는 요인분석 후, 요인 추정에 대한 결과의 신뢰도를 파악하기 위해 각 요인별로 진행하였다.

타당도 검증 절차

성과지표 문항이 AAC와 관련하여 살펴보고자 하는 내용을 얼마나 정확하게 반영하고 있는지를 확인하기 위하여 타당도 평가를 실시하였다. 본 연구에서 타당도 평가는 주관적 절차에 따른 내용타당도(content validity)와 통계방법에 기초한 구인타당도(construct validity) 평가를 실시하였다.

내용타당도 평가는 AAC 사용자 및 주변관련인 설문조사와 전문가 타당도 평가로 실시하였다. 평정 결과는 평균점수 및 CVI (I-CVI, S-CVI)를 산출하도록 하였다. 평균점수 산출은 각 문항별로 전체 평정 점수를 합하여 인원수별로 나누었다. Lynn (1986)은 4점 척도 기준으로 I-CVI가 .78 이상일 때 타당하다고 하였으나, 본 연구에서는 5점 척도를 사용하였기 때문에 I-CVI가 .78 이하여도 선행연구 분석, 평균 점수 등을 고려한 연구진 논의를 통해 몇몇 문항은 최종 성과지표에 포함하였다.

구인타당도 평가는 IBM SPSS statistics version 28.0 for Windows 프로그램을 사용하여 탐색적 요인분석을 실시하였다. 요인 분석을 실시하기 전, 표본 적절성 측정을 하기 위하여 Kaiser-Meyer-Olkin (KMO) 측도와 Bartlett의 구형성 검정을 수행하였다. 요인분석을 할 때, 요인추출 방법으로는 주성분 방법을 사용하였으며, 고유값 기준으로 1 이상의 고유값을 추출하고자 하였다. 요인구조를 단순화하기 위해 요인회전을 실시하였으며, 직교회전 방법 중 하나인 베리멕스(VARIMAX)를 사용하였다. 요인분석 결과는 요인적재값과 공통성, 회전 제곱합 적재값의 분산(고유값, 분산 설명 비율, 누적비율)으로 제시하였다.

연구결과

성과지표 문항 개발

선행연구 및 기존 사용성 평가 분석

AAC 사용자 및 주변관련인의 경험 및 관점 관련 선행연구 3편에서 총 65개의 키워드를 추출하였으며, AAC 및 모바일 애플리케이션의 사용성 평가 관련 선행연구 16편에서는 유사한 내용의 키워드를 함께 묶었을 때 총 36개의 키워드로 정리되었다. 도출된 키워드는 총 101개로, 이를 바탕으로 성과지표 문항 101개를 1차로 개발하였다. 추출된 키워드 중 최종 성과지표 문항에 포함된 키워드 32개는 워드 클라우드(word cloud)를 만들어서 Figure 2에 제시하였다.

워드 클라우드에서 가장 높은 빈도로 나타난 키워드는 ‘효율성(effortless)’이었으며, 그 뒤로 ‘학습 가능성(learnability)’, ‘만족성(satisfaction)’ 등이 제시되었으며, 이는 글씨 크기를 통해 한 눈에 확인할 수 있다. 워드 클라우드에 포함된 키워드는 크게 세 가지로 분류되며, 글씨체와 색으로 구분하여 나타내었다. 분홍색 글씨는 AAC 사용자와 관련된 키워드로, 총 5개가 포함되었다(15.6%). 하늘색 이탤릭체 글씨는 AAC 기기와 관련된 키워드로, 총 23개가 포함되었다(71.9%). 연보라색 세리프체(serif) 글씨는 AAC 사용자와 기기 모두에 해당될 수 있는 키워드로, 총 4개가 포함되었다(12.5%). 전체 키워드의 비율을 보았을 때에는 AAC 기기와 관련된 키워드가 다수를 차지하지만, 위에서 언급한 단어 빈도 1-3순위는 모두 AAC 사용자와 관련된 단어 혹은 AAC 사용자 및 기기 모두와 관련된 단어였다. 이를 통해 AAC 및 모바일 애플리케이션 기기의 효과를 평가하는 것은 다양한 측면 및 관점에 따라 평가할 수 있지만, AAC 사용자인 사람이 기기를 사용할 때의 효과성에 대한 부분은 큰 맥락에서 일치되는 관점을 갖는다는 것을 확인할 수 있다.

예를 들어, 대부분의 AAC 기기를 평가할 때 AAC 사용 경험의 만족도나(Li & Kim, 2019; Morvile, 200; Nielsen, 1993), 사용 방법의 난이도(Kim et al., 2007; Byun, 2019; Dünser, Grasset, Seichter, & Billinghurst, 2007; Shackel, 2009)는 공통적으로 고려된다면, 사용 시 시선 흐름에 따라 자연스럽게 배치되었는지(gaze-guided layout)와 같은 것은 AAC 기기의 유형 및 특성에 따라 해당되지 않을 수 있는 키워드로 여겨진다(Yoon, Kim, & Kim, 2013).

AAC 기기와 관련된 키워드 내에서 키워드 간 특징을 살펴보았을 때, 문제 해결과 관련된 키워드(error management, exiting)는 상대적으로 높은 빈도로 나타났으며, 사용상의 편의성과 관련된 키워드는 비교적 낮은 빈도로 나타난 것을 볼 수 있다(gaze-guided layout, usefulness, personalization). 이 또한 문제 발생 시 해결에 대한 측면은 사용성 평가에서 필수적으로 고려해야 하는 측면인데 비해, 편의성에 대한 평가는 다양한 측면으로 할 수 있어서 한 개의 키워드가 여러 연구에서 반복적으로 사용되기 보다는, 다양한 단어로 분산되어 나타나는 것으로 볼 수 있다.

신뢰도 평가

각 성과지표 문항의 신뢰도를 확인하기 위하여 신뢰도분석을 통해 Cronbach’s α 값을 산출하였다. Bond와 Fox (2007)에 의하면 사회과학 분야에서는 신뢰도 분석 결과의 허용기준은 .6 이상으로 보고 있다(Ariffin, Omar, Isa, & Sharif, 2010). 본 성과지표의 Cronbach’s α 값을 AAC 사용자 및 주변관련인 설문조사와 전문가 타당도 평가 결과별로 나누어서 실시하였을 때, AAC 사용자 및 주변관련인 설문조사는 .977, 전문가 타당도 평가는 .984로 나타났으며, 그 결과는 Table 3에 제시하였다. 두 가지 모두 Cronbach’s α 값이 .9 이상으로 나타났으며, 이는 ‘매우 높음’에 해당한다. 이로 인해 성과지표 신뢰도를 확보하기 위해 추가적으로 문항을 정제할 필요가 없음을 확인할 수 있었다.

타당도 평가

내용타당도

성과지표 문항에 대한 기술통계 결과는 Table 3에 제시하였다. AAC 사용자 및 주변관련인 설문조사(이하 설문조사)에 대한 S-CVI는 .754, 전문가 타당도에 대한 S-CVI는 .978로 산출되었다. 개별 문항을 살펴보았을 때, 34번 문항[‘AAC 기기를 사용하여 의사소통의 양과 질이 증가하였는가?’(Communication enhancement)]의 I-CVI가 가장 높은 것으로 나타났으며(I-CVI_survey =.858, I-CVI_expert = 1.000), 5점 척도의 평균을 기준으로도 설문조사(M_#34 = 4.406) 및 전문가 타당도(M_#34 = 5.000)에서 모두 가장 높은 점수로 나타났다. 설문조사 및 전문가 타당도 모두 최고점은 5점이었으며, 최저점은 설문조사에서는 1점(1-26, 28-31, 35-37, 39, 41-45번 문항), 전문가 타당도는 3점(10, 28, 29, 38번 문항)에서 나타났다.

이에 따라 선행연구를 참고로 하여 CVI 점수를 기준으로 문항을 정제하였다. 전문가 타당도는 Polit 등(2007)의 기준에 따라 cut-off 점수를 결정하였다(Yusoff, 2019). 그에 따라 I-CVI_expert =1.000인 문항만 최종 성과지표에 포함되도록 하였으며, 최저점 포함 문항이었던 10, 28, 29, 38번이 제외되었다. 이 중, 28, 29, 38번 문항은 I-CVI survey가 .780 이하로 나타나서, 설문조사에서도 정제 기준에 부합하였다. I-CVI survey 결과, 2, 17, 24, 25, 28, 36, 43-45번 문항이 .700 이하로 계산되었으나, 그중 24, 25번 문항(I-CVI_survey =.660)만 삭제하였으며, 2, 17, 36, 43-45번 문항은 연구진 논의 및 전문가 타당도의 주관적 의견 진술에 따라 최종 성과지표에 포함시키기로 하였다. 10, 23, 29-31번 문항은 I-CVI_survey는 .700 미만이나, 선행연구에서의 키워드 포함 빈도 및 연구자 논의를 통해 문항을 유지하기로 하였다.

구인타당도

본 연구에서는 요인분석을 실시하여 개발한 성과지표의 구인타당도를 검증하였다. 구인타당도를 산출하기 위해 설문조사 및 전문가 타당도를 종합하여 탐색적 요인분석을 실시하였다. 먼저 표본 적절성 측정을 하기 위한 KMO 측도와 Bartlett의 검정을 실시하였다. KMO 측도 결과는 .924로 나타났다. KMO는 값이 1에 가까울수록 변수 설정이 잘 되어 있으며, 요인분석에 적합하다는 것을 보여준다. Barlett의 구형성 검정 결과는 χ² = 4,110.849, df = 630, p< .001로 나타났다. 구형성 검정에서는 p 값이 .05 미만으로 나타나면 요인분석 모형이 적합한 것으로 판단한다. 이에 따라 요인분석을 실시하기에 적합한 것으로 판단되어 탐색적 요인분석을 실시하였다. 요인분석 결과, 모든 변수의 공통성은 .598-.901 사이로, 모든 문항에서 .4 이상으로 나타났기 때문에 제거할 문항이 없는 것으로 판단되었다.

요인분석 실시 결과, 5개의 요인에 따라 변수들이 묶여서 제시되었으며, 몇몇 변수의 경우에는 적재값의 절대값이 .4 이상으로 나타난 요인이 둘 이상인 경우도 있었으며, 이러한 경우에는 둘 중 더 큰 성분에 묶이게 되었다. 다섯 개의 요인은 연구진 논의를 통해 세부 문항들의 내용을 종합하여 명명하였다: 사용성, 사회적 의사소통, 사용자 중심 설계, 적용, 역량 강화. 요인분석 결과로 나타난 회전된 성분행렬과 각 문항별 공통성은 Table 4에 제시하였다.

각 요인별 설명력 및 분산에 대한 설명은 Table 5와 같다. 고유값(Eigenvalue)은 요인분석 결과에서 각 요인이 자료의 변동성을 얼마나 설명하는지를 나타내는 지표로, 본 연구에서는 다섯 개 요인에 대한 고유값이 20.027, 2.780, 1.460, 1.273, 1.058로 나타났다. 이를 통해 첫 번째 요인인 ‘사용성(usability)’이 가장 많은 분산을 설명하는 요인이며, 중요성을 크게 갖는다고 볼 수 있다. 분산 설명 비율(% of variance)은 55.630, 7.722, 4.056, 3.535, 2.940 순으로 나타났으며, 이는 사용성 요인이 전체 분산의 55.630%를 설명하는 것을 보여준다. 누적 비율(Cumulative %)은 각 요인이 설명하는 분산의 누적 비율을 나타내며, 고유값이 1 이상인 추출된 다섯 개의 요인이 전체 변수의 73.863%를 설명한다는 것을 의미한다.

요인분석 후, 결과를 얼마나 신뢰할 수 있는지를 확인하기 위해 각 요인별로 신뢰도 분석을 실시하였으며, 요인별 신뢰도는 .894-.959로 나타났다.

논의 및 결론

결론 및 논의

본 연구는 AAC 애플리케이션을 총체적 관점에서 평가할 수 있는 성과지표를 개발을 목적으로 한다. 일차적으로 문헌분석을 통해 선행연구에 포함된 키워드를 바탕으로 성과지표 문항 개발을 하였으며, 이차적으로는 개발된 문항을 바탕으로 전문가 타당도 및 AAC 사용자 및 주변관련인을 대상으로 한 설문조사를 실시하여 타당도 및 신뢰도 분석, 탐색적 요인분석을 실시하였다. 설문조사 결과에 따라 최종 성과지표 문항은 36문항으로 정리되었으며, 탐색적 요인분석을 실시하여 성과지표 문항은 사용성, 사회적 의사소통, 사용자 중심 설계, 적용, 역량 강화의 다섯 개의 요인으로 구분되었다. 본 연구결과에 따른 결론 및 논의는 다음과 같다.

첫째, 사용성 측면에서, AAC는 기기 조작의 어려움 없이 편하게 사용할 수 있어야 한다. 사용성 요인으로 구분된 문항들은 도움말 제공, 사용방법의 일관성, 오류 해결 등과 관련된 것으로, 이는 Beukelman과 Mirenda (2013)의 참여모델(participation model)의 관점에서 접근 장벽(access barriers)과 관련된 것으로 볼 수 있다. Higginbotham, Shane, Russell과 Caves (2007)는 기기와 관련된 접근 장벽(device-related access barriers)은 AAC 사용자의 사회 참여를 제한할 수 있으며, 이를 제거하기 위해서는 연구자와 임상가들이 개발자와 협력해야 할 책임이 있다고 하였다. 기기 사용의 어려움으로 인해 AAC 사용이 제한되지 않도록 하기 위해서, 연구자와 임상가는 AAC 개발 관련 제조업체와 협력적 관계를 형성하여 상호 전문성을 공유하며 AAC 개발 과정에 참여해야 한다. 또한 AAC 개발 과정에서 실제 사용자를 대상으로 한 실증 실험을 실시할 때, AAC의 기술적 측면과 관련된 성과지표에 반영되어야 하는 요소를 파악해야 할 것이다.

둘째, 사회적 의사소통 측면에서, 실제 생활 장면 내에서 AAC 사용자가 성공적으로 의사소통을 하기 위해서는 주로 의사소통을 하는 대화상대자 관련 내용들이 AAC 성과지표 항목에 포함되어야 한다. AAC 사용자와 비 AAC 사용자의 의사소통은 서로 다르며, 익숙하지 않은 표현 수단으로 인해 의사소통에 어려움이 있을 수 있다(McCarthy, Beck, & Larkin, 2019). AAC 사용자가 성공적이고 긍정적인 상호작용을 하기 위해서는 적절한 중재가 제공되어야 하며, 여기에는 AAC 사용자를 대상으로 한 중재뿐만 아니라, AAC 사용자의 대화상대자인 비 AAC 사용자를 대상으로 한 중재까지 포함되어야 한다. 지역사회 내에서 더 많은 비 AAC 사용자가 AAC 사용자의 대화상대자로서 교육을 받고 성공적으로 의사소통을 할 수 있게 됨에 따라, AAC 사용자는 더 넓은 공동체와 사회로 관계를 확장할 수 있을 것이다. 이는 Bronfenbrenner (1979)의 생태학적 이론과 동일한 관점에서 이해할 수 있다.

AAC를 통한 사회적 의사소통을 위해서는 AAC 관련 평가를 할 때에도 AAC 사용자뿐만 아니라, 다양한 주변관련인의 의견을 반영할 수 있어야 한다. 이를 고려하여 본 연구에서는 AAC 사용자의 가족, 언어치료사, 특수교사, 활동지원사, 사회복지사 등 다양한 직군의 주변관련인들이 포함하였다. 주변관련인들은 AAC 사용자와 일상생활의 다양한 생활장면에서 가장 많은 의사소통을 주고받는 사람들로(Kim et al., 2022), 본 성과지표에는 여러 주변관련인 집단의 관점이 반영되었다. 이를 통해 각 직군별 다양성을 반영하는 동시에, AAC 사용자의 주요 의사소통 상대자인 주변관련인들에 대한 대표성을 확보할 수 있게 되었다(McCall, Markova, Murphy, Moodie, & Collins, 1997).

셋째, 사용자 중심 설계 측면에서, AAC는 사용자 개개인의 필요에 따라 개인화될 수 있어야 한다. AAC를 사용한 의사소통이 성공적으로 이루어지기 위해서는 단순히 기기 자체가 잘 만들어지는 것에서 끝나는 것이 아니라, AAC 사용자의 요구에 맞게 얼마나 개인화가 가능한지 또한 고려되어야 한다. 워드 클라우드를 통해 시각화한 자료에서 가장 높은 빈도로 나타난 키워드는 효율성(effortless)이었으며, 그 뒤로 학습 가능성(learnability)과 만족도(satisfaction) 등의 순서로 나타났다. 다음 세 가지 키워드는 모두 사용자의 경험에 기반한 것이라는 공통성을 갖는다. 이는 AAC 사용에 있어서 첨단 기술의 적용이나 기기 조작 측면 등도 모두 중요하지만, 최종적으로는 사용자가 AAC를 사용하며 만족스러운 경험을 하지 않는다면 기술의 발전이나 혁신도 그 가치가 제한될 수밖에 없다는 것으로 해석할 수 있다(Hassenzahl & Tractinsky, 2006; Nielsen, 1993). 특히 AAC는 개별 사용자가 가지고 있는 능력 및 요구의 방향, 정도 등이 매우 다양하기 때문에, 아무리 혁신적인 기술과 결합한다고 하더라도, 그것이 사용자 개인에게 주는 경험은 다를 수 있으며, AAC 성과지표는 이러한 차이를 반영할 수 있어야 할 것이다.

넷째, 적용 측면에서, AAC 사용에 대한 사용자 본인과 주변관련인의 인식은 AAC를 사용하여 성공적인 의사소통을 하는데 중요한 역할을 하기 때문에 이에 대한 평가도 반드시 이루어져야 한다. Baik, Kim, Park과 Kim (2023) 연구에서 AAC 사용자 및 주변관련인을 대상으로 AAC 사용 경험에 기반한 FGI를 실시하였을 때, AAC 사용에 대한 인식 측면은 주요 카테고리로 분류되었다. AAC 사용에 대한 인식은 AAC 사용자에 대한 주변의 인식뿐만 아니라, 의사소통에 어려움을 겪는 사람들이 AAC 사용에 대해 어떻게 생각하는지 또한 중요하게 다루어져야 한다. 의사소통장애인 및 주변조력인이 AAC를 ‘마지막 선택지(last resort)’가 아닌(Donaldson, Corbin, & McCoy, 2021; Romski & Sevcik, 2005), 필요하다면 얼마든지 사용할 수 있는 것으로 인식하며, 일반 대중들이 ‘구어 외에도 여러 가지 방법을 사용하여 의사소통을 할 수 있다’는 것을 자연스럽게 받아들인다면, AAC 사용자들은 더 많은 사람들과 다양한 상황에서 일상적으로 의사소통하게 될 수 있을 것이다.

다섯째, 역량 강화 측면에서, AAC가 사용자의 삶에 어떠한 변화를 가져오는지에 대해서도 고려되고 평가되어야 한다. 본 연구에서 분석한 여러 AAC 관련 선행연구에는 사회적 참여 기회, 스트레스 감소 등의 삶의 질과 관련된 내용들이 다양하게 포함되었다(Angelo, 2000; Chung & Douglas, 2014; O’Neill & Wilkinson, 2020). 이는 AAC 사용은 단순한 의사소통 능력만을 위한 것이 아니라, 독립성, 사회적 관계 등 삶의 질과 관련된 전반적인 요소와 관련될 수 있다는 것을 의미한다(Maresca et al., 2019).

이러한 점을 고려하여, AAC 사용자와 주변관련인은 전문가들에 의해 개발된 성과지표에 따라 AAC 사용 경험을 평가하는 수동적인 역할에 그칠 것이 아니라, AAC 성과지표의 개발 단계부터 활용 단계까지 전 과정에 참여하여 진행할 수 있도록 해야 한다(Baik et al., 2023). 그렇게 해야 성과지표에서 다양한 기능, 기술적 측면 등만을 평가하는 것이 아니라 실제로 사용하는 사람의 효율성, 만족성 등을 반영할 수 있는 문항이 무엇인지를 생각하며 의견을 제시할 수 있기 때문이다. 이후 AAC와 관련하여 개발, 중재 등을 실시할 때에도 이러한 요소들을 종합적으로 고려하여 설계한다면 보다 성공적으로 AAC를 통한 의사소통을 할 수 있을 것이다.

제한점 및 후속연구를 위한 제언

본 연구의 제한점 및 후속연구를 위한 제언은 다음과 같다. 첫째, 일차적인 문항 개발이 문헌연구 중심으로 이루어졌다는 점이다. 분석된 연구들이 사용자의 의견을 반영한 설문조사 및 질적연구 등으로 이루어져 있기는 하지만(Angelo, 2000; O’Neill & Wilkinson, 2020), 그럼에도 현 시점의 AAC 사용자 및 주변관련인의 의견 수렴 과정을 거치다 보면 선행연구와는 다른 측면이 제시될 수도 있다. 본 연구에서는 설문조사를 통해 AAC 사용자 및 주변관련인의 의견을 수렴하는 것으로 보완하였지만, 앞으로도 AAC 연구는 AAC 사용자 및 주변관련인이 연구에 함께 포함되어, AAC 사용자 중심으로 계획 및 진행되어야 할 것이다.

둘째, 전체 참여자 중 연구 참여자의 비중 및 연령 측면이다. 본 연구는 AAC 사용자와 함께 다양한 주변관련인이 참여하였다는 의의를 갖지만, 그로 인해 전체 인원 중 AAC 사용자의 비중이 상대적으로 적은 편이다. 또한 연구 참여자 중에서도 10대 이하와 60대 이상의 연령대는 비중이 2% 수준으로 매우 제한적이다. AAC 사용자의 의견을 충분히 수렴하기 위해서는 보다 더 많은 인원의 의견을 듣고 반영할 필요가 있다. 이를 위해서는 표집 단계에서부터 보다 다양한 모집단에서 연구 참여자를 찾는 방법을 사용해야 할 것이다. AAC는 전 연령대에서 사용되며(Beukelman, 2012; McNaughton & Light, 2013), 10대 이하는 의사소통뿐만 아니라 학교에서 교과 학습을 할 때에도 AAC를 사용할 수 있으며(Holyfield, Drager, Kremkow, & Light, 2017), 노년층은 후천적인 질환 등의 영향으로 새로운 의사소통 수단의 필요성이 생길 수 있는 시기이다(Pampoulou, 2019). 또한 스마트 기기에 기반한 AAC 애플리케이션의 경우, 60대 이상 집단이 다른 연령대 집단에 비해 스마트 기기 작동에서의 어려움을 크게 겪을 수 있으며, 그에 따라 주변관련인의 추가적인 지원이 필요할 수 있다. 이러한 점을 고려하여 전 연령대를 대상으로 한 AAC 연구를 진행할 때에는 아동 · 청소년 및 장·노년층 인원을 충분히 포함하여 진행해야 할 것이다.

셋째, 본 AAC 성과지표는 AAC 사용자, 주변관련인별로 구별된 문항 없이 전체를 공통 문항으로 구성하였다. 동일한 문항에 대해 집단별로 답변 내용을 확인해볼 수 있다는 특징을 가지고 있기는 하지만, 필요에 따라서는 AAC 사용자 및 주변관련인별로 세부, 심화 문항이 필요할 수 있다. 이러한 부분은 실제로 활용할 때에는 성과지표를 사용하여 평가한 후에, 필요에 따라 특정 집단을 대상으로 하는 포커스 그룹 인터뷰(focus group interview) 등을 함께 진행하는 방식 등을 통해 보완할 수 있을 것이다.

AAC 성과지표는 기존에 개발된 AAC를 평가하는 것뿐만 아니라, 앞으로의 AAC 개발에서 AAC 사용자 및 주변관련인의 의견 및 요구를 구체적으로 파악하는데 활용할 수 있다. 여러 AAC 사용자들은 AAC 앱 성과지표 통해 개별적인 의사소통 요구에 따라 AAC의 유형 및 기능에 대한 요구 및 의견을 다양하게 제시할 수 있을 것이다. 이러한 결과는 이후 AAC 기능 개발의 질적 향상에 영향을 줄 수 있는 기초 자료로 활용될 수 있을 것이다.

Figure 1.

Flowchart of research procedure.

Figure 2.

Word cloud: with previous research keywords.

Table 1.

Analysis of previous studies

Theme		Included study
Experiences and perspectives of AAC users and stakeholders		- Angelo (2000)
		- Chung & Douglas (2014)
		- O’Neill & Wilkinson (2020)
Mobile applications usability evaluation
	Usability evaluation methods for mobile applications	- Byun (2019)
		- Kaikkonen, Kekäläinen, Cankar, Kallio, & Kankainen (2005)
		- Park et al. (2012)
	User interface design and evaluation for mobile devices	- Chang & Ji (2011)
		- Dünser, Grasset, Seichter, & Billinghurst (2007)
		- Kim & Kim (2016)
	Usability evaluation and design for specific applications	- Atkinson, Bennett, Bahr, & Nelson (2007)
		- Kim et al. (2007)
		- Kim, Jacko, & Salvendy (2011)
		- Lee & Hong (2012)
		- Li & Kim (2019)
		- McBride (2011)
		- Morville (2005)
		- Nielsen (1993)
		- Quesenbery (2001)
		- Shackel (2009)
		- Yoon, Kim, & Kim (2013)

Table 2.

Participant characteristics: AAC users and stakeholders

Variable	Category	Number of participants	Percentage (%)
Group	AAC user	16	15.1
	Family	12	11.3
	Speech-language pathologist	14	13.2
	Special education teacher	19	17.9
	Personal assistant	5	4.7
	Social worker	23	21.7
	etc.	17	16
Age	10s (Under 19)	2	1.9
	20s (20-29)	29	27.4
	30s (30-39)	25	23.6
	40s (40-49)	25	23.6
	50s (50-59)	23	21.7
	60s and above	2	1.9

Table 3.

Descriptive statistics: performance indicator items

Item	AAC user & stakeholders (N= 106)			Expert (N = 4)
Item	Mean	SD	I-CVI	Mean	SD	I-CVI
#1. Multi-modality	4.270	.941	.840	5.000	.000	1.000
#2. Error management	3.840	1.204	.632	5.000	.000	1.000
#3. Navigation control	4.110	1.017	.745	5.000	.000	1.000
#4. Termination	4.250	.984	.830	5.000	.000	1.000
#5. Consistency	4.180	.882	.811	5.000	.000	1.000
#6. Tutorial support	4.160	1.034	.755	5.000	.000	1.000
#7. Effortless	4.120	.953	.774	5.000	.000	1.000
#8. Responsiveness	4.110	.998	.774	5.000	.000	1.000
#9. Interface customization	4.000	1.033	.745	5.000	.000	1.000
#10. Functionality^*	4.070	.897	.783	4.000	.817	.750
#11. Familiarity	4.240	.857	.840	5.000	.000	1.000
#12. Organized categorization	4.210	.963	.774	5.000	.000	1.000
#13. Symbol customization	4.130	.977	.726	5.000	.000	1.000
#14. Voice modulation	4.140	1.028	.783	4.500	.577	1.000
#15. Naturalness	4.150	1.067	.792	5.000	.000	1.000
#16. Learnability	4.210	.913	.774	5.000	.000	1.000
#17. Accessibility	3.962	1.077	.679	4.750	.500	1.000
#18. Satisfaction	4.142	.910	.755	4.750	.500	1.000
#19. Emotionality	4.226	.908	.830	5.000	.000	1.000
#20. Condition representation	4.198	.999	.764	4.750	.500	1.000
#21. Self-assertion	4.151	.913	.764	5.000	.000	1.000
#22. Technical assistance	4.132	1.015	.774	5.000	.000	1.000
#23. Minimal assistance^*	4.123	.943	.783	5.000	.000	1.000
#24. Cognitive ability^*	3.906	1.038	.660	5.000	.000	1.000
#25. Device management^*	3.849	1.102	.660	4.750	.500	1.000
#26. Continuation	4.264	.908	.849	4.750	.500	1.000
#27. Self-perception	4.236	.868	.792	4.750	.500	1.000
#28. Social competence^*	3.849	1.076	.642	4.500	1.000	.750
#29. Communication complexity^*	4.000	.995	.717	4.500	1.000	.750
#30. Diverse function^*	4.076	.973	.708	5.000	.000	1.000
#31. Repair strategy^*	3.962	1.086	.717	5.000	.000	1.000
#32. Independence	4.255	.840	.783	5.000	.000	1.000
#33. Social enhancement	4.283	.859	.811	5.000	.000	1.000
#34. Communication enhancement	4.406	.753	.858	5.000	.000	1.000
#35. Reduced stress	4.198	.899	.811	4.750	.500	1.000
#36. Contingency plan	3.887	1.107	.660	4.750	.500	1.000
#37. Collaboration	4.151	1.058	.764	5.000	.000	1.000
#38. Caregiver responsibility^*	4.104	.935	.726	4.250	.957	.750
#39. Device familiarization	4.179	.964	.774	5.000	.000	1.000
#40. Device acceptance	4.349	.829	.811	5.000	.000	1.000
#41. Feasibility	4.255	.884	.792	5.000	.000	1.000
#42. Contextual applicability	3.981	1.146	.708	5.000	.000	1.000
#43. Interaction competence	3.887	1.221	.642	4.750	.500	1.000
#44. Social motivation	3.943	1.178	.670	4.500	.577	1.000
#45. Communication partner training	3.906	1.254	.642	4.750	.500	1.000

^* = exclusion item.

Table 4.

Factor analysis: rotated component matrix

Scale item	Factor loading					Communality
Scale item	Factor 1 (Usability)	Factor 2 (Social communication)	Factor 3 (User-centered design)	Factor 4 (Adoption)	Factor 5 (Empowerment)	Communality
#06	.779	.269	.267	.165	.133	.795
#03	.745	.261	.207	.148	.102	.699
#12	.739	.275	.143	.344	.079	.767
#04	.722	.051	.231	.086	.172	.614
#11	.703	.240	.140	.207	.326	.720
#05	.680	-.022	.378	.198	.253	.708
#01	.678	.157	.221	.198	.161	.598
#02	.653	.436*	.293	.038	.281	.783
#22	.627	.084	.461*	.224	.333	.773
#07	.626	.282	.470*	.235	.063	.752
#09	.625	.327	.451*	.167	.114	.742
#13	.606	.223	.238	.165	.367	.636
#14	.551	.097	.547*	.153	.272	.709
#19	.529	.018	.482*	.235	.447*	.765
#37	.477	.094	.287	.276	.409*	.562
#44	.145	.843	.212	.276	.114	.865
#43	.169	.828	.273	.300	.150	.901
#45	.160	.828	.316	.218	.129	.875
#42	.419*	.682	-.028	.311	.290	.823
#15	.429*	.118	.745	.249	.030	.817
#08	.274	.319	.687	.20	.002	.689
#18	.289	.296	.619	.101	.278	.642
#19	.453*	.131	.582	.224	.392	.765
#17	.414*	.388	.532	.070	.430*	.794
#16	.331	.401*	.502	.069	.480*	.758
#21	.377	.169	.497	.270	.492*	.733
#26	.093	.100	.083	.798	.190	.699
#27	.176	.281	.225	.760	.222	.787
#40	.327	.389	.160	.722	-.097	.814
#39	.186	.371	.386	.657	.133	.771
#41	.454*	.222	.170	.588	.240	.688
#36	.413*	.241	.326	.195	.556	.682
#32	.363	.475*	.020	.430*	.496	.788
#33	.339	.446*	.108	.375	.495	.712
#35	.207	.308	.251	.467*	.493	.661
#34	.338	.443*	.065	.423*	.463	.708

Factor extraction: principal component method.

Factor rotation: VARIMAX rotation with Kaiser normalization.

Some items (*) cross-loaded onto two factors indicating that the item was correlated with each factor (≥ 0.400).

Table 5.

Factor analysis: factor extraction results

Factor	Extraction sums of squared loadings			Reliability
Factor	Eigenvalue	% of variance	Cumulative %	Cronbach’s α
Usability	20.027	55.630	55.630	.959
Social communication	2.780	7.722	63.352	.944
User-centered design	1.460	4.056	67.408	.923
Adoption	1.273	3.535	70.943	.896
Empowerment	1.058	2.940	73.863	.894

REFERENCES

Ahn, S. Y., Hong, K. H., Kim, K., & Lee, H. (2022). Development of a location and situation based augmentative and alternative communication service. Proceedings of the International Conference on Computers Helping People with Special Needs, 489–495.

Angelo, D. H. (2000). Impact of augmentative and alternative communication devices on families. Augmentative & Alternative Communication, 16(1), 37–47.

Ariffin, S. R., Omar, B., Isa, A., & Sharif, S. (2010). Validity and reliability multiple intelligent item using rasch measurement model. Procedia-Social & Behavioral Sciences, 9, 729–733.

Arthana, I. K. R., Pradnyana, I. M. A., & Dantes, G. R. (2019). Usability testing on website wadaya based on ISO 9241-11. Journal of Physics: Conference Series, 1165(1), 1–8.

Atkinson, B. F. W., Bennett, T. O., Bahr, G. S., & Walwanis Nelson, M. M. (2007). Development of a multiple heuristics evaluation table (MHET) to support software development and usability analysis. Proceeding of the International Conference on Universal Access in Human-Computer Interaction, 563–572.

Baik, K., Kim, K., Park, E., & Kim, Y. T. (2023). A study on the needs analysis for location- and situation-based AAC of the AAC users and stakeholders based on AAC experience. AAC Research & Practice, 11(1), 1–35.

Beukelman, D. (2012). AAC for the 21st century: framing the future. Retrieved from http://aac-rerc.psu.edu/index.php/projects/show/id/14.

Beukelman, D. R., & Mirenda, P. (2013). Augmentative and alternative communication: supporting children and adults with complex communication needs (4th ed .). Paul H. Brookes Publishing.

Bond, T. G., & Fox, C. M. (2007). Applying the Rasch model: fundamental measurement in the human sciences (2nd ed .). Lawrence Erlbaum Associates Publishers.

Braddock, B. A., Hilton, J., & Loncke, F. (2017). Multimodal behaviors in autism spectrum: insights from typical development inform AAC. Perspectives of the ASHA Special Interest Groups, 2(12), 116–126.

Bronfenbrenner, U. (1979). The ecology of human development: experiments by nature and design Harvard University Press.

Burkhart, L. J. (n.d.). What is AAC? International Society for Augmentative and Alternative Communication. Retrieved from https://isaac-online.org/english/what-is-aac/.

Byun, D. (2019). Evaluating usability of mobile applications for smart logistics. The Korea Contents Association, 19(3), 10–21.

Caligari, M., Godi, M., Giardini, M., & Colombo, R. (2019). Development of a new high sensitivity mechanical switch for augmentative and alternative communication access in people with amyotrophic lateral sclerosis. Journal of Neuroengineering & Rehabilitation, 16, 1–13.

Chung, Y. C., & Douglas, K. H. (2014). Communicative competence inventory for students who use augmentative and alternative communication: a team approach. TEACHING Exceptional Children, 47(1), 56–68.

Chang, W., & Ji, Y. G. (2011). Usability evaluation for smart phone augmented reality application user interface. Proceedings of the HCIK 2011, 919–923.

Davies, D. K., Stock, S. E., Herold, R. G., & Wehmeyer, M. L. (2018). Geo-Talk: a GPS-enabled portable speech output device for people with intellectual disability. Advances in Neurodevelopmental Disorders, 2, 253–261.

de los Reyes, J., Rodriguez, A. N., Umali, E. D., Solamo, R., & Feria, R. (2014). Evaluation of a mobile AAC application for Filipino language. In : Proceedings of the 5th International Conference on Information, Intelligence, Systems and Applications; p. 137–142.

Donaldson, A. L., Corbin, E., & McCoy, J. (2021). “Everyone deserves AAC”: preliminary study of the experiences of speaking autistic adults who use augmentative and alternative communication. Perspectives of the ASHA Special Interest Groups, 6(2), 315–326.

Dünser, A., Grasset, R., Seichter, H., & Billinghurst, M. (2007). Applying HCI principles to AR systems design. In : Proceedings of the 2nd International workshop on Mixed Reality User Interfaces; p. 1–5.

Elliott, C., Sutherland, D., Gerhard, D., & Theys, C. (2022). An evaluation of the P300 brain-computer interface, EyeLink board, and eye-tracking camera as augmentative and alternative communication devices. Journal of Speech, Language, & Hearing Research, 65(11), 4280–4290.

Hassenzahl, M., & Tractinsky, N. (2006). User experience-a research agenda. Behaviour & Information Technology, 25(2), 91–97.

Heimerl, F., Lohmann, S., Lange, S., & Ertl, T. (2014). Word cloud explorer: text analytics based on word clouds. In : Proceeding of the 47th Hawaii International Conference on System Sciences; p. 1833–1842.

Hemsley, B., Balandin, S., Palmer, S., & Dann, S. (2017). A call for innovative social media research in the field of augmentative and alternative communication. Augmentative & Alternative Communication, 33(1), 14–22.

Higginbotham, D. J., Shane, H., Russell, S., & Caves, K. (2007). Access to AAC: present, past, and future. Augmentative & Alternative Communication, 23(3), 243–257.

Hirotomi, T. (2018). An AAC system designed for improving behaviors and attitudes in communication between children with CCN and their peers. In : Proceedings of the Universal Access in Human-Computer Interaction. Methods, Technologies, and Users: 12th International Conference; p. 530–541.

Holyfield, C., Drager, K. D., Kremkow, J. M., & Light, J. (2017). Systematic review of AAC intervention research for adolescents and adults with autism spectrum disorder. Augmentative & Alternative Communication, 33(4), 201–212.

Hyatt, G. W. (2011). The iPad: a cool communicator on the go. Perspectives on Augmentative & Alternative Communication, 20(1), 24–27.

International Organization for Standardization. (2018). Ergonomics of human-system interaction-Part 11: Usability: definitions and concepts (ISO Standard No. 9241-11:2018). Retrieved from https://www.iso.org/standard/63500.html.

Kaikkonen, A., Kekäläinen, A., Cankar, M., Kallio, T., & Kankainen, A. (2005). Usability testing of mobile applications: a comparison between laboratory and field testing. Journal of Usability Studies, 1(1), 4–16.

Kim, J. Y., & Kim, S. W. (2016). A usability testing on the smart device-based AAC application. Journal of Special Education for Curriculum & Instruction, 9(2), 59–80.

Kim, K., Baik, K., Park, E., & Kim, Y. T. (2022). Text-mining analysis for location and situation-based AAC application development: focusing on AAC user and stakeholder Living Labs. Korean Journal of Physical, Multiple & Health Disabilities, 65(2), 137–165.

Kim, K., Jacko, J., & Salvendy, G. (2011). Menu design for computers and cell phones: review and reappraisal. International Journal of Human-Computer Interaction, 27(4), 383–404.

Kim, N., Lee, D., Choi, H., & Wong, W. X. S. (2017). Investigations on techniques and applications of text analytics. The Journal of Korean Institute of Communications & Information Sciences, 42(2), 471–492.

Kim, S., Lee, I., Lee, K., Jung, S., Kim, J., Park, J., ..., & Lee, K. J. (2007). New interface for mobile UCC services: applying tag and multi-display button to mobile device. Proceedings of HCIK 2007;p. 16–24.

Lee, H., & Park, D. (2021). AI TTS smartphone app for communication of speech impaired people. In J. Kim, & R. Lee (Eds.), Data science and digital transformation in the fourth industrial revolution. studies in computational intelligence (pp. 219–229). Springer.

Lee, H. Y., & Hong, K. H. (2012). Usability testing for a mobile augmentative alternative communication (AAC) software and users’ preference for the size of mobile devices. Journal of Rehabilitation Welfare Engineering & Assistive Technology, 6(1), 37–43.

Li, M., & Kim, M. H. (2019). Development of evaluation indicators for the usability evaluation of smart home app design. Journal of the Korea Contents Association, 19(5), 249–258.

Light, J., & McNaughton, D. (2014). Communicative competence for individuals who require augmentative and alternative communication: a new definition for a new era of communication. Augmentative & Alternative Communication, 30(1), 1–18.

Light, J., McNaughton, D., Beukelman, D., Fager, S. K., Fried-Oken, M., Jakobs, T., & Jakobs, E. (2019). Challenges and opportunities in augmentative and alternative communication: research and technology development to enhance communication and participation for individuals with complex communication needs. Augmentative & Alternative Communication, 35(1), 1–12.

Light, J., McNaughton, D., & Caron, J. (2019). New and emerging AAC technology supports for children with complex communication needs and their communication partners: state of the science and future research directions. Augmentative & Alternative Communication, 35(1), 26–41.

Light, J., Wilkinson, K. M., Thiessen, A., Beukelman, D. R., & Fager, S. K. (2019). Designing efective AAC displays for individuals with developmental or acquired disabilities: state of the science and future research directions. Augmentative & Alternative Communication, 35(1), 42–55.

Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 382–386.

Maresca, G., Pranio, F., Naro, A., De Luca, R., Maggio, M. G., Scarcella, I., ..., & Calabrò, R. S. (2019). Augmentative and alternative communication improves quality of life in the early stages of amyotrophic lateral sclerosis. Functional Neurology, 34(1), 35–43.

McBride, D. (2011). AAC evaluations and new mobile technologies: asking and answering the right questions. Perspectives on Augmentative & Alternative Communication, 20(1), 9–16.

McCall, F., Marková, I., Murphy, J., Moodie, E., & Collins, S. (1997). Perspectives on AAC systems by the users and by their communication partners. International Journal of Language & Communication Disorders, 32(S3), 235–256.

McCarty, B., Beck, A., & Larkin, T. (2019). Differentiated social skills curriculum for AAC users. (Master’s thesis). Illinois State University, Illinois, USA.

McNaughton, D., & Light, J. (2013). The iPad and mobile technology revolution: benefits and challenges for individuals who require augmentative and alternative communication. Augmentative & Alternative Communication, 29(2), 107–116.

Morville, P. (2005). Experience design unplugged [ACM SIGGRAPH 2005 Web Program]. New York, NY, USA.

Murero, M., Vita, S., Mennitto, A., & D’Ancona, G. (2020). Artificial intelligence for severe speech impairment: innovative approaches to AAC and communication. In : Proceedings of the Second Symposium on Psychology-Based Technologies (PSYCHOBIT 2020); p. 1–6.

Nielsen, J. (1993). Iterative user-interface design. Computer, 26(11), 32–41.

Nielsen, J. (2020). 10 usability heuristics for user interface design. Retrieved from https://www.nngroup.com/articles/ten-usability-heuristics/.

Niven, P. R. (2008). Balanced scorecard: step-by-step for government and non-profit agencies Hoboken, NJ: John Wiley & Sons.

O’Neill, T., & Wilkinson, K. M. (2020). Preliminary investigation of the perspectives of parents of children with cerebral palsy on the supports, challenges, and realities of integrating augmentative and alternative communication into everyday life. American Journal of Speech-Language Pathology, 29(1), 238–254.

Pampoulou, E. (2019). Speech and language therapists’ views about AAC system acceptance by people with acquired communication disorders. Disability & Rehabilitation: Assistive Technology, 14(5), 471–478.

Park, J., Han, S. H., Park, J., Park, W., Kim, H., & Hong, S. W. (2012). Comparison of usability evaluation methods for mobile application. In : Proceedings of the 2012 Spring Conference of ESK; p. 154–157.

Pitt, K. M., & Brumberg, J. S. (2023). Evaluating the perspectives of those with severe physical impairments while learning BCI control of a commercial augmentative and alternative communication paradigm. Assistive Technology, 35(1), 74–82.

Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity. Appraisal and recommendations. Research in Nursing & Health, 30(4), 459–467.

Quesenbery, W. (2001). What does usability mean: looking beyond ‘ease of use’. In : Proceedings of the 18th Annual Conference Society for Technical Communications; p. 432–436.

Romski, M., & Sevcik, R. A. (2005). Augmentative communication and early intervention: myths and realities. Infants & Young Children, 18(3), 174–185.

Rummel-Hudson, R. (2011). A revolution at their fingertips. Perspectives on Augmentative & Alternative Communication, 20(1), 19–23.

Russ, S., Arora, S., Wharton, R., Wheelock, A., Hull, L., Sharma, E., ..., & Sevdalis, N. (2013). Measuring safety and efficiency in the operating room: development and validation of a metric for evaluating task execution in the operating room. Journal of the American College of Surgeons, 216(3), 472–481.

Ryu, S. H., Hong, K. H., Chae, S., & Yeon, S. J. (2022). Augmentative and alternative interaction service with AI speakers to access home IoT devices and internet services for people with multiple disabilities. In : Proceedings of the International Conference on Computers Helping People with Special Needs; p. 496–502.

Shackel, B. (2009). Usability-context, framework, definition, design and evaluation. Interacting with Computers, 21(5-6), 339–346.

Soto, G., Müller, E., Hunt, P., & Goetz, L. (2001). Critical issues in the inclusion of students who use augmentative and alternative communication: an educational team perspective. Augmentative & Alternative Communication, 17(2), 62–72.

Tsai, Y. S., Fang, T. P., & Chi, C. C. (2019). A scale for measuring evidence‐searching capability: a development and validation study. Journal of Evaluation in Clinical Practice, 25(4), 676–681.

Waller, A. (2019). Telling tales: unlocking the potential of AAC technologies. International Journal of Language & Communication Disorders, 54(2), 159–169.

Yoon, S., Kim, H., & Kim, H. (2013). A study on the usability evaluation of e-book interface. Journal of the Korea Contents Association, 13(4), 137–144.

Yusoff, M. S. B. (2019). ABC of content validation and content validity index calculation. Education in Medicine Journal, 11(2), 49–54.

Zamanzadeh, V., Ghahramanian, A., Rassouli, M., Abbaszadeh, A., Alavi-Majd, H., & Nikanfar, A. R. (2015). Design and implementation content validity study: development of an instrument for measuring patient-centered communication. Journal of Caring Sciences, 4(2), 165–178.

Appendices

Appendix 1.

AAC application performance indicator items

#	Keyword	AAC 성과지표 문항 내용
[요인 1] 사용성
1	도움말 제공	AAC 사용방법에 대한 도움말이 충분하게 제공되는가?
2	화면 이동	AAC 사용 중, 원할 때 이전 화면으로 쉽게 돌아갈 수 있는가?
3	체계성	AAC의 그림상징이 관련 카테고리별로 체계적으로 정리되어 있어서, 찾아서 사용하기에 용이한가?
4	종료	AAC 사용 중, 원할 때 쉽게 종료할 수 있는가?
5	친밀성	AAC의 어휘 및 그림상징이 익숙하고 친밀하여 이해하기 쉬운가?
6	일관성	AAC 사용방법이 일관성 있는가? (* 사용방법의 일관성: 편집 절차가 동일함 등)
7	다중양식	사용자의 선택에 따라 AAC에 다양한 형태(그림, 글자, 소리 등)로 정보가 제공되는가?
8	오류 예방	AAC 사용 중, 오류가 나타났을 때 쉽게 해결할 수 있는가?
9	기술 지원	전문가들은 AAC를 사용하는데 필요한 기술 지원을 적절하게 제공하였는가?
10	효율성	AAC로 최소한의 조작을 하여 원하는 의사표현을 할 수 있는가?
11	설정 개인화	AAC 사용화면 설정을 사용자의 특성, 취향에 맞게 조절하기 쉬운가?
12	상징 개인화	AAC의 그림상징을 사용자의 특성, 취향에 맞게 변경하기 쉬운가?
13	음성 조작	사용자가 원하는 음성/음색으로 쉽게 변경할 수 있는가?
14	상태 표현	AAC를 통해 정서적/신체적 상태를 표현할 수 있는가?
15	협력	전문가들은 AAC 사용자의 의사소통 능력을 향상시키기 위해 주변관련인들과 협력하는가? (* 주변관련인: 부모, 활동지원인력 등)
[요인 2] 사회적 의사소통
16	사회적 동기	지역사회 사람들은 AAC 사용자와 상호작용을 할 동기를 갖고 있는가?
17	상호작용 방법	지역사회 사람들은 AAC 사용자와 상호작용하는 방법을 알고 있는가? (* AAC 사용자와의 상호작용 방법: 충분한 시간 주기 등)
18	의사소통 상대방 교육	지역사회 사람들을 대상으로 AAC 사용자와의 상호작용 방법 교육이 이루어지는가?
19	맥락 적용 가능성	지역사회 내의 다양한 의사소통 상황에서 AAC를 사용할 수 있는가?
[요인 3] 사용자 중심 설계
20	자연스러움	AAC에서 나오는 음성이 실제로 말하는 음성에 가깝게 명료하고 자연스러운가?
21	반응성	AAC 조작 시, 화면 전환이나 항목 선택이 빠르게 작동하는가?
22	만족성	AAC를 사용한 경험이 만족스러웠는가?
23	감정 표현	AAC를 통해 다양한 감정을 표현할 수 있는가? (* 감정: 기쁨, 슬픔, 화남 등)
24	접근성	AAC 사용 환경, 사용자의 장애 정도 및 특성에 관련 없이 쉽고 편하게 사용할 수 있는가?
25	학습 가능성	사용자가 AAC 사용 방법을 쉽게 익힐 수 있었는가?
26	자기주장	AAC를 통해 자기주장을 할 수 있었는가? (* 자기주장: 사물 요구하기, 감정 표현하기 등)
[요인 4] 적용
27	사용 의향	사용자는 AAC를 계속 사용하고자 하는 의향이 있는가?
28	자기 인식	사용자는 자신의 AAC 사용을 긍정적으로 인식하는가?
29	사용 인식	AAC 사용자의 조력인은 AAC 기기 사용을 긍정적으로 인식하는가?
30	기기 친숙성	AAC 사용자의 조력인은 AAC 기기의 사용 방법을 쉽게 익힐 수 있었는가?
31	유연성	다양한 상황에서 여러 조력인들과 AAC 기기를 사용하여 의사소통이 가능한가?
[요인 5] 역량 강화
32	대처 방안	전문가들은 AAC 사용자에게 적합한 AAC를 맞춰주며, 문제 발생 시 대처방안을 갖고 있는가?
33	독립성	AAC를 사용하여, 독립성 수준이 더욱 증가하였는가?
34	사회적 기회	AAC를 사용하여 더 많은 사회적 기회를 얻었는가?
35	스트레스 감소	AAC를 사용하여 의사소통할 때 스트레스를 덜 느끼는가?
36	의사소통 양·질	AAC를 사용하여 의사소통의 양과 질이 증가하였는가?