| Home | E-Submission | Sitemap | Contact Us |  
top_img
Commun Sci Disord > Volume 25(2); 2020 > Article
정상 성인의 정서어휘에 대한 AAC 그림상징과 SNS 이모티콘의 인식 연구

초록

배경 및 목적

정서적 감정을 표현하는 것은 타인과 효과적으로 의사소통하고 사회 활동에 참여하는 데에 필수적이다. 비록 보완대체의사소통 접근을 필요로 하는 사람들을 위해 정서를 나타낸 몇몇 그림상징들이 상용화되어 있으나, 소셜네트워크서비스에서 제공되는 이모티콘 또한 AAC 분야에서의 잠재적 효용성을 파악하기 위해 연구가 필요하다. 본 연구는 대표적인 국내외 AAC 그림상징인 PCS와 이화-AAC, 그리고 국내에서 많이 사용되고 있는 카카오톡 이모티콘을 얼굴 표정중심과 얼굴 및 신체부위 표현 중심으로 구분하여 총 4가지 상징유형이 정서어휘를 이해하는 데에 미치는 영향을 알아보고자 하였다.

방법

총 32명의 정상성인(평균 연령=25.91년, 표준편차=4.68)이 8개의 정서어휘(‘걱정되다’, ‘괜찮다’, ‘놀랍다’, ‘두렵다’, ‘부끄럽다’, ‘슬프다’, ‘행복하다’, ‘화나다’)에 대한 그림상징이름대기 과제에 참여하였다. 그림상징 또는 이모티콘 하나가 컴퓨터 화면에 제시되면 연구참가자는 그 의미를 주어진 단어 중에서 선택하였다. 연구참가자의 정확도 점수와 반응시간이 분석을 위해 측정되었다.

결과

실험결과 얼굴과 신체부위의 표현을 통해 정서어휘를 표현한 카카오톡 이모티콘과 이화-AAC 상징 조건에서 정확도 상의 높은 과제 수행이 관찰되었다. 마찬가지로 반응속도면에서도 이들 조건에서 빠른 수행이 나타났다.

논의 및 결론

높은 수행을 보인 카카오톡 이모티콘과 이화-AAC 상징 간의 공통된 특성을 고려하였을 때, 얼굴표정과 신체부위의 자세를 모두 사용하여 정서어휘를 표상할 경우, 시각적으로 제공되는 자극물의 의미를 정확하고 빠르게 파악할 수 있도록 인지처리 과정을 촉진하는 것으로 보인다.

Abstract

Objectives

Expressing emotional feelings is essential in one’s effective communication functions and social participation. Although several emotional graphic symbols are available for AAC speakers, the usefulness of the emoticons provided by social network services needs to be identified for the potential of usage in the area of AAC. This study aims to identify the effect of two types of AAC graphic symbols (PCS and Ewha-AAC), and two types of SNS emoticons (face expression-oriented and face & body-part expression oriented emoticons used in KakaoTalk).

Methods

Thirty-two normal adults (mean age=25.91, SD=4.68) accomplished the symbol-naming task for the eight emotional words (‘worried’, ‘fine’, ‘surprised’, ‘fearful’, ‘angry’, ‘happy’, ‘sad’, and ‘shy’). After providing the visual stimuli on a computer screen, participants were asked to match the meaning from the given word choices. Participants’ accuracy scores and response times were analyzed.

Results

Higher task performance was found in the condition of KakaoTalk emoticon and Ewha-AAC symbols which represent the emotion by facial expression and body part motion. Likewise, a fast response was found in these two conditions.

Conclusion

Considering the common characteristics of these two visual materials, the representation of both facial expression and body-part pose seems to facilitate participants’ cognitive process of retrieving the meaning of the visual stimuli in an accurate and fast fashion.

사회적 정서 공유(social sharing emotion)란 사람들이 정서적인 경험을 타인과 공유하려는 경향을 말한다(Rimé, Philippot, Boca,& Mesquita, 1992). 정서를 공유하기 위하여 사람들은 자신의 정서를 인식하고, 얼굴표정이나 발성, 신체 동작, 언어 등을 통한 정서 명명하기(affect labeling)의 행위를 통해 정서표현을 하게 되는데(Adolphs, Damasio, & Tranel, 2002; Kring, Smith, & Neale, 1994), 이러한 정서표현을 통해 부정적 정서가 감소되는 순기능이 있는 것으로도 알려져 있다(Lieberman, Inagaki, Tabibnia, & Crockett, 2011).
정서표현에 별다른 어려움이 없는 일반인과 다르게 자폐범주성 장애, 다운증후군, 실어증과 같이 선천적 또는 후천적인 의사소통장애를 안고 살아가는 장애인은 이러한 정서표현에 어려움이 있을 수 있다(Blonder, Pettigrew, & Kryscio, 2012; Hobson & Lee, 1999; Jahromi, Gulsurd, & Kasari, 2008; Na & Wilkinson, 2018). 손상된 기능을 회복하거나 정서 어휘를 학습시키는 언어중재를 통해 일부 정서 명명하기가 가능할 수도 있겠으나, 바로 지금 사회 속에서 타인과 풍부한 정서적 교류가 가능하도록 하기 위해서는 전통적인 언어중재접근뿐만 아닌 보완대체의사소통(Augmentative and Alternative Communication, AAC)을 통한 기능적인 접근도 필요하다.
글자를 통해 정서를 표현하는 데에 어려움이 있다면 그림상징 기반의 AAC 도구를 사용할 수 있는데, 이때 사용자의 인지 및 언어발달과 능력, 문화, 언어적 특징 등과 같이 그림상징의 인식에 영향을 끼치는 다양한 요인들이 있을 수 있다(Beukelman & Mirenda, 2013; Schlosser & Sigafoos, 2002). 정서를 나타내는 그림상징 인식에 대한 선행 연구를 살펴보면, 서로 다른 문화권에 있는 경우 기본정서 어휘(예: ‘기쁘다’, ‘슬프다’, ‘화나다’, ‘무섭다’)에 대한 상징인식에 차이를 나타내는 것으로 나타났으며(DeKlerk, Dada, & Alant, 2014), 정서 어휘가 긍정적인가 부정적인가에 따라 인식의 차이를 보였는데 긍정적인 정서를 나타낸 상징을 보다 쉽고 정확하게 인식하는 경향을 보였다(Camras & Allison, 1985; Markham & Wang, 1996). 여기서 기본 정서란, 모든 문화권에서 존재하는 일차적 정서를 말하며, 발달 초기에 나타나 생리적 변화의 양상과 결합된 정서를 일컫는다(Kemper, 1987; Ortony & Turner, 1990). 기본 정서 어휘에 대해 그림상징 인식에 관한 연구를 살펴보면, Chae (2014)는 국내 지적장애 아동과 특수교사를 대상으로 영미권에서 보편적으로 사용하는 PCSTM (Picture Communication Symbols; Johnson, 1994)의 그림상징을 4개씩을 선정하여 그림상징 이름대기 과제를 실시한 바 있다. 연구결과 아동과 교사 모두 ‘기쁘다’와 ‘화나다’ 보다는 ‘슬프다’와 ‘두렵다’에 해당하는 그림상징을 인식하여 명명할 때 오류율이 높은 것으로 나타났다. 이는 상징이 담고 있는 개념에 따라 인식능력의 차이가 있다는 것을 말해준다. Chae와 Hong (2015)의 연구에서는 자폐범주성장애 아동과 정상발달을 보이는 또래 간의 기본 정서 어휘에 대한 그림상징 인식능력을 그림상징 명명하기를 통해 비교하였는데, 자폐범주성장애 아동이 명명하기 오류를 많이 보이기는 하였으나 두 집단 모두 ‘슬프다’와 ‘두렵다’를 명명하는데 오류율이 높은 것으로 나타나 Chae (2014)의 연구결과와 일치된 결과를 보였다.
정서어휘에 대한 성인의 그림상징 인식 연구를 살펴보면 Kang, Lim 그리고 Lee (2018)는 정상 성인에게 기본 정서 어휘 ‘기쁘다, 슬프다, 화나다, 두렵다’ 외에 표현적 요소가 강하다고 판단한 15개의 정서어휘를 ‘나의 AAC 상징’(정적상징)으로, 그리고 이를 애니메이션을 변환한 동적상징으로 제작하여 상징인식의 정확도를 측정 비교하였다. 그 결과, 정적상징에 대한 정확도가 동적상징보다 높게 나타났으나 상징 유형에 대한 선호도는 동적 상징에서 높게 나타나 주관적 느낌과 객관적 지표 사이에 차이가 있음을 보여주었다. Na, Lee, Oh 그리고 Park (2019)은 정상 성인을 대상으로 PCS와 이화-AAC 상징의 인식 정확도와 아이트래킹을 통한 시각 집중도를 비교 분석하였는데, 이화-AAC 상징의 인식 정확도가 PCS보다 높았으며 얼굴 중심 영역으로 시각적 집중현상이 나타났다. 이화-AAC 상징에 높은 수행력을 보인 것은 사용자의 문화적 특징이 잘 반영되었기 때문에 인식에 긍정적인 영향을 준 것으로 분석하고 있다.
정서어휘에 대한 상징인식 연구는 비단 AAC 도구에 활용되도록 제작된 그림상징 외에도 인터넷과 모바일을 이용한 소셜네트워크 서비스(social network services, SNS)에서 흔히 사용하는 이모티콘에 대해서도 이루어졌다. 이모티콘의 활용은 AAC 사용자가 SNS 프로그램과 연동하여 원거리에서도 빠르고 편리하게 의사소통할 수 있도록 한다는 장점이 있다(Yun & Park, 2015). 이모티콘을 이용한 선행연구를 살펴보면, Kim과 Shin (2019)은 기본 정서 어휘에 대해 카카오톡 이모티콘을 문자 언어형, 이미지형, 플래시몹으로 구분하여 발달장애인과 일반 청소년을 대상으로 상징인식의 정확도에 차이가 있는지를 살펴보았다. 연구결과 발달장애 집단이 모든 과제에서 유의하게 낮은 수행을 보였으나 두 집단 모두 이미지형 이모티콘을 정확하게 인식하는 것으로 나타났다. 여기에 좀 더 나아가 Lee, Kim 그리고 Yeon (2017)은 이모티콘의 생명성 여부가 정서를 추론해야 하는 상황에서 고기능 자폐스펙트럼장애 아동과 일반 아동의 이모티콘 사용 능력에 영향을 주는지를 살펴보았다. 두 집단 모두 유생성 이모티콘(얼굴표정 포함)과 생명이 없는 무생성 이모티콘 간에는 차이가 없었으나, 자폐범주성장애 아동이 낮은 수행을 보였으며, 일반 아동 집단과 다르게 무생성보다는 유생성 이모티콘에 대한 주관적 선호도가 낮은 것으로 나타났다.
정서어휘에 대한 그림상징 인식 연구는 국내에서 꾸준히 진행되어 왔으나, Yun과 Park (2015)이 주장한 바와 같이 SNS와 AAC 중재를 접목했을 때의 시너지 효과를 고려하여, 정서어휘 표현의 도구로서의 이모티콘 효용성을 살펴보는 연구는 많지 않다. 또한 이모티콘 인식에 대한 연구는 아동과 청소년에 보다 집중되어 있으며 대부분 정확도만을 측정하고 있어, 추상적인 정서어휘를 표상하고 있는 그림상징과 이모티콘을 인지처리하는 시간 정보가 제한적이다. 그리고 얼굴표정이 정서어휘를 나타내는 상징을 인식하는 데에 미치는 영향에 대해서 살펴본 선행연구는 있으나(Na et al., 2019), 얼굴표정 외에 신체부위 동작이 표상된 경우에 대해서는 거의 연구가 이루어지지 않아 시각적 정보의 양과 질에 따라 영향을 받는지 파악하기가 어렵다. 마지막으로 정서어휘를 표상하는 AAC 그림상징과 이모티콘을 함께 실험과제에 포함하여 살펴보는 연구는 아직까지 이루어지지 않은 실정이다. 이모티콘이 AAC 접근을 위한 하나의 유용한 상징체계로서 어느 정도의 기능성을 갖고 있는지를 확인하기 위해서는 이미 친숙하게 사용하고 있는 이모티콘과 비친숙한, 그러나 의사소통을 위해 특별히 고안된 AAC 상징을 직접 비교함으로써 인식에 차이를 보이는지를 살펴볼 필요가 있겠다. 이러한 연구적 접근은 후천적 장애로 문해력이 손상된 성인 AAC 사용자가 정서표현을 위해 새롭게 AAC 그림상징을 학습하기보다는 이미 친숙한 이모티콘을 사용해서도 얼마든지 표현 가능하다는 것을 뒷받침 해줄 것이다. 더 나아가 SNS 내의 이모티콘을 활용하여 원거리에 있는 타인과의 사회적 정서 공유가 보다 용이하도록 도와줄 것이다.
이에 본 연구에서는 문해력이 손상된 성인 AAC 사용자들의 정서표현을 위한 AAC 상징 및 이모티콘의 효용성에 대해 기초자료를 마련하기 위하여 정상 성인을 대상으로 그림상징 이름대기 과제를 실시하고자 하였다. AAC 상징은 해외와 국내에서 각각 많이 사용되고 있는 PCS 및 이화-AAC 상징(Park et al., 2016)을 선정하였으며, 이모티콘은 국내 대표적인 SNS 프로그램에 사용되고 있는 카카오톡 이모티콘을 얼굴표현 중심과 얼굴 및 신체부위 표현 중심의 두 가지 유형을 연구에 포함하였다. 그림상징 이름대기과제에서 보이는 수행은 정확도뿐만 아니라 반응시간을 측정하여 정확한 인식을 보이는 상징이라 하더라도 그 유형에 따라 인지처리시간 상의 차이가 있는지를 밝히고자 하였다. 연구 질문은 다음과 같다.
첫째, 그림상징 이름대기과제에서 상징유형(PCS, 이화-AAC 상징, 카카오톡 이모티콘 유형 I-얼굴표현, 카카오톡 이모티콘 유형 II-얼굴 및 신체부위 표현)에 따라 정상 성인이 감정상징을 인식하는 정확도에 유의한 차이가 있는가?
둘째, 그림상징 이름대기과제에서 상징유형에 따라 정상 성인이 감정상징을 인식하는 반응시간에 유의한 차이가 있는가?

연구방법

연구대상

연구대상자는 만 18세-39세 정상 성인으로 다음의 선정 조건을 모두 충족한 경우 본 실험에 참여하였다. (1) 한국어가 모국어이며, (2) 고졸 이상의 학력을 가졌고, (3) AAC 도구를 사용하거나 AAC 그림상징에 노출된 적이 없고, (4) 과제 수행에 필요한 시청각능력 및 운동능력에 문제가 없으며, (5) 수용·표현어휘력검사(Receptive & Expressive Vocabulary Test, REVT; Kim, Hong, Kim, Jang, & Lee, 2009) 결과 정상 범주(–1 SD 이상)에 해당하고, (6) 한국판 웨스턴실어증검사(Paradise Korea version-Western Aphasia Battery-Revised; Kim & Na, 2012)의 ‘읽기’ 하위 검사 중 글 명령 과제에서 5개 항목 모두를 읽고 수행할 수 있는 자로 하였다.
총 32명(male=16, female=16)이 위 조건을 충족하고 본 실험에 참여하였으며 이들의 평균 연령은 25.91 (SD=4.68), 평균 교육년수는 15.38 (SD=1.81)이었으며, REVT-수용어휘점수의 평균은 176.41(SD=4.93)이고 REVT-표현어휘점수의 평균은 180.03 (SD=3.75)이었다.

어휘 선정

본 연구에서는 서로 다른 문화권에서 얼굴표정 해석에 합치를 이룬 일차적 정서어휘인 ‘두려움, 노여움, 슬픔, 행복, 혐오, 놀라움’의 6개(Ekman & Keltner, 1997)와 한국판 맥아더 베이츠 의사소통 발달평가(Korean version of M-B CDI; Pae & Kwak, 2011)에 포함된 ‘고맙다, 미워하다, 사랑하다, 좋아하다, 괜찮다, 싫다, 재미있다, 졸리다, 좋아하다, 힘들다’의 정서어휘 10개, 그리고 Storm과 Storm(1987)이 정서어휘를 18개의 의미범주별로 분류한 ‘화, 혐오, 슬픔, 절망, 혼돈, 당황, 무관심, 공포, 걱정, 만족, 사랑, 동경 희망, 관심, 자신감, 즐거움, 기쁨, 경외’를 1차로 선정하였다.
이들 어휘에서 PCS, 이화-AAC 상징, 카카오톡 이모티콘 I, II에 공통적으로 포함된 어휘를 2차로 선정하였다. 이에 대해 1급 언어재활사 자격증을 보유한 1인과 2급 언어재활사 자격증을 보유한 3인이 타당도 검사를 실시하여 5점만점 중 4점 이상을 획득한 어휘 8개를 최종적으로 선정하였다. 이들 어휘는 ‘걱정되다’, ‘괜찮다’, ‘놀랍다’, ‘두렵다’, ‘부끄럽다’, ‘슬프다’, ‘행복하다’, ‘화나다’이다.

상징자극의 선정

AAC 그림상징 유형으로는 해외의 대표적인 상징체계인 PCS와 국내에서 타당도 검사를 거쳐 많이 사용되고 있는 이화-AAC 상징(Park et al., 2016)을 사용하였다. 이모티콘은 국내 대표적인 SNS 프로그램인 카카오톡 이모티콘을 얼굴표현 중심과 얼굴 및 신체부위 표현 중심의 두 가지 유형으로 구분하여 상징 자극물로 포함하였다.
Figure 1에 제시된 상징별 특징을 살펴보면, PCS 상징은 대체로 다양한 얼굴표정 중심으로 정서어휘를 표현하고 있으며, 이화-AAC 상징은 상대적으로 얼굴에 담긴 표정 정보는 약한 편이나, 얼굴 외의 신체 부위가 제공하는 정보가 포함된 특징을 보인다. 카카오톡 이모티콘 유형 I은 얼굴표현 중심으로 제작되었으며, 유형 I보다는 상대적으로 최근에 개발된 카카오톡 이모티콘 유형 II는 표정 정보뿐만 아니라 신체부위 동작의 정보도 추가된 특징을 보인다. 본 연구에서 하나의 이모티콘 유형으로 통일하지 않고, 서로 다른 특징을 보이는 유형을 포함한 이유는 사람마다 선호하는 이모티콘의 유형이 다를 수 있고(Lee & Koh, 2015), PCS와 이화-AAC 상징 간에도 이러한 특징이 구분되어 나타나므로, 신체부위에 대한 추가적 정보가 상징인식에 긍정적으로 작용하는지를 살펴보고자 하기 위함이다.
정서어휘에 대한 상징자극 선정 시, 개별 상징에 기본값으로 부여된 어휘를 고려하되, 유사한 정서 범주 내의 상징들도 포괄하여 다수의 후보 상징을 선정하고 이에 대한 타당도 검사를 진행하였다. 연구자와 AAC 연구 및 임상분야에서 10년 경력을 가진 1급 언어치료사가 목표 어휘에 부합하는 상징자극들을 1차 선별한 후, 이에 대해 AAC 과목을 이수하고 2급 자격증을 보유한 언어재활사 4인에게 타당도 검사를 실시하여 평균 4점 이상(5점 만점)을 받은 상징 중에서 가장 높은 점수를 받은 상징들을 최종 선정하였다.

실험과제

본 실험에 사용된 그림상징 이름대기과제는 피험자가 상징자극물을 보고 해당하는 정서어휘를 8개의 글자 보기 중에서 하나를 선택하여 말하도록 제작되었다. 총 32개의 상징자극(8개의 목표어휘×4가지 상징유형)이 컴퓨터 화면을 통해 하나씩 제시되도록 하였고, 제시되는 위치는 화면의 중앙부 상단에 7 cm×7 cm 크기로 고정하였다. 그림상징의 제시 순서는 MS Office의 엑셀 프로그램의 random함수를 이용하여 어휘를 무작위로 1차 배열한 후 동일한 상징유형이 연속해서 나타나지 않도록 유사무작위(pseudo-randomization)로 재배열하였다. 상징이 놓이는 위치의 하단에는 8개의 목표어휘 글자 목록을 가로(4개)×세로(2개)를 표로 함께 제시하였다. 표 안에 글자는 폰트 사이즈 28 pt의 고딕체로 통일하였고, 8개 어휘 단어의 위치는 고정하였으며, 위치가 주는 학습효과를 차단하기 위해 사전에 단어 위치에 대한 친숙화 단계를 거쳤다.

실험절차

실험은 조용하고 독립된 공간에서 연구자와 피험자만 입실한 상태에서 진행하였다. 연구자가 연구에 대해 구두로 설명한 후 연구참여 동의서에 서명을 득한 다음, 면담 및 선별검사를 실시하였다. 실험에 들어가기에 앞서 피험자가 실험절차를 익히도록 하기 위해 연습문항 4개를 실시하였고, 과제에 대해 충분히 이해하고 있다는 것을 확인한 뒤 본 실험에 들어갔다. 아울러 본 실험 전에 글자자극의 위치에 대한 친숙화 과정을 거쳤는데, 연구자는 본 실험에 동일하게 사용될 글자 배열을 피험자에게 손으로 가리키며 소리내어 읽어주고, 글자 자극어를 하나씩 말하였을 때 피험자가 위치를 정확하게 지적하도록 하였다.
본 실험에서는 화면의 정중앙부에 십자가(+) 표시된 Fixation 화면이 500 ms 동안 나타났다가 사라지면 100 ms 동안 빈(blank) 화면이 나타나도록 하였다. 이후 ‘삐-’소리(beep sound)와 함께 상징자극물이 8개의 글자 목록과 함께 화면에 제시되었으며, 피험자가 그림상징에 해당하는 목표어휘를 목록에서 찾아 소리내어 읽도록 하였다. 피험자의 구두 반응은 분석을 위해 모두 녹음하였다(SONY ICD-UX200F 녹음기 이용).

자료분석 및 통계절차

피험자가 정반응을 보인 경우 1점, 오반응은 0점으로 처리하여 정반응 점수를 32점 만점으로 산출하였으며, 참가자가 답변을 번복한 경우에는 1회에 한하여 수정한 반응을 분석에 포함하였다. 반응시간은 상징자극물이 제시되는 순간부터 피험자의 구어 산출이 시작되는 시점까지를 Praat (Boersma, 2001)을 사용하여 측정하였다. 발화의 시작점은 Shin (2011)에 따라 한국어의 말소리 특징을 고려하여 분석하였다.
상징유형에 따른 정상 성인의 정서어휘에 대한 상징인식의 정확도와 반응시간에 차이가 있는지를 살펴보기 위하여, 반복측정 일원분산분석(one way repeated measures ANOVA)을 실시하였다. 유의한 차이를 보이는 상징유형을 살펴보기 위하여 본페로니(Bonferroni) 사후검정을 실시하였다.

신뢰도 검사

본 연구자 외에 1급 언어재활사 자격증을 소지한 1명을 제2 평가자로 선정하여, 전체 참가자의 20%에 해당하는 6명을 무작위로 선정하여 그림상징 이름대기과제에서의 정반응 수에 대해 평가자 간 신뢰도(inter-rater reliability)를 구한 결과 100% 일치도를 보였다.

연구결과

상징유형에 따른 정확도 비교

그림상징 이름대기과제에서 그림상징 유형(PCS, 이화-AAC, 카카오톡 이모티콘 I, 카카오톡 이모티콘 II)에 따른 정확도에 대한 기술통계 결과가 Table 1에 제시되어 있다. 카카오톡 이모티콘 II는 평균 정확도가 21.680 (SD=2.625)으로 가장 높았으며, 이화-AAC 상징도 21.484 (SD=3.528)로 비교적 높게 나타났다. 상대적으로 카카오톡 이모티콘 I는 17.871 (SD=3.743)로 낮은 편이었으며, 가장 정확도 점수가 낮은 상징유형은 PCS였다(M=16.016, SD=3.528).
상징유형에 따라 그림상징 이름대기과제에서의 정확도에 통계적으로 차이가 있는지를 살펴보기 위하여 반복측정 일원분산분석을 실시한 결과, 주효과가 유의한 것으로 나타났다(F(3, 93)=27.619, p<.001). 정확도의 차이를 보이는 상징유형을 판별하기 위하여 본페로니 사후검정을 실시한 결과가 Table 2에 제시되어 있다. PCS와 이화-AAC 상징, PCS와 카카오톡 이모티콘 II, 이화-AAC 상징과 카카오톡 이모티콘 I, 카카오톡 이모티콘 I과 II 간에 정확도 상에 유의한 차이가 있는 것으로 나타났다. 그러나 동일하게 얼굴표정 위주로 표현된 상징유형인 PCS와 카카오톡 이모티콘 I 간에는 유의한 차이가 없었으며(p=.181), 얼굴 및 신체부위의 표현이 함께 상징에 표상된 이화-AAC 상징과 카카오톡 이모티콘 II 간에도 유의한 차이가 없는 것으로 나타났다(p=1.000).

상징유형에 따른 반응시간 비교

그림상징 이름대기과제에서 그림상징유형에 따른 반응시간에 대한 기술통계 결과는 Table 3에 제시되어 있다. 평균 반응시간이 가장 짧은 것은 1.533초의 카카오톡 이모티콘 II이었으며(SD=.726), 이화-AAC 상징도 1.589초(SD=1.033)로 짧게 나타났다. 상대적으로 평균 반응시간이 긴 것은 카카오톡 이모티콘 I (M=1.945, SD=1.417)이었으며, PCS의 평균 반응시간이 가장 긴 것으로 나타났다(M=1.994, SD=1.312).
그림상징유형에 따른 상징이름대기 반응시간에 유의한 차이가 있는지 반복측정 일원분산분석 결과 Table 4와 같이 그림상징유형에 따른 주효과(main effect)가 통계적으로 유의한 것으로 나타났다(F(2.526, 295.551)=6.271, p=.001).
반응시간에 차이를 보이는 상징유형을 판별하기 위하여 본페로니 사후검정을 실시한 결과 Table 4에 제시된 바와 같이 PCS와 이화-AAC 상징, PCS와 카카오톡 이모티콘 II, 카카오톡 이모티콘 I과 II 간의 유의한 반응시간의 차이가 있는 것으로 나타났다. 그러나 동일하게 얼굴표정 위주로 표현된 상징유형인 PCS와 카카오톡 이모티콘 I 간에는 유의한 차이가 없었으며(p=1.000), 얼굴 및 신체 부위의 표현이 함께 상징에 표상된 이화-AAC 상징과 카카오톡 이모티콘 II 간에도 유의한 차이가 없는 것으로 나타났다(p=1.000). 이러한 사후검정 결과는 정확도에 대한 사후검정 결과와 동일하다. 그러나 서로 다른 상징 유형과 특징을 지녔음에도 불구하고 이화-AAC 상징과 카카오톡 이모티콘 I 간에는 반응시간에서 유의한 차이가 나타나지 않았다(p=.113).

논의 및 결론

연구에 사용된 목표 정서어휘인 ‘걱정되다’, ‘괜찮다’, ‘놀랍다’, ‘두렵다’, ‘부끄럽다’, ‘슬프다’, ‘행복하다’, ‘화나다’에 대하여 정상 성인은 PCS 상징과 카카오톡 이모티콘 I보다 카카오톡 이모티콘 II와 이화-AAC 상징을 정확하게 인식하는 것으로 나타났다. 이러한 결과는 얼굴표정과 신체부위 동작이 모두 표상된 상징(이화-AAC 상징, 카카오톡 이모티콘 II 해당)이 얼굴표정만으로 이루어진 상징(PCS, 카카오톡 이모티콘 I 해당)보다 정서어휘를 정확하게 인식하는 데에 효과적인 단서를 제공하고 있다는 것을 보여준다. 결국 신체 동작 정보가 추가될 경우 정서어휘의 추상적인 개념을 보다 정확하게 파악할 수 있도록 해주는 것으로 확인되었다. 가령 평균 정확도가 가장 높았던 카카오톡 이모티콘 II는 ‘행복하다’를 웃고 있는 얼굴표정과 양손을 위아래로 흔들며 한 발을 들어 보이는 기쁨의 동적 움직임을 나타내는 반면, 가장 평균 정확도가 낮았던 PCS 상징에 대해서는 웃는 얼굴표정만으로 개념을 유추해야 하기 때문에, 제공되는 단서의 질과 양이 다르며, 이러한 차이는 정확도에 영향을 준 것으로 보인다. 또 다른 예로 ‘두렵다’는 PCS에서 얼굴 표정을 중심으로 이마를 찌푸리며 걱정스럽고 놀란 듯한 눈동자와 입 꼬리가 아래로 향해 부정적인 정서를 나타내는 정보를 담아내고 있고, 카카오톡 이모티콘 I도 겁에 질린 듯한 눈동자와 입 모양을 파랗게 질린 얼굴색으로 ‘두려움’을 나타내고 있다. 이에 반해 상대적으로 높은 정확도를 보인 이화-AAC 상징은 불안정한 눈빛과 아래쪽으로 향한 입 꼬리로 표현된 얼굴표정과 함께, 양손을 가슴에 교차하여 얹고 떨고 있는 모습을 나타내고 있으며, 카카오톡 이모티콘 II도 불안정한 눈빛에 더하여, 불안한 듯 손가락을 이로 물어 뜯고 있는 신체동작을 추가 정보로 제공되고 있어 추상적인 정서어휘를 인식하는 데에 도움을 주고 있다.
PCS는 영어가 모국어가 아닌 다른 언어의 문화권에서도 사용성이 높은 편이고(Dada, Huguet, & Bornman, 2013), 상징인식에 작용하는 도상성도 투명성 정도가 높은 편이다(Mirenda & Locke, 1989). 그러나 본 연구에서는 정서어휘에 있어서 만큼은 국내에서 제작된 이화-AAC 상징에 비해 정확성의 차이를 발생시키는 것으로 나타났다. 이러한 결과는 서로 다른 감정상징에 대한 인식을 비교한 Na 등(2019)의 연구결과와 일치하는 것으로, 이들의 연구에서도 PCS는 이화-AAC 상징보다 상징 인식의 정확도가 낮은 것으로 나타났다. Na 등(2019)은 이화-AAC 상징의 정확도가 더 높은 요인으로 문화적인 차이를 꼽았으나, 실제로 두 상징에 뚜렷한 문화적 차이가 작용하였다는 인과관계를 확인하기에는 다소 어려움이 있다. 오히려 이모티콘을 함께 포함하여 분석한 본 연구의 결과를 토대로 유추하자면, 얼굴표정에 추가로 신체부위의 동작 표현이 있느냐의 여부가 인식의 수행도를 결정짓는 주요한 요인 중 하나인 것으로 보인다. 이는 사진을 이용한 정서 얼굴표정 인식 연구에서 신체 자세가 더해졌을 때 대부분의 사람들이 정서를 해석하기 용이하였고(Tracy & Robins, 2004) 같은 얼굴표정 사진을 다른 자세와 합성한 경우, 그 자세에 해당하는 적절한 정서를 유추해내는 데에 유용하였다는 선행연구 결과(Aviezer et al., 2008)가 뒷받침해준다. 비록 선행연구의 실험에 사용된 자극의 형태가 그림상징이나 이모티콘이 아닌 사진이기는 하나, 보다 세밀한 표정 정보를 담아낼 수 있는 사진조차도 정확한 정서를 얼굴표정만으로 표현하는 데에는 한계가 있으며, 신체 동작이 주는 정보가 중요하게 작용한다는 것을 시사한다.
본 연구의 두 번째 연구질문인 반응시간에 대해서는, 얼굴과 신체부위의 표현이 담긴 상징유형(이화-AAC 상징, 카카오톡 이모티콘 II)에 대해 정상 성인들이 상대적으로 빠른 인식을 보이는 것으로 확인되었다. 이러한 결과는 정확도와 마찬가지로 상징에 신체동작에 대한 시각적 정보가 추가될 경우, 속도 면에서도 긍정적으로 작용하여 상징 인식을 도모한다는 것을 말해준다. 단, 정확도면에서 이화-AAC 상징과 카카오톡 이모티콘 I 간에 유의한 차이가 있었던 반면 반응시간에서는 통계적으로는 차이가 없는 것으로 나타나 비록 신체 동작에 대한 정보가 없는 카카오톡 이모티콘 I도 많은 정보를 담고 있는 이화-AAC 상징만큼, 빠른 속도의 인지처리가 가능하다는 것을 알 수 있다. 이러한 결과는 상징이 담고 있는 정보의 양과 질에서의 차이뿐만 아니라, 이모티콘 자체에 대한 피험자들의 친숙도가 영향을 준다는 것을 강하게 시사한다. 즉, 이모티콘에 대해 친숙성이 작용하게 되면, 비록 그 자체가 시각적 정보를 덜 포함하고 있다 하더라도 사용자에게는 비친숙하지만 신체동작 정보가 좀 더 포함된 이화-AAC 상징만큼이나 빠른 인식을 가능하게 한다는 것을 알 수 있다.
위의 논리를 확장하여 본 연구의 목적과 결부해 보면, 후천적 장애로 문해력이 손상된 성인에게 상징을 이용하여 정서표현을 도모하는 경우, AAC 전용으로 제작된 이화-AAC 상징을 사용하는 것도 좋은 접근으로 고려할 수 있겠고, 이미 친숙하게 알고 있는 SNS 이모티콘을 사용해서도 효과적으로 타인과 정서를 공유할 수 있을 것으로 보인다. 단, 성인 사용자가 본인의 선호도에 의해 얼굴표정만으로 정서를 표현하는 이모티콘을 사용하고자 하는 경우에는 비록 친숙한 상징이라 하더라도 정확하게 정서를 전달하는 데에는 이화-AAC 상징보다는 제공하는 정보의 양과 질이 부족하여 정확성이 다소 낮을 수 있다는 것을 주지할 필요가 있겠다. 따라서 이 사용자가 새로운 이모티콘이나 AAC 상징을 학습하는 데에 어려움이 있다고 판단되는 경우라면, 얼굴표정 중심의 이모티콘을 계속 활용하되, 이들 상징을 정확하게 사용할 수 있도록 증진하는 별도의 중재안이 마련될 필요가 있을 것이다.
인터넷과 스마트폰의 보급으로 SNS를 이용한 메신저 대화와 이모티콘의 활용이 이미 일상에서 큰 비중을 차지하게 되었다. 이러한 시대적 흐름 속에서 AAC를 필요로 하는 사람들이 SNS의 이모티콘을 개인의 AAC 도구에서도 활용할 수 있도록 한다면 시간과 공간의 제약을 넘어서서 보다 용이하게 타인과 소통하고 사회에 참여할 수 있게 될 것으로 보인다. 그런 점에서 본 연구는 국내외 AAC 그림상징과 이모티콘을 직접 비교하여 정서표현의 도구적 상징으로서의 이모티콘이 갖고 있는 잠재성을 확인하였다는 점에서 의의가 있다. 또한 기존의 연구들이 ‘희, 노, 애, 락’이라는 기본 정서어휘를 중심으로 살펴본 것과 달리, 일상에서 경험할 수 있는 다양한 정서를 8가지로 확장하여 상징인식의 수행 차이를 살펴보았다는 점에서도 의의가 있겠다. 마지막으로 본 연구는 상징이 나타내는 어휘의 개념적 특성에 따라 상징의 인식에 작용하는 요인이 다르게 작용할 수 있다는 것을 정서어휘에 대해 보여주었다는 점에서 의의가 있다. 정서표현은 얼굴표정에 많은 정보가 담겨 있기도 하여 이미 PCS 상징에서도 사용되고 있으나 실제로 정확한 인식을 위해서는 신체 동작의 추가적 정보가 중요한 요인으로 작용한다는 점이 확인되었다. 이러한 근거는 정서어휘에 대한 AAC 상징을 개발할 때 활용될 수 있을 것이며, 보다 빠르고 정확하게 인식할 수 있는 상징 개발을 통해 AAC 사용자가 효과적으로 타인과 정서를 공유할 수 있도록 도모할 수 있으리라 본다.
본 연구에서는 이모티콘을 사용하여 SNS로 소통하는 데에 익숙한 20-30대의 일반 성인을 연구에 포함하였으나 개개인의 친숙도 수준을 통제하지는 않았다. 추후 연구에서는 이모티콘에 비록 친숙하다 할지라도 그 정도에 따라 과제 수행 상의 차이가 발생하는지를 살펴볼 필요가 있겠다. 아울러 상징들 간의 모든 조건이 통제되지는 않았다는 점도 주지할 필요가 있다. 동일한 색상, 얼굴크기, 동작의 각도, 추가되는 신체 부위의 정보 수준, 유생성(생명이 있는) 캐릭터의 서로 다른 특징(가령 사람과 동물 캐릭터) 등이 이에 해당될 것이다. 연구의 목적에 따라 모든 실험 자극 조건을 엄격하게 통제하여 자극을 새로 개발할 필요성이 있는 연구가 있을 수 있다. 반면에 본 연구와 같이 이미 개발된 국내외 AAC 상징들을 비교하되, 추가로 피험자에게 친숙한 이모티콘을 포함하여 인식의 차이를 살펴보는 연구 목적을 갖기도 한다. 이 경우 각 상징의 고유한 특징을 그대로 살리는 것이 필요하다. 이는 AAC 감정상징에 대한 국내외 선행연구의 실험방법과 그 맥락을 같이 한다. 마지막으로 본 연구는 정상 성인을 대상으로 실험이 이루어진 만큼 AAC를 필요로 하는 장애군으로 대상자를 확대하여 그들의 자연스러운 일상에서 이모티콘이 AAC 그림상징만큼 효과적으로 활용될 수 있는지를 살펴보는 연구가 필요해 보인다.

Figure 1.
Graphic symbol stimuli representing emotional words including ‘worried’, ‘fine’, ‘surprised’, ‘feared’, ‘angry’, ‘happy’, ‘sad’, and ‘shy’ in a clockwise direction from the top-left: A=PCS, B=Ewha-AAC symbols, C=Kakao Talk emoticons I, D=Kakao Talk emoticons II.
csd-25-2-334f1.jpg
Table 1.
Average of accuracy scores for four types of graphic symbols
Graphic symbol type N Mean Standard deviation
PCS 32 16.016 3.528
Ewha-AAC symbols 32 21.484 3.528
Kakao Talk emoticon I 32 17.871 3.743
Kakao Talk emoticon II 32 21.680 2.625
Table 2.
Results of post-hoc test of accuracy scores between four types of graphic symbols
Comparisons of symbol types Mean difference Standard error Comparisons of symbol types
PCS vs Ewha-AAC symbol -5.469 .769 .000***
PCS vs Kakao Talk emoticons I -1.855 .816 .181
PCS vs Kakao Talk emoticons II -5.664 .708 .000***
Ewha-AAC symbol vs Kakao Talk emoticons I 3.613 .703 .000***
Ewha-AAC symbol vs Kakao Talk emoticons II -0.195 .687 1.000
Kakao Talk emoticons I vs Kakao Talk emoticons II -3.809 .803 .000***

*** p<.001.

Table 3.
Average of response times for four types of graphic symbols
Graphic symbol type N Mean (seconds) Standard deviation
PCS 118 1.994 1.312
Ewha-AAC symbols 118 1.589 1.033
Kakao Talk emoticon I 118 1.945 1.417
Kakao Talk emoticon II 118 1.533 .726
Table 4.
Results of post-hoc test of response times between four types of graphic symbols
Comparisons of symbol types Mean difference Standard error Comparisons of symbol types
PCS vs Ewha-AAC symbol .405 .135 .019*
PCS vs Kakao Talk emoticons I .049 .165 1.000
PCS vs Kakao Talk emoticons II .461 .122 .002**
Ewha-AAC symbol vs Kakao Talk emoticons I -.355 .149 .113
Ewha-AAC symbol vs Kakao Talk emoticons II .056 .103 1.000
Kakao Talk emoticons I vs Kakao Talk emoticons II .411 .123 .006**

* p<.05,

** p<.01.

REFERENCES

Adolphs, R., Damasio, H., & Tranel, D. (2002). Neural systems for recognition of emotional prosody: a 3-D lesion study. Emotion. 2(1):23–51.
crossref pmid
Aviezer, H., Hassin, RR., Ryan, J., Grady, C., Susskind, J., Anderson, A., ... Bentin, S. (2008). Angry, disgusted, or afraid? studies on the malleability of emotion perception. Psychological Science. 19(7):724–732.
crossref pmid
Beukelman, DR., & Mirenda, P. Augmentative and alternative communication: supporting children and adults with complex communication needs. Paul H. Brookes Pub.

Blonder, LX., Pettigrew, LC., & Kryscio, RJ. (2012). Emotion recognition and marital satisfaction in stroke. Journal of Clinical and Experimental Neuropsychology. 34(6):634–642.
crossref pmid
Boersma, P. (2001). Praat, a system for doing phonetics by computer. Glot International. 5(9/10):341–345.

Camras, LA., & Allison, K. (1985). Children’s understanding of emotional facial expressions and verbal labels. Journal of Nonverbal Behavior. 9(2):84–94.
crossref
Chae, S. (2014). The comparative study of symbol perception on the symbols depicting emotions between children with intellectual disabilities and special education teachers. Special Education Research. 13(2):215–237.
crossref
Chae, S., & Hong, K. (2015). Perception for aided-symbols depicting emotions in children with autism spectrum disorders. The Journal of Special Children Education. 17(3):1–21.

Dada, S., Huguet, A., & Bornman, J. (2013). The iconicity of picture communication symbols for children with English additional language and mild intellectual disability. Augmentative and Alternative Communication. 29(4):360–373.
crossref pmid
DeKlerk, HM., Dada, S., & Alant, E. (2014). Children’s identification of graphic symbols representing four basic emotions: comparison of Afrikaansspeaking and Sepedi-speaking children. Journal of Communication Disorders. 52, 1–15.
crossref pmid
Ekman, P., & Keltner, D. (1997). Universal facial expressions of emotion. In UP. Segerstrale, P. Molnar P (Eds.), Nonverbal communication: where nature meets culture. (pp. 27–46). Mahwah, NJ: Erlbaum.

Hobson, RP., & Lee, A. (1999). Imitation and identification in autism. The Journal of Child Psychology and Psychiatry and Allied Disciplines. 40(4):649–659.
crossref
Jahromi, LB., Gulsrud, A., & Kasari, C. (2008). Emotional competence in children with Down syndrome: negativity and regulation. American Journal on Mental Retardation. 113(1):32–43.
crossref pmid
Johnson, RM. (1994). The Picture Communication Symbols (PCS) Combination Book. Mayer-Johnson.

Kang, MJ., Lim, KY., & Lee, HJ. (2018). Accuracy and preference of symbol selection according to emotional vocabulary symbol type. Journal of Speech-Language & Hearing Disorders. 27(4):55–60.
crossref
Kemper, TD. (1987). How many emotions are there? Wedding the social and the autonomic components. American Journal of Sociology. 93(2):263–271.
crossref
Kim, HS., & Shin, SY. (2019). A communication study on using emoticon of adolescent with developmental disabilities. Communication Sciences & Disorders. 24(1):61–70.
crossref
Kim, HH., & Na, DL. (2012). Paradise Korean-Western Aphasia Battery-Revised. Seoul: Paradise Welfare Foundation.

Kim, YT., Hong, GH., Kim, KH., Jang, HS., & Lee, JY. (2009). Receptive & expressive vocabulary test (REVT). Seoul: Seoul Community Rehabilitation Center.

Kring, AM., Smith, DA., & Neale, JM. (1994). Individual differences in dispositional expressiveness: development and validation of the Emotional Expressivity Scale. Journal of Personality and Social Psychology. 66(5):934–949.
crossref pmid
Lee, HK., & Koh, EY. (2015). A comparative study on characteristics of those in their twenties and elderly citizens in using instant messenger emoticons: centering on Kakao Talk emoticon. A Journal of Brand Design Association of Korea. 13(2):145–156.
crossref
Lee, SH., Kim, YT., & Yeon, SJ. (2017). Expression and preference of emoticons in SNS contexts in children with high-functioning autism spectrum disorder. Journal of Speech-Language & Hearing Disorders. 26(2):99–112.

Lieberman, MD., Inagaki, TK., Tabibnia, G., & Crockett, MJ. (2011). Subjective responses to emotional stimuli during labeling, reappraisal, and distraction. Emotion. 11(3):468–480.
crossref pmid pmc
Markham, R., & Wang, L. (1996). Recognition of emotion by Chinese and Australian children. Journal of Cross-Cultural Psychology. 27(5):616–643.
crossref
Mirenda, P., & Locke, PA. (1989). A comparison of symbol transparency in nonspeaking persons with intellectual disabilities. Journal of Speech and Hearing Disorders. 54(2):131–140.
crossref pmid
Na, JY., Lee, SH., Oh, GA., & Park, HY. (2019). The comparative eyetracking study on perception between Mytalkie and PCS emotion symbols. AAC Research & Practice. 7(1):131–152.
crossref
Na, JY., & Wilkinson, KM. (2018). Communication about emotions during storybook reading: effects of an instruction programme for children with Down syndrome. International Journal of Speech-Language Pathology. 20(7):745–755.
crossref pmid
Ortony, A., & Turner, TJ. (1990). What’s basic about basic emotions. Psychological Review. 97(3):315–331.
crossref pmid
Pae, S., & Kwak, KC. (2011). Korean MacArthur-Bates Communicative Development Inventories (K M-B CDI): user’s guide and technical manual. Seoul: Mindpress.

Park, EH., Kim, YT., Hong, KH., Yeon, SJ., Kim, KY., & Lim, JH. (2016). Development of Korean Ewha-AAC Symbols: validity of vocabulary and graphic symbols. AAC Research & Practice. 4(2):19–40.
crossref
Rimé, B., Philippot, P., Boca, S., & Mesquita, B. (1992). Long-lasting cognitive and social consequences of emotion: social sharing and rumination. European review of social psychology. 3(1):225–258.
crossref
Schlosser, R., & Sigafoos, J. (2002). Selecting graphic symbols for an initial request lexicon: integrative review. Augmentative and Alternative Communication. 18(2):102–123.
crossref
Shin, JY. (2011). The Sounds of Korean. Seoul, Korea: Knowledge and Education.

Storm, C., & Storm, T. (1987). A taxonomic study of the vocabulary of emotions. Journal of Personality and Social Psychology. 53(4):805–816.
crossref
Tracy, JL., & Robins, RW. (2004). Show your pride: Evidence for a discrete emotion expression. Psychological Science. 15(3):194–197.
crossref pmid
Yun, HJ., & Park, HJ. (2015). Use of mobile messengers through connection of AAC with Kakao Talk. AAC Research & Practice. 3(2):167–175.
crossref
Editorial office contact information
Department of Speech Pathology, College of Rehabilitation Sciences, Daegu University,
Daegudae-Ro 201, Gyeongsan-si, Gyeongsangbuk-do 38453, Republic of Korea
Tel: +82-502-196-1996   Fax: +82-53-359-6780   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Developed in M2PI