본 연구에서는 화자의 마스크 착용 유무(마스크 착용 조건, 마스크 미착용 조건)와 발화의 감정 유형(행복, 슬픔, 분노)에 따른 청각장애 아동과 정상청력 아동의 감정지각 점수를 비교하였다. 그리고 청각장애 아동 집단을 보장구 유형에 따라 인공와우 착용 집단과 보청기 착용 집단으로 구분하여, 화자의 마스크 착용 유무와 발화의 감정 유형에 따른 감정지각 점수를 비교하였다. 나아가 청각장애 아동의 개인 변인와 감정지각 간의 관련성을 살펴보았다. 본 연구목적에 따른 논의 및 결론은 다음과 같다.

본 연구에서는 마스크 착용 유무와 상관없이 청각장애 아동 집단과 정상청력 아동 집단 간 행복, 슬픔, 분노 감정에서의 감정지각 점수에 유의한 차이가 없었다. 화자가 마스크를 착용할 경우 얼굴 표정과 관련된 정보가 부분적으로만 제공되므로, 청자가 화자의 감정을 정확하게 파악하는데 어려움이 초래될 수 있다(Carbon & Serrano, 2021; Gori et al., 2021). 이러한 점을 고려할 때, 우리는 청각장애 아동이 마스크 착용 조건에서 정상청력 아동과 비슷한 수준으로 감정을 정확하게 지각할 수 있었다는 결과에 주목할 필요가 있다. 선행연구와 본 연구의 결과 차이는 감정지각에서의 문화 차이, 코로나바이러스 감염증-19 확산으로 인한 마스크 착용 상태에서의 의사소통 적응, 본 연구의 대상자 및 과제 특성과 관련이 있을 것으로 생각된다. 먼저, 문화적 차이로 인한 감정지각의 차이에 대해서 살펴보면, 상대방의 감정을 파악할 때 일반적으로 동양인은 얼굴 부위 중 눈을 보고 감정을 지각하며, 서양인은 입을 보고 감정을 지각한다(Jack, Blais, Scheepers, Schyns, & Caldara, 2009). 이러한 문화권의 차이는 마스크를 활용한 감정지각 연구에서도 확인할 수 있다. 미국인과 한국인에게 얼굴표정 사진을 보여주고 감정을 선택하게 한 결과, 한국인은 마스크를 착용하지 않은 조건보다 마스크 착용 조건에서 행복, 슬픔, 공포, 혐오 감정을 지각하는 정확도가 미국인에 비해 높았다(Kang, Kang, Jeong, & Kim, 2021). 이러한 결과는 마스크로 얼굴의 하단을 시각적으로 차단하는 것이 한국인의 감정지각에 큰 장애물이 되지 않았을 가능성을 시사한다.

또한, 선행연구와 본 연구의 결과 차이는 의사소통 상황에서의 마스크 착용에 대한 적응과 관련이 있을 수 있다. 본 연구의 데이터 수집은 코로나바이러스 감염증-19가 확산된 지 약 2년이 경과한 시점에 이루어졌으며, 이 시기에 연구에 참여한 대상 아동들은 코로나바이러스 감염증-19 확산 예방을 위한 마스크 착용이 익숙해진 상태였다. 국내에서 Han, Na, Bang과 Sul (2022)이 코로나 확산 후 성인이 마스크를 어떻게 인식하는지 살펴본 결과, 마스크가 아닌 다른 방식(예: 검은색 직사각형)으로 얼굴을 가릴 경우 위협적이라고 지각하지만 마스크로 얼굴을 가릴 경우 안전한 것으로 지각하였으며, 저자들은 이러한 결과에 대해서 마스크를 착용하는 상황이 더 이상 낯설지 않기 때문이라고 언급하였다. 또한, 국내에서 4-6세 아동에게 마스크에 대한 인식을 조사한 결과에서도 아동들은 마스크가 본인을 보호하기 위한 수단이라고 지각하며 그 필요성을 숙지하고 있었고, 마스크는 생활에 필요하고 좋은 것이라고 인식하고 있었다(Kwon, Jang, & Yang, 2022). 이러한 선행연구들은 지속적으로 마스크를 착용한 얼굴에 노출될 경우, 성인뿐 아니라 학령전기 아동도 마스크를 친숙한 것으로 인식한다는 것을 시사한다. 또한, Bylianto와 Chan (2022)의 연구에 따르면, 인간은 마스크를 착용한 타인과 마주할 경우, 마스크로 가려진 입 부위가 아니라 의사소통에 필요한 정보를 파악할 수 있는 얼굴의 다른 부위인 눈으로 자연스럽게 시선(focus)을 이동하는 것으로 나타났다. 그리고 1세 이하의 영유아도 마스크를 착용한 얼굴을 포함해 인간의 얼굴을 접하는 경험이 많아질수록 마스크를 착용한 얼굴과 같이 시각 정보가 제한적인 상황에서 부족한 시각 정보를 처리하기 위한 시각 체계(visual system)를 효율적으로 발달시키는 것으로 나타났다(Galusca et al., 2023). 이처럼 인간은 특정 상황에 적응하기 위해 의사소통 행동을 하며, 이러한 의사소통 행동의 변화도 생물학적 진화와 유사한 하나의 적응 과정이라고 볼 수 있을 것이다(Ivey & Hurst, 1971). 이상의 선행연구 결과를 토대로 볼 때, 본 연구에 참여한 청각장애 아동은 마스크 착용 상황에 지속적으로 노출되면서 얼굴표정과 같은 시각 정보가 충분하지 않은 상황에서 상대방의 감정을 정확하게 지각하기 위한 정보처리 능력을 습득한 것으로 생각된다.

청각장애 아동의 감정지각 능력에 관한 다수의 선행연구(Kim & Yoon, 2018; Lin et al., 2022; Most & Michaelis, 2012; Wang et al., 2019; Wiefferink et al., 2013)에서는 청각장애 아동의 감정지각 능력이 정상청력 아동에 비해서 낮다고 보고하고 있다. 이는 본 연구 결과와 일치하지 않는 결과로, 본 연구에 참여한 대상자 및 과제 특성과 관련이 있을 것으로 보인다. 본 연구에서는 정상청력 집단과 청각장애 집단의 생활연령과 수용어휘 점수를 통제하였기 때문에, 청각장애 아동은 모두 생활연령에 적절한 언어발달을 하고 있는 대상자였다. 그리고 연구에 참여한 청각장애 아동은 조기에 청각장애가 진단되어 청각언어중재를 집중적으로 받은 아동들로, 말지각 발달을 토대로 본인의 생활연령에 적절한 언어발달을 할 수 있었다. 즉, 청각장애 아동의 적절한 말지각 및 정상적인 언어발달을 토대로 한 구어 의사소통의 누적적인 경험이 생활연령을 일치시킨 정상청력 아동과 비슷한 수준의 감정지각 발달까지 가능하게 하였을 것으로 생각된다. 그리고 감정지각 연구에서 주로 사용하는 감정지각 과제는 단일 모달리티 자극만으로 대상자에게 제시하여 감정을 판단하게 하지만, 본 연구에서는 얼굴표정과 감정발화를 동시에 제시하는 멀티 모달리티 자극을 통해 감정을 판단하게 하였다. 따라서 본 연구에서는 청각장애 아동의 말지각 능력이 개인별로 차이가 있고 화자의 마스크 착용으로 인해 시각 정보가 제한적이더라도 청각 정보는 명료도 저하 없이 대상자에게 제공되었기 때문에, 마스크 착용 조건과 상관없이 청각장애 아동이 정상청력 아동과 비슷한 수준으로 정확하게 감정을 지각했을 수 있다. 그리고 청각 정보만을 제시하는 감정지각 과제에서는 대상자의 감정지각 처리에서의 언어적 부담을 최소화하기 위해서, 언어적 문맥을 배제한 비단어와 비문을 사용하거나 어휘와 구문 난이도를 평이한 수준으로 구성한다(Kim & Yoon, 2018; Most & Michaelis, 2012; Waaramaa, Kukkonen, Mykkänen, & Geneid, 2018). 본 연구에서는 대상자의 연령이 만 6세에서 8세 사이의 아동임을 고려하여, 한국어 문법과 어휘 난이도의 영향을 최소화할 수 있도록 어휘를 만 4-6세 아동 수준으로 통제하고, 3-4어절의 단문으로만 감정발화의 문장을 구성하였다. 이러한 감정지각 과제의 특성상, 본 실험에서 청각장애 아동이 정상청력 아동과 동일한 수준으로 화자의 감정을 지각할 수 있었을 것으로 생각된다.

보장구 착용 유형에 따라 인공와우 착용 집단과 보청기 착용 집단의 감정지각 점수를 비교한 결과, 마스크 착용 조건에서는 행복, 슬픔, 분노 감정에서 모두 집단 간 통계적으로 유의한 차이가 없었다. 이러한 결과는 화자의 얼굴표정과 같은 시각 정보가 제한된 상황에서 인공와우 착용 아동이 보청기 착용 아동만큼 타인의 감정을 지각할 수 있다는 것을 의미한다. 반면에 마스크 미착용 조건에서는 인공와우 착용 아동과 보청기 착용 아동 간에 행복 감정에서는 점수에 유의한 차이가 없었지만, 슬픔과 분노 감정에서는 인공와우 착용 아동이 보청기 착용 아동에 비해서 점수가 낮았다. 이는 인공와우 착용 아동이 보청기 착용 아동에 비해 슬픔과 분노 감정을 정확하게 지각하는데 어려움이 있다는 것을 의미한다. 이러한 결과는 감정 유형에 따른 지각 정확도의 차이, 청각과 시각 정보의 통합(integration) 능력의 차이, 인공와우 착용 아동의 개인차로 설명해볼 수 있다. 먼저, 감정 유형에 따른 감정지각 능력의 차이를 살펴보면, 다수의 선행연구에서 인간의 감정지각은 감정 유형에 따라 인식의 정확도에 차이가 있으며, 긍정적인 감정이 부정적인 감정보다 인식하기 더 쉽다고 보고된다(Feyereisen, Malet, & Martin, 1986; Leppänen & Hietanen, 2004). Maiorana 등(2022)은 인간은 행복 감정을 지각하기 위해서는 슬픔과 분노 감정을 지각할 때보다 얼굴 전체 정보(configural information)에 덜 의지하는 경향이 있다고 하였다. 심지어 마스크를 착용하더라도, 긍정적 감정인 행복 감정은 다른 감정에 비해 시각적으로 쉽게 지각되는 것으로 알려져 있다(Hofmann, Stokburger-Sauer, Wanisch, & Hebborn, 2021; Maiorana et al., 2022). 또한, 시각과 청각 정보가 동시에 제공되었을 때 정상발달 아동뿐 아니라 청각장애 아동도 행복 감정을 다른 감정에 비해 쉽게 지각하는 것으로 나타났다(Most & Aviner, 2009). 본 연구에서도 인공와우 착용 아동과 보청기 착용 아동 모두 행복 감정지각에서는 높은 점수를 보여, 선행연구 결과와 일치하는 결과가 나타났다. 본 연구와 선행연구 결과를 종합해 보면, 행복 감정은 긍정적인 감정으로 부정적인 감정에 비해 지각하기 쉽고, 본 연구에서 살펴보고자 한 3가지 감정(행복, 슬픔, 분노) 중 행복이 유일하게 긍정적인 의미를 나타내는 감정이었기 때문에 마스크 착용 조건과 상관없이 감정지각 점수가 높았던 것으로 추측된다.

본 연구에서 보청기 착용 아동은 화자의 마스크 착용 조건에 상관없이 행복, 슬픔, 분노 감정에서 모두 정확하게 감정을 지각하는 반면에, 인공와우 착용 아동은 마스크 착용 조건에 비해 마스크 미착용 조건의 슬픔과 분노에서의 감정지각 점수가 낮은 경향을 보였다. 이러한 결과는 인공와우 착용 아동이 시각과 청각 정보가 모두 제공되는 상황에서 두 가지 모달리티 정보를 통합하여 감정을 지각하는 것이 보청기 착용 아동에 비해서 낮을 수 있다는 것을 시사한다. Klasen, Chen과 Mathiak (2012)에 따르면, 청각 정보와 시각 정보는 별개의 것으로 지각되기보다는 서로 영향을 주고받으며 연합되어 수용된다. Most와 Michaelis (2012)가 청각, 청각-시각, 시각 단서로 나누어 정상청력 아동과 청각장애 아동의 감정지각 수행력을 살펴본 결과, 청각, 청각-시각 단서 조건에서 청각장애 아동 집단이 정상청력 아동 집단에 비해 수행력이 낮았다. 이러한 결과에 대해서 저자들은 청각손실 정도가 심도(profound)인 아동과 중도(moderate) 및 중고도(moderate-to-severe)인 아동을 구분해서 살펴봐야 한다고 강조하면서, 청력이 중도 및 중고도인 아동은 정상 청력 아동과 비슷한 수준으로 청각과 시각 정보를 통합하여 상대방의 감정을 정확하게 지각할 수 있다고 하였다. 선행연구와 본 연구결과를 토대로 볼 때, 청각장애 아동의 청력손실 정도가 심할수록 청각과 시각 정보를 통합하여 상대방의 감정을 지각하는데 어려움이 있을 것으로 생각된다.

마지막으로, 이러한 연구결과는 인공와우 착용 아동의 개인차에 기인하였을 가능성이 존재한다. 마스크 미착용 조건에서 인공와우 착용 아동의 슬픔에서의 감정지각 평균 점수는 83.33%였다. 인공와우 착용 아동의 개별 점수를 살펴보면, 슬픔 감정에서의 감정지각 점수가 29%인 아동 1명, 86%인 아동 2명이었으며, 100%인 아동은 3명이었다. 또한, 마스크 미착용 조건에서 인공와우 착용 아동의 분노에서의 감정지각 평균 점수는 71.43%이지만, 앞서 마스크 미착용 조건의 슬픔 점수 정반응률이 100%가 아니라 다소 낮았던 3명의 아동은 분노에서의 감정지각 점수가 29%, 43%, 57%로 역시 비교적 수행력이 낮았다. 반면에, 감정지각 점수가 낮았던 이 3명의 인공와우 착용 아동은, 마스크 미착용 조건에서 행복 감정 정반응률이 모두 100%였다. 따라서 감정 유형에 따른 개인 간의 감정지각 점수의 차이로 인해 행복 감정에서의 감정지각 점수는 집단 간에 유의한 차이가 없었으나, 슬픔과 분노 감정에서는 집단 간에 차이가 나타난 것으로 생각된다. 그러므로 본 연구결과를 해석할 때, 보청기 착용 집단에서는 행복, 슬픔, 분노 감정에서 낮은 감정지각 점수를 보인 아동이 없었던 반면에, 인공와우 착용 집단에서만 슬픔과 분노 감정에서 유독 낮은 감정지각 점수를 보인 아동이 있었다는 것을 고려할 필요가 있다. 그리고 인공와우 착용 집단에서만 특정 감정에서 낮은 감정지각 점수를 보인 아동이 있었다는 것은 인공와우 착용 아동 중에서 얼굴표정과 감정발화와 같은 시각과 청각 정보를 통한 감정지각에 어려움을 겪는 아동이 있을 수 있다는 가능성을 시사한다. 그러므로, 인공와우 착용 아동의 의사소통 능력 평가 시에는 상황과 문맥, 시각과 청각 정보를 토대로 타인의 감정을 지각하는 능력을 평가할 필요가 있으며, 이로 인한 감정지각 능력의 저하로 인한 또래관계, 학교 적응 등에 어려움이 있는지를 살펴볼 필요가 있을 것이다.

본 연구에서는 청각장애 아동의 감정지각 과제 총점과 개인 변인 간의 상관분석 결과, 감정지각 과제 총점과 단어 및 문장 수준에서의 말지각 점수가 유의한 상관이 있었다. 이러한 결과는 청각장애 아동이 상대방의 감정을 정확하게 지각하기 위해서는 말지각이 중요하다는 것을 의미한다. 청각장애 아동의 말지각 능력은 초기부터 말, 언어, 의사소통 발달의 토대가 되는 중요한 능력이다(Blamey et al., 2001; Blamey & Sarant, 2002). 특히, 본 연구에서는 단어 수준의 말지각보다 문장 수준에서의 말지각이 청각장애 아동의 감정지각 점수와 관련성이 높은 것으로 나타났다. 본 연구에서 사용된 감정발화는 대상 아동에게 문장으로 제시되었다. 따라서 청각장애 아동의 감정지각 점수와의 관련성이 단어 수준의 말지각 점수보다 문장 수준의 말지각 점수에서 더 컸을 수 있을 것이다. 그리고 문장 수준의 말지각은 또래 및 교사와의 의사소통, 일상생활에서의 대화 능력과 관련이 높은 것을 고려할 때(Hong et al., 2019; Lee, Jeong, & Jeong, 2022), 청각장애 아동의 문장 수준에서의 말지각이 화자의 얼굴표정과 음성으로 제시되는 감정발화의 감정을 지각하는데 관련성이 있을 것으로 생각된다. 본 연구를 통해, 청각장애 아동의 말지각이 감정지각과 관련이 있다는 것을 확인하였다.

본 연구의 제한점 및 제언은 다음과 같다. 첫째, 본 연구에서는 청각장애 아동 13명, 정상청력 아동 13명으로, 총 26명의 대상자가 참여하였다. 제한된 대상자 수로 인하여 본 연구결과를 전체 청각장애 아동에게 일반화하여 해석하기에는 한계가 있으므로, 향후 연구에서는 각 집단의 대상자 수를 충분히 확보하여 후속연구를 진행할 필요가 있겠다. 둘째, 본 연구에서는 마스크를 착용하지 않고 발화한 영상에 마스크 이미지를 합성하여, 마스크 착용으로 인한 음향학적 지표의 변화를 반영하지 못하였다. 본 연구는 청각장애 아동이 시각 정보(얼굴표정)와 청각 정보(감정발화)를 활용하는 능력을 살펴보고자 하였으나, 후속 연구에서는 마스크 착용으로 음향학적 지표가 변화하였을 때 감정지각 점수가 어떻게 변화하는지 면밀하게 살펴볼 필요가 있다. 셋째, 본 연구에서는 청각장애 아동의 말지각 능력을 통제하지 못하였고, 말지각 능력이 과제에 미치는 영향을 통제하지 못하였다. 말지각 능력이 청각장애 아동의 말언어 발달 기제에 전반적으로 영향을 미친다는 점을 고려하였을때(Blamey et al., 2001; Blamey & Sarant, 2002), 말지각 능력이 감정지각 능력에 미치는 영향을 배제할 수 없다. 본 연구에서는 청각장애 아동의 말지각 점수가 상이하였고, 상관분석 결과에서도 청각장애 아동의 말지각 점수와 감정지각 점수 간에 유의한 상관이 있는 것으로 나타났다. 따라서, 후속 연구에서는 대상자의 말지각 능력을 통제하여 감정지각 능력을 살펴볼 필요가 있다. 또한, 본 연구의 감정지각 과제에서는 의미적으로 중립적인 2-3어절의 문장을 자극으로 제시하였다. 이처럼 연구자는 과제의 자극이 대상자의 감정지각에 미치는 영향을 최소화하고자 과제 자극의 어휘, 문장구조, 어절 등을 통제하는 노력을 하였지만, 과제의 자극이 청각장애 아동의 감정지각에 미치는 영향을 완전히 배제할 수는 없다. 그러므로 향후 연구에서는 모음, 비단어 등으로 다양한 자극을 사용하여 청각장애 아동의 감정지각 능력을 살펴볼 필요가 있을 것이다. 넷째, 청각장애 아동의 보장구 착용 후 청력역치가 감정지각 능력에 영향을 주었을 가능성이 존재하지만, 본 연구에서는 제한된 대상자 수로 인해 청각장애 아동의 보장구 착용 후 청력역치를 통제하지 못하였다. 후속 연구에서는 청력역치를 통제한 후의 감정지각 능력을 살펴볼 필요가 있다. 다섯째, 본 연구에서는 감정지각 과제의 오류 유형을 분석하지 않았다. 청각장애 아동의 오반응 분석을 통해, 감정지각 시에 감정(valence)의 긍정과 부정, 각성(arousal)의 고저의 구분에 대한 지각 기제를 좀 더 파악할 수 있을 것으로 생각된다. 따라서, 추후에는 청각장애 아동의 감정지각 오류 분석을 포함할 것을 제언한다. 현재까지 아동의 감정지각에 관한 연구는 시청각 정보를 통합하여 제공하기보다는 단일 모달리티만을 사용하는 연구가 다수이며, 청각장애 아동을 인공와우 착용 아동과 보청기 착용 아동으로 나누어 살펴본 연구 또한 제한적이다. 본 연구에서는 시각 정보와 청각 정보를 동시에 제공해, 청각장애 아동이 생활연령을 일치시킨 정상청력 아동과 마찬가지로 감정지각을 할 수 있다는 것을 확인하였다. 또한, 인공와우 착용 아동이 보청기 착용 아동에 비해 마스크 미착용 조건에서 슬픔과 분노 감정을 지각하는 능력이 낮다는 것을 확인하여, 대상자의 보장구 유형에 따라 청각장애 아동의 감정지각 능력이 상이할 수 있다는 점을 확인하였다. 또한, 청각장애 아동의 어휘력, 언어능력과 밀접한 관련이 있는 것으로 알려진 말지각 점수와 감정지각 점수의 상관관계가 있다는 결과를 발견한 것에도 의의가 있다. 코로나바이러스 감염증-19뿐 아니라, 전염병이나 미세먼지에 대처하기 위해 전 세계적으로도 마스크 사용은 지속될 전망이다(Kwon & Yang, 2022). 따라서 향후 연구에서도 시청각 정보가 제한적일 경우 청각장애 아동의 감정지각 능력이 어떠한지에 대한 지속적인 탐색이 필요하며, 이러한 결과를 통한 청각장애 아동의 조기 중재를 통해 아동들이 다양한 상황에서 타인과 적절하게 교류하고 의사소통을 할 수 있도록 지원해야 할 것이다.