| Home | E-Submission | Sitemap | Contact Us |  
top_img
Commun Sci Disord > Volume 26(3); 2021 > Article
VSDs 화면 구성을 위한 사물 사용 유무에 따른 성인 시각집중패턴: 아이트래킹 연구

초록

배경 및 목적

본 연구에서는 VSDs 내 사물 사용 행위 유무에 따른 사용자의 시각 패턴 차이를 아이트래킹을 통해 살펴보고자 한다.

방법

VSDs 내 사물 사용 행위 유무에 따른 전체 시선고정시간, 첫 시선고정지연시간, 시선고정횟수를 알아보았다.

결과

사물 사용 유무에 따라, 전체 시선고정시간과 평균 시선고정횟수의 차이 모두 통계적으로 유의미했으며, 사물 사용이 제시된 VSDs에서 목표 사물을 더 오래, 그리고 자주 응시한 것으로 나타났다. 첫 응시시간은 데이터 일치 집단만을 분석한 결과, 10개 사물 중 6개 사물에서 평균 첫 시선고정지연시간이 더 빠르게 나타났다.

논의 및 결론

본 연구 결과를 통해 사물 사용 행위는 사용자의 일부 시각집중패턴에 영향을 미칠 수 있기 때문에 AAC 화면 구성에 있어 인물의 행위가 중요한 요소로 고려되어야 함을 시사한다. 또한 동일한 화면에 대해서도 사용자별로 응시 패턴이 다양하기 때문에 AAC 화면 구성 시 개인의 특성을 확인하고 반영하는 것이 중요하다.

Abstract

Objectives

This study aims to investigate patterns of visual attention on a target object in VSDs (Visual Scene Displays) when they are designed with/without an action of usage of the object. We used eye-tracking technology to evaluate how the action of usage of an object in still photographs influenced the visual attention of adults without disabilities. We tried to examine visual attention on the contents of visual scene displays (VSDs).

Methods

25 college students participated in the study. Eye-tracking technology recorded point-of-gaze while participants viewed 20 photographs. Data from eye-tracking provided information on where participants were visually fixated and paid more attention on the presented VSDs including a target object.

Results

Both total fixation duration and average fixation count were statistically significant. Participants visually fixated on the target object longer and more often when the object was being used in the presented VSDs. For AOI (Area Of Interest) time of the first fixation, after analyzing only a partial group that had the data match due to the difference in gaze pattern per subject, the average AOI time of the first fixation was shown to be faster when using an object in 6 out of 10 objects.

Conclusion

This study supports the inclusion of an action of an object usage in VSDs suggesting that the act of object usage can partially influence the visual attention pattern of a user.

보완대체의사소통(Augmentative and Alternative Communication, AAC)은 의사소통을 위한 말과 언어에서 어려움을 보이는 이들이 보다 효율적으로 소통할 수 있도록 하기 위한 다양한 방법을 일컫는다. 이는 사용자의 인지와 신체, 의사소통의 보완적 필요 및 요구에 따라 다양한 형태로 제공될 수 있는데 넓게는 수어와 제스처, 표정처럼 별도의 도구를 이용하지 않는 비도구적(unaided) AAC와 의사소통판, 사진, 그림처럼 도구를 이용하는 도구적(aided) AAC로 구분된다. Beukelman과 Mirenda (2008)는 AAC를 타인과의 상호작용, 교육 접근성, 정서적 안정 및 사회 참여에 긍정적인 영향을 주는 효과적인 의사소통 중재라고 정의했다.
일반적으로 AAC의 중요 요소는, 핵심 어휘, 실물과의 유사성, 접근성, 대상자의 선호도, 경제성 등을 고려해 선정하는 상징체계와 이를 활용하는 데 있어서 가장 직접적인 영향을 미치는 상징의 분류와 배열이다. 기존의 상징체계는 의미 전달을 강조하기 위해 PCS, 블리스 상징(Bliss symbols) 등을 주로 사용했으나 이는 맥락의 부재 등의 이유로 사용자의 일상적인 생활과 개인적 경험 등을 담아내는 데 어려움을 야기한다(Blackstone, 2004). 또한 다양한 기준으로 상징을 분류해 지정된 위치 별로 나열하는 격자 배열(Grid display)은 의사소통 상황에서 사용자가 적절한 상징을 선택하기 위한 탐색 과정 및 다양한 움직임을 추가적으로 가져야 한다는 단점을 갖고, 복잡한 인지 처리 과정을 요하기 때문에 상징인지를 어렵게 한다(Wilkinson, Light, & Drager, 2012). 결국 AAC 사용자들은 문장을 구성하고, 상징체계를 이해하는 것에 어려움을 겪게 된다(Park & Han, 2015). Lee, Lee, Kim과 Yeon (2015)은 아동의 연령이나 인지력뿐 아니라 개인적인 특성과 경험을 고려해 어휘 유형 경로에 따른 배열을 보다 유연하게 제시해야 한다고 말했다.
이러한 이유로 Blackstone (2004)은 효율적인 AAC 중재를 위해 AAC 체계의 개별 적합성을 높여줄 수 있는 방법으로 시각장면디스플레이(Visual Scene Displays, VSDs)를 제안하였다. VSDs란 상황, 장소, 경험을 묘사하고 나타내는 그림, 사진 또는 가상의 화면으로 사람과 행위, 사물과 같은 개별 요소가 시각적인 화면 내에 나타나는 것이다(Blackstone, 2004). 사용자에게 익숙하고 친숙한 시각 장면을 활용하기 때문에 별도의 상징 학습을 최소화할 수 있으며, 동기유발을 통한 자발적인 의사소통 가능성을 높일 수 있게 한다. 사용자의 일상과 관련된 공간을 촬영한 사진이나 임의적으로 상황 맥락 단서를 포함시킨 그림, 범주 맥락을 포함한 놀이용 스티커 판과 같은 다양한 형태의 화면이 사용에 따라 VSDs로 활용될 수 있어 접근성이 높다. 또한 사용자가 일상에서 만나는 사람들 및 사용자가 일상 속에서 사용하는 사물 등을 한 화면 내에 함께 담아낼 수 있다는 장점을 갖는다.
시각인지 관련 연구에 의하면 사람은 자연주의적인 맥락의 장면을 그렇지 않은 장면보다 빠르게 처리할 수 있다(Fletcher-Watson, Findlay, Leekam, & Benson, 2008). 이는 맥락을 포함한 VSDs 화면의 경우 사용자와 상호작용하는 파트너가 전반적인 사건 및 상태를 빠르게 인지할 수 있음을 의미한다. 또한 맥락 장면뿐 아니라 장면을 구성하는 사람과 사물 역시 보다 빠르게 인식된다(Oliva & Torralba, 2007). 따라서 사건을 구성하는 구성요소의 파악 및 세부적인 요소 선택에 있어서도 보다 빠른 인식 및 선택을 가능하게 한다.
최근 보다 효과적인 형태의 화면 구성을 위한 시각 패턴 연구들이 활발하게 이루어지고 있으며, 이러한 연구를 위한 시선추적기술(eye-tracking, 아이트래킹)이 주목받고 있다. 아이트래킹은 목표물에 대한 시선의 이동을 확인하는 것뿐 아니라, 장면의 인식과 글 읽기에 이르기까지 다양한 방법으로 활용하여 진행될 수 있다(Choi, 2014). 실험과 측정 과정을 아이트래킹이라고 칭하고, 기계적 장치를 아이트래커(eye tracker)라 한다(Hwang, Kwon, Park, & Yin, 2019). 아이트래커는 눈의 동공 중심(pupil center)과 각막 반사(cornea reflex)를 인식함으로써 안구의 움직임을 추적하는 장비로, 대상자의 시선이 향하는 영역과 시선이 움직이는 궤적 및 영역에 머무르는 시간 등에 대한 시각적, 정량적 측정값을 이용해 다양한 정보를 얻을 수 있다(Yu & Kim, 2016). ‘어느 곳’을 ‘얼마나 오래’, ‘어떻게’ 응시하는지에 대한 시각인지 처리 정보를 출력함으로, AAC 구성을 효율적으로 할 수 있게 하며, 중재 프로그램의 기반을 세울 수 있도록 한다(Wilkinson & Mitchell, 2014). 특히 VSDs의 경우 사람, 사물, 배경 등 다양한 요소가 화면에 배치되는데 각 요소에 AAC 사용자들의 주의가 얼마나 오래 지속되고, 어떤 요소들이 주의를 끄는지를 알아보는 것은 중요한 일일 것이다.
Wilkinson과 Light (2014)의 아이트래킹 연구에 의하면 사람을 화면에 포함시키는 것이 시각집중을 불러올 수 있으며, 사회적 사건 및 상황을 기반으로 할 경우, 언어·학습적 측면에서도 의의가 있다. 또한 실어증 성인과 일반 성인을 대상으로 한 아이트래킹 연구에서는 시각 장면 내에 위치하는 사람이 가지고 있는 사물을 쳐다보고 있는 장면일 때, 그렇지 않은 장면에 비해 연구 대상자들의 주의시선을 더 끌었다(Thiessen, Beukelman, Hux, & Longenecker, 2016). 이처럼 화면을 구성하는 방식에 따라 시각집중패턴에도 차이가 나타나기 때문에 활용 목적별로 형태를 달리해 용이하게 적용할 수 있는 것이다.
이렇듯 상징 화면 구성은 사용자의 시각집중패턴에 직접적인 영향을 미치기 때문에 최근 국외에서는 상징 화면 구성을 위한 연구들이 활발히 이루어지고 있다. 그러나 다수의 연구가 화면 속 사람의 형태를 중심으로 해 상징 화면을 분석했으며, 그에 반해 주로 의미 전달에 중심이 되는 사람의 행위에 초점을 맞춘 화면 구성 연구는 제한적이다. Schlosser 등(2011)의 연구에 의하면 동사의 경우 기존의 정적 상징(static symbols)보다 동적 상징(animated symbols)의 상징 투명도와 명칭 일치도가 더 높은 것으로 나타났다. 이는 동사를 나타내는 상징이 표현하고자 하는 의미를 보다 쉽게 확인하고 변별할 수 있도록 하기 위해서는 상징에 행위를 반영하는 것이 매우 중요함을 알려준다. 따라서 보다 명확한 의미 전달과 확인을 위해서는 기능과 행위를 포함해 화면을 구성해야 할 것이며, 화면 구성을 위한 자료 및 기준 마련이 필요할 것이다.
VSDs는 장면 내에 배경, 사물, 사람이 제시되는 데 이들은 정적인 상태에 한정되는 것이 아닌, 유의미한 사건에 참여하는 형태로 나타난다. 제시되는 사건(예: 밥 먹기, 그네 타기, 손뼉 치기 등)은 사물의 사용, 사람 간 행위와 같은 개념을 가진 특정 행위가 포함되는데, 이는 행위와 관련된 표현을 학습하고, 자신이 의도하고자 하는 바를 적절하게 표현하는 데 도움을 주는 단서가 된다. 만약 VSDs 내 위치하는 아동이 색연필로 그림을 그릴 경우 해당 화면 속 사건은 아동이 그림을 그리기 위해 색연필을 쥐고 사용하는 아동의 행위라고 볼 수 있을 것이다(Wilkinson et al., 2012). 하지만 AAC 사용자 중에는 너무 많은 자극에 노출될 경우 주의를 기울이기 힘든 경우도 있다. ASD 아동들의 경우 부주의, 충동성 등을 가지고 있어 집중해야 하는 부분을 놓치기도 한다(Hattori et al., 2006). 따라서 VSDs에 포함되는 배경, 사물, 사람 등이 어떻게 제시되는 것이 시각집중패턴에 영향을 미치는지에 대한 연구는 중요하다. 특히 기능을 가진 사물을 VSDs에 제시할 때 사물 자체로 제시할 것인지, 아니면 행위를 포함하여 제시할 것인지는 AAC 사용자들의 주의와 관련하여 중요한 문제일 수 있다.
이에 본 연구에서는 VSDs 내 사물 사용 유무에 따라 사용자의 시각 응시 패턴에 어떠한 차이가 있는지 아이트래커를 활용해 살펴보고자 한다. 아이트래킹을 통해 VSDs 내 사물 사용 유무에 따른 AOI별 전체 시선고정시간(AOI total fixation duration), 첫 시선고정지연시간(AOI time to first fixation), 시선고정횟수(AOI fixation count)를 확인한다면 추후 도구로 사용되는 사물을 포함한 AAC 화면 디자인에 대한 제안점을 도출할 수 있을 것이다.

연구방법

연구대상

대상자는 대학교에 재학 중인 20대 성인 남녀 25명으로, 대상자 선정 기준은 다음과 같다. 대상자들은 모두 한국어가 모국어로, 연구 대상자 선정 조건이 제시된 모집 공고를 통해 참여했다. 대상자들의 보고에 의하면 대상자들은 (1) 지능과 시각, 청각 등 감각에 이상이 없었으며, (2) 신체적, 신경학적 문제를 동반하지 않았고, (3) 안경과 소프트렌즈를 착용하지 않고도 80 cm 거리의 화면에 제시되는 그림 및 글자를 볼 수 있는 시력을 지녔다. (4) 실험에 제시된 화면 이미지에 대한 경험이 없거나, 경험이 있는 경우라도 친숙하지 않았다.

연구도구

VSDs 화면 구성 사물

본 연구에서 사용되는 VSDs 내 사물은 총 10개로 책상 배경 맥락에서 사용되는 사물 5개와 부엌 배경 맥락에서 사용되는 사물 5개이다. 사물 사용 행동의 동작 크기 차이가 시선 고정의 변수로 작용하는 것을 방지하기 위하여 주로 책상 위에서 자르거나 하는 비슷한 행동을 유발하는 사물을 선정하였다. 또한 연구 실시 전 약 30명을 대상으로 실시한 5점 척도 설문 결과에 따라 일반적으로 사용 빈도가 높아 쉽게 접할 수 있다고 여겨지는 사물 5개와, 특수 상황에서 사용되고 일반적으로 사용되지 않는다고 여겨지는 사물 5개로 선정하였다. 이는 시선집중패턴에 영향을 줄 수 있는 사물의 친숙성에 대해 균형을 맞추고 사물의 사용 유무에만 초점을 맞추기 위함이다.
10개의 사물에 대해 인물이 사물을 직접 사용하는 모습이 포함된 화면 10개와, 사물을 응시하나 사용하지 않는 상태의 화면 10개로 구성되었다. 두 형태의 VSDs 화면 내 배경과 인물, 중심 사물과 보조 사물이 일정 비율로 화면 내에 위치할 수 있도록 조작했다(Thiessen et al., 2016). 결과적으로 인물은 전체 화면 내 20% 이하를 차지하고, 중심 사물과 보조 사물은 각각 전체 화면 내 6% 이하를 차지했다. 그 외는 사물 사용 유무 외 책상, 벽과 같은 맥락을 포함한 배경으로 모두 동일하게 설정되었다.

아이트래커

본 연구에서 시각집중패턴 분석을 위해 사용된 안경형 아이트래커 Tobii Pro Glasses 2 (Figure 1)는 적외선을 기반으로, 대상자가 안경처럼 착용 시 동공(pupil)의 움직임을 추적하는 장치이다. 시간 해상도(sampling rate)는 50 Hz로 설정하였으며 이후 Tobii Pro Lab 분석 프로그램을 사용해 데이터를 확인했다.

연구절차

실험은 연구를 위한 장비가 갖춰진 조용한 방에서 개별적으로 시행되었다. 연구자는 대상자에게 연구 내용에 대해 간단히 소개한 뒤, 실험절차와 아이트래커에 대해 안내했다. 자동 전환 이미지 형태로 제작된 20개의 VSDs는 55 inch 모니터 내에 100×62 cm 크기로 각 8초간 무작위로 제시되었다.
대상자는 연구자의 보조 하에 안경형 아이트래커를 착용하고, 80 cm 거리의 55 inch 모니터 앞에 기립해 화면에 제시되는 VSDs를 보며 자유 응시 과제(free observation)를 수행했다. 자유 응시 과제란 특별한 지시 사항을 따르지 않고 연구자의 안내에 따라 화면을 정해진 시간 동안 자유롭게 응시하는 과제로, 제시된 시각자료에 대한 대상자의 즉각적이고 직관적인 시선인지 처리 과정을 살펴보는데 사용된다. 대상자는 실험을 위한 준비가 끝난 후 화면에 제시되는 점을 응시해 안구의 위치를 정위(calibration) 하는 절차를 거쳤다. 화면을 보는 동안 대상자의 머리와 화면이 수평을 이루도록 했으며, 대상자의 시선 데이터가 컴퓨터 화면에 고정되도록 하기 위해 대상자가 머리와 상체 움직임을 최소화하도록 했다. 실험의 신뢰성 및 정확성을 위해 대상자가 실험 도중 중단을 요구할 경우 중단하고 문제를 해결한 뒤 재진행하도록 했다.

자료분석

수집된 전체 아이트래킹 데이터 중 두 눈의 시각 정보가 올바르게 식별된 정도를 알려주는 응시 샘플(gaze sample)이 90% 이상인 데이터만을 선정하였다. 연구 대상자의 개인 별 아이트래킹 데이터를 안구 추적 데이터인 VSDs에 매핑(mapping) 하는 과정을 거쳤으며, 개별 이미지 영역을 설정하면 시선응시 정도에 따른 통계적 수치를 나타내주는 AOI (Area of Interest) 영역을 설정하였다(Figures 2, 3). AOI는 VSDs 내 배경, 인물, 행위를 위한 중심 사물과 보조 사물로 세분화되었다. AOI는 각 세분화 영역에 따라 실제 모양과 동일한 형태로 설정했으며 형태를 기준으로 약 3 mm의 영역을 추가적으로 포함했다. 중심 사물 영역의 경우 행위를 수행하는 신체 간 중복이 있을 경우 해당 신체 일부를 중심 사물에 포함하였다. 고정(fixation)은 200 ms 이상 응시했을 경우로 제한했다.
AOI별 전체 시선고정시간은 목표 AOI인 중심 사물을 대상자가 응시한 총 시간으로, 특정 영역에 시선을 고정한 시간이 길다면 이는 그 영역에 시각집중을 하고 있음을 의미한다(Holmqvist et al., 2011).
AOI별 첫 시선고정지연시간은 시각 자극이 화면에 제시된 후, 목표 AOI인 중심 사물을 대상자가 처음으로 응시하기까지 걸린 시간으로, 특정 영역의 첫 시선고정지연시간이 짧을수록 해당 영역이 초기에 시선을 끌었음을 알 수 있다.
AOI별 시선고정횟수는 목표 AOI인 중심 사물을 대상자가 응시한 빈도로, 고정횟수가 많을수록 화면 내 해당 영역을 여러 번 응시했음을 알 수 있다.

통계처리

SPSS version 22.0을 사용해 사물 별로 한 집단 내 사물 사용 유무에 따른 전체 시선고정시간, 첫 시선고정지연시간, 시선고정횟수의 차이를 대응 표본 t 검정을 통해 알아보았다.

연구결과

VSDs 내 사물 사용 유무에 따른 전체 시선고정시간 차이

VSDs 내 사물 사용 유무에 따라 전체 시선고정시간에 차이가 있는지를 알아보기 위하여 대응표본 t 검정을 한 결과는 Table 1과 같다. 사물을 사용할 때 전체 시선고정시간의 평균은 14.91 ms이고, 사용하지 않을 때는 5.25 ms으로 대상자들은 VSDs 내 인물이 사물을 사용하고 있을 때 시선고정을 더 오래 한 것으로 나타났다(t=5.20, p<.001).
Table 2에는 사물 별로 사물 사용 유무에 따른 전체고정시간에 대한 결과를 제시하였다. 모든 사물에서 사물을 사용할 때가 사물을 사용하지 않을 때 보다 전체 시선고정시간이 길었다. 이러한 차이가 통계적으로 유의한가를 알아보기 위해 실시한 대응 표본 t 검정 결과 화면을 구성한 10개 사물 중 8개인 ‘가위, 강판, 테이프 커터, 펜치, 마늘 슬라이서, 바이스 플라이어, 사과 커터, 페인트 패드’에서 사물 사용 유무에 따른 차이가 유의했다.
Figure 4는 실험 자료 중 강판 혹은 페인트 패드를 포함한 화면 내에서 대상자가 집중적으로 응시한 특정 영역을 알아보고자, 연구 대상자 전체의 시선고정 데이터를 모아 한 번에 열지도(heat map)로 나타낸 것이다. 열지도는 전체 시선고정시간, 첫 시선고정지연시간, 시선고정횟수와 같은 측정값이 실제로 연구 대상자들의 시선고정패턴을 얼마나 정확하게 반영하고 있는가를 시각적으로 보여주는 것으로 붉게 표시될수록 전체 시선고정시간이 더 긴 것을 나타낸다.
Figure 4A, C는 사물을 사용하는 실험 자료이고, B와 D는 사용하지 않고 응시하는 것이다. 열지도를 보면 A와 C는 강판과 페인트 패드에 해당하는 영역이 붉은색으로 표시되어 있고, B와 D는 보조 사물 또는 얼굴에 해당하는 영역이 붉게 표시되어, 사물을 사용할 때 사물에 보다 큰 시각집중이 이루어짐을 알 수 있다.

VSDs 내 사물 사용 유무에 따른 첫 시선고정지연시간 차이

VSDs 내 사물 사용 유무에 따른 화면 내 사물에 대한 대상자의 평균 첫 시선고정지연시간을 Table 3에 제시하였다. 자유 응시 과제로 진행되었기 때문에 사물 사용 유무에 따라 집단 내 응시 영역에 차이가 있어 사용 유무 간 데이터가 일치한 일부 집단만을 질적 분석하고, 사물 별로 유의성을 살펴보았다. 10개 사물 중 6개 사물에 대해 사물을 사용하는 화면에서 더 빨리 사물을 응시하는 것으로 나타났다. 사물을 사용하는 화면에서 평균적으로 더 빠른 응시를 보인 사물은 ‘가위, 강판, 칼, 테이프 커터, 펜치, 마늘 슬라이서’였고, 사물을 사용하지 않고 응시하는 화면에서 평균적으로 더 빠른 응시를 보인 사물은 ‘바이스 플라이어, 사과 커터, 파채 칼, 페인트 패드’였다.

VSDs 내 사물 사용 유무에 따른 시선고정횟수 차이

VSDs 내 사물 사용 유무에 따라 시선고정횟수에 차이가 있는지를 알아보기 위하여 대응표본 t 검정을 한 결과는 Table 4와 같다. 사물을 사용할 때 사물에 대한 시선고정은 평균은 14.44번 있었고, 사용하지 않을 때는 9.96으로 대상자들은 VSDs 내 인물이 사물을 사용하고 있을 때 시선고정을 더 자주 한 것으로 나타났다(t=2.89, p<.01).
Table 5에는 각 사물 별로 VSD 내 사물 사용 유무에 따른 시선고정횟수 결과를 제시하였다. 10개 사물 중 테이프 커터를 제외한 모든 사물에서 사물을 사용하는 화면에 대한 시선고정횟수가 더 많았다. 이러한 차이가 통계적으로 유의한 가를 알아보기 위해 실시한 대응 표본 t 검정 결과 10개 사물 중 ‘강판과 펜치’만이 사물 사용 유무에 따른 차이가 유의했고, 그 외 사물의 경우 통계적으로 유의하지는 않았다.

논의 및 결론

본 연구는 아이트래킹을 통해 VSDs 화면 내 사물의 사용 유무에 따라 사용자의 시각 패턴에 어떠한 차이가 있는지 알아보고자 하였다.
첫 번째로 사물 사용 유무에 따른 시각집중 정도를 알아보기 위해 전체 시선고정시간을 살펴본 결과 사물에 대한 평균 전체 시선고정시간이 사물을 사용하지 않고 응시하는 경우보다 사물을 사용할 때 더욱 길게 나타났으며, 이에 따라 화면 속 인물이 사물을 사용하는 경우 사물에 대한 주의 집중이 더욱 잘 이루어짐을 알 수 있었다. 이는 사람을 화면에 포함시키는 것이 시각집중을 불러온다는 연구(Wilkinson & Light, 2014)와 더불어 화면 속 사람이 사물을 사용하는 특정 행위를 함께 포함시킬 경우 화면에 대한 더욱 큰 시각집중을 야기할 수 있음을 시사한다. 추가적으로 개별 사물에 대해 차이의 유의성을 살펴본 결과, 10개 사물 모두 사용하는 장면에서 전체 시선고정시간이 더 길었고, 10개 사물 중 8개 사물에서 그 차이가 통계적으로 유의한 것으로 나타났다. 사물 사용 유무에 따라 전체 시선고정시간의 차이가 유의미하지 않은 2개의 사물인 칼은 친숙도가 비교적 높고(3.9점/5점척도), 파채 칼은 친숙도가 비교적 낮은(0.1점/5점척도) 사물로 분류되어, 친숙도가 연구 결과에 크게 영향을 미치지는 않은 것으로 예측되며, 사물의 특성 혹은 사물 사용에 있어서의 개별적인 특성이 영향을 미쳤을 수 있을 것으로 예상된다.
두 번째로 VSDs 내 사물 사용 유무에 따른 첫 응시지연시간의 차이를 비교하기 위해 화면 내 사물에 대한 사용자들의 평균 첫 시선고정지연시간을 알아보았다. 사물 사용 유무에 따라 집단 내 응시 영역 차이로 인한 데이터 집단의 불일치로 통계분석에 어려움이 있어 응시 영역이 일치하는 일부 집단만을 질적 분석하였다. 10개 사물 중 6개 사물에 대해 사물을 사용하는 화면에서 평균 첫 시선고정지연시간이 더 빠르게 나타났다. 시각 장면 내 위치하는 사람의 주의가 특정 사물에 집중될 경우 그렇지 않을 때보다 사용자의 주의를 끈다는 연구(Thiessen et al., 2016)와 함께 화면 내 사람의 주의 및 행위는 사용자의 시선 패턴에 영향을 미치는 주요 요소임을 알 수 있다. 그러나 본 연구에서 첫 시선고정지연시간의 통계적 의의를 살펴볼 수 없었기 때문에, 추후 집단을 일치해 사람의 사물 사용 행위, 주의와 시각 패턴 간의 인과관계를 살펴보아야 할 것이다.
세 번째로 VSDs 내 사물 사용 유무에 따른 화면 내 사물을 응시한 빈도 차이를 알아보기 위해 시선고정횟수를 살펴본 결과, 사물에 대한 평균 전체 시선고정횟수는 사물을 사용하는 화면이 사물을 사용하지 않는 화면보다 많은 것으로 나타났다. 통계적으로는 10개 사물 중 ‘강판’과 ‘펜치’만이 유의한 차이를 보였다. 이는 사물을 사용하는 사람의 행위와 그 대상인 사물에 대한 응시 빈도가 유의하게 높을 것이라는 기대와는 다른 결과로 행위 유무가 반복적인 응시로 직결되지는 않았다. 하지만 10개 사물 중 9개 사물에서 시선고정횟수가 더 많은 것을 볼 때, 사물 사용 행위의 유무가 응시 빈도와 무관하지는 않다고 볼 수 있다. 추후 연구에서 이에 대해 더 자세히 알아볼 필요가 있을 것이다.
본 연구를 통해 VSDs 화면 내 사물의 사용 유무에 따라 일부 시각집중패턴에 차이가 있는 것을 확인하였다. 즉 사용자들은 사물을 사용하는 행위가 있는 VSDs의 사물에 더 오래 시선 집중을 하고, 더 자주 시선 고정을 하였다. 이는 AAC 사용 시 화면 구성에 있어 배경, 인물에 못지않게 인물의 행위 또한 중요한 요소로 고려해야 함을 보여준다. 발달장애 혹은 후천적 장애를 가진 사람들을 위한 효과적인 AAC 디스플레이 구성에 대한 연구에서 발달장애 아동을 위해 VSDs를 디자인할 때 익숙한 사람이 의미적인 활동(activity)을 하는 개별화된 사진의 사용을 고려해야 한다고 하였다(Light, Wilkinson, Thiessen, Beukelman, & Fager, 2019). O’Neill, Wilkinson과 Light (2019)는 자폐, 지적장애, 다운증후군 아동 집단과 더 어린 전형적 발달 아동 집단의 시각집중을 연구하였다. 결과에 따르면 두 집단 모두 VSDs에서 사람에 더 집중하고, 나머지 시간은 공유 활동에 집중하는 것으로 나타났다. 즉 VSDs 내 행위를 포함한 활동에 집중한다는 것이다. 이는 본 연구에서 사물을 응시만 하는 것보다 사물을 사용하는 것에 더 시각집중을 한다는 결과와 일치하는 것이다.
그러나 본 연구의 경우 대상군이 AAC를 사용하는 장애 집단이 아닌 일반 성인이었기에 추후 장애 집단을 대상으로 상징 배열 관련 연구를 실시해야 할 것이다. 장애 집단을 대상으로 할 경우 본 연구 자료를 기초 자료로 활용할 수 있을 것이며, 또한 장애 유형에 따른 시각 패턴을 분석한다면 실제 AAC 화면 구성 활용에 있어 보다 실리적인 결과를 얻을 수 있을 것으로 기대한다.
VSDs 내 사물 사용 유무에 따른 첫 시선고정지연시간을 살펴보았을 때 응시 영역 차이로 인해 일치된 데이터만을 분석한 것은 본 연구가 지시사항과 특정 과제를 제시하고 대상자가 수행하도록 한 것이 아닌 단순 응시 과제(free observation) 형태로 진행되었기 때문으로 여겨진다. 일부 대상자가 화면의 전 영역을 응시하지 않았기 때문에 동일한 화면에 대해서도 상이한 응시 패턴이 관찰되었다. Eraslan과 Yesilada (2015)의 연구에서는 동일한 화면을 응시할 때 시각 경로에서 성별에 따른 차이가 나타나, 성별이 시각 응시 패턴에 차이를 유발할 수 있는 요인이라고 말했다. 더불어 웹페이지 방문 빈도에 따라 개인 별 친숙도를 정의하고 이에 따른 시각 패턴을 살펴보았을 때 패턴의 유사성에서 차이를 확인할 수 있었다. 이와 같이 동일한 화면에 대해서도 사용자별로 상이한 시각 응시 패턴이 나타나기 때문에 AAC 화면 구성 시 무엇보다도 사용자 개인의 특성을 필수적으로 고려해야 함을 알 수 있다. 특히 장애가 있는 사용자들의 경우 목표물을 찾는 것에 더 많은 시간과 노력을 필요로 하기 때문에 응시를 위해 보다 전략적인 방안을 사용해야 할 필요가 있다. 추후 다양한 이들을 대상으로 데이터를 수집해 개인마다 큰 차이가 있는 시각 자료의 패턴을 분석하고, 개인의 특성에 따라 전 영역 또는 특정 영역을 응시할 수 있도록 유도하기 위한 방안을 마련한다면 효과적인 화면 구성을 이룰 수 있을 것이다.
마지막으로, 본 연구에서는 AOI 영역을 배경, 사람, 중심 사물과 보조 사물로 세분화하였는데, 배경과 사람, 사물이 화면을 차지하는 비율이 동일하지 않아 영역 간 분석을 하기에는 어려움이 있었다. 더불어 중심 사물과, 사물 사용 행위를 위해 신체가 겹쳐지는 경우 이를 중심 사물 AOI 영역으로 간주하였는데, 이후 각 AOI 영역 비중을 동일하게 설정하고, 사람의 행위를 중심으로 보다 다양하게 세분화해 연구 데이터를 비교한다면, 추가적인 정보를 얻을 수 있을 것으로 여겨진다.

Figure 1.
Tobii Glasses 2 eye tracker.
csd-26-3-718f1.jpg
Figure 2.
AOIs for the VSDs with Use of the target object.
csd-26-3-718f2.jpg
Figure 3.
AOIs for the VSDs without Use of the target object.
csd-26-3-718f3.jpg
Figure 4.
Heat maps representing fixation density aggregated across participants on the photographs with a grater (top)/a paint pad (bottom) included.
csd-26-3-718f4.jpg
Table 1.
Total fixation duration to area of interest
Object Use
Not use
t p
M (ms) SD M (ms) SD
Group 14.91 12.02 5.25 4.4 5.20 .000***

*** p<.001.

Table 2.
Total fixation duration to area of interest for each object
Object Use
Not use
t p
M (ms) SD M (ms) SD
Scissors .84 1.05 .21 .29 2.916 .008**
Grater 3.06 2.29 .83 .78 5.323 .000***
Knife .92 1.49 .52 .92 1.346 .191
Tape cutter 2.14 2.00 .84 1.10 4.180 .000***
Pincers 1.46 1.93 .22 .45 3.112 .005**
Garlic slicer 1.92 2.05 .94 1.20 2.610 .015*
Vise pliers 1.36 1.56 .57 .97 2.723 .012*
Apple cutter 1.54 1.81 .53 .96 3.657 .001**
Green onion slicer .81 1.57 .30 .53 1.633 .116
Paint pad .86 1.29 .29 .60 2.562 .017*

* p<.05,

** p<.01,

*** p<.001.

Table 3.
Average time to first fixation to area of interest
Object M (ms)
N
Use Not Use
Scissors 2.28 4.17 7
Grater 0.6 2.67 19
Knife 0.83 2.82 15
Tape cutter 0.95 3.31 10
Pincers 1.38 2.35 6
Garlic slicer 1.62 3.35 6
Vise pliers 2.6 2 9
Apple cutter 3.1 1.97 7
Green onion slicer 3.57 3 5
Paint pad 2.16 1.89 16
Table 4.
Fixation count to area of interest
Object Use
Not use
t p
M SD M SD
Group 14.44 10.22 9.96 7.58 2.89 .008**

** p<.01.

Table 5.
Fixation count to area of interest for each object
Object Use
Not use
t p
M (ms) SD M (ms) SD
Scissors 1.00 1.19 .56 .77 1.792 .086
Grater 2.96 2.30 1.68 1.22 3.119 .005**
Knife .92 1.26 .60 .76 1.355 .188
Tape cutter 1.44 1.04 1.72 1.86 -.735 .469
Pincers 1.44 1.45 .44 .77 3.273 .003**
Garlic slicer 2.08 2.00 1.68 1.63 1.057 .301
Vise pliers 1.24 1.42 .92 1.19 1.218 .235
Apple cutter 1.60 1.63 1.08 1.32 1.729 .097
Green onion slicer .68 .99 .60 .91 .303 .765
Paint pad 1.08 1.32 .68 1.22 1.386 .179

** p<.01.

REFERENCES

Blackstone, S. (2004). Clinical news: visual scene displays. Augmentative Communication News. 16(2):1–8.

Beukelman, D., & Light, J. (2020). Augmentative & alternative communication: Supporting children and adults with complex communication needs. Baltimore: Paul H. Brookes Publication;(5th ed.

Choi, SY. (2014). The word frequency effect on reading in typically developing children and children with ADHD: an eye-tracking study. Communication Sciences & Disorders. 19(3):307–319.
crossref
Eraslan, S., & Yesilada, Y. (2015). Patterns in eyetracking scanpaths and the affecting factors. Journal of Web Engineering. 14(5&6):385–319.

Fletcher-Watson, S., Findlay, JM., Leekam, SR., & Benson, V. (2008). Rapid detection of person information in a naturalistic scene. Perception. 37(4):571–583.
crossref pmid
Hattori, J., Ogino, T., Abiru, K., Nakano, K., Oka, M., & Ohtsuka, Y. (2006). Are pervasive developmental disorders and attention-deficit/hyperactivity disorder distinct disorders? Brain and Development. 28(6):371–374.
crossref pmid
Hwang, MK., Kwon, MW., Park, MH., & Yin, SH. (2019). A study on the visual attention of popular animation characters utilizing eye tracking. The Korea Contents Association. 19(6):214–221.

Holmqvist, K., Nyström, M., Andersson, R., Dewhurst, R., Jarodzka, H., & Van de Weijer, J. (2011). Eye tracking: a comprehensive guide to methods and measures. OUP Oxford.

Lee, YG., Lee, HJ., Kim, YT., & Yeon, SJ. (2015). The performance of Korean children with intellectual disabilities on dynamic AAC technologies with different language organizations. Communication Sciences & Disorders. 20(2):344–353.
crossref
Light, J., Wilkinson, KM., Thiessen, A., Beukelman, DR., & Fager, SK. (2019). Designing effective AAC displays for individuals with developmental or acquired disabilities: state of the science and future research directions. Augmentative and Alternative Communication. 35(1):42–55.
crossref pmid pmc
Oliva, A., & Torralba, A. (2007). The role of context in object recognition. Trends in Cognitive Sciences. 11(12):520–527.
crossref pmid
O’Neill, T., Wilkinson, KM., & Light, J. (2019). Preliminary investigation of visual attention to complex AAC visual scene displays in individuals with and without developmental disabilities. Augmentative and Alternative Communication. 35(3):240–250.
crossref pmid
Park, CW., & Han, KG. (2015). Effectiveness of talker wwitch in AAC on requesting and symbol use of a young child with severe and multiple disabilities. AAC Research and Practice. 3(2):95–121.
crossref
Schlosser, RW., Shane, H., Sorce, J., Koul, R., Bloomfield, E., Debrowski, L., ... Neff, A. (2011). Animation of graphic symbols representing verbs and prepositions: effects on transparency, name agreement, and identification. Journal of Speech, Language, and Hearing Research. 55(2):342–358.
crossref
Thiessen, A., Beukelman, D., Hux, K., & Longenecker, M. (2016). A comparison of the visual attention patterns of people with aphasia and adults without neurological conditions for camera-engaged and task-engaged visual scenes. Journal of Speech, Language, and Hearing Research. 59(2):290–301.
crossref
Wilkinson, KM., & Light, J. (2014). Preliminary study of gaze toward humans in photographs by individuals with autism, Down syndrome, or other intellectual disabilities: implications for design of visual scene displays. Augmentative and Alternative Communication. 30(2):130–146.
crossref pmid
Wilkinson, KM., Light, J., & Drager, K. (2012). Considerations for the composition of visual scene displays: potential contributions of information from visual and cognitive sciences. Augmentative and Alternative Communication. 28(3):137–147.
crossref pmid pmc
Wilkinson, KM., & Mitchell, T. (2014). Eye tracking research to answer questions about augmentative and alternative communication assessment and intervention. Augmentative and Alternative Communication. 30(2):106–119.
crossref pmid pmc
Yu, JA., & Kim, HS. (2016). A study of makgeolli container and label design elements utilized eye tracker for promotion of 2030 generation consumers - focused on the case study of major alcoholic beverage brand in Korea. The Korean Society of Design Culture. 22(4):471–482.

Editorial office contact information
Department of Audiology and Speech-Language Pathology
College of Bio and Medical Science, Daegu Catholic University,
Hayang-Ro 13-13, Hayang-Eup, Gyeongsan-si, Gyeongbuk 38430, Republic of Korea
Tel: +82-502-196-1996   Fax: +82-53-359-6780   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Developed in M2PI