Commun Sci Disord > Volume 23(1); 2018 > Article
마비말장애 발화의 청지각적 평가방법 비교: 세부평가와 범주평가

초록

배경 및 목적

미국 메이요 클리닉(Mayo Clinic)에서 제안한 마비말장애 청지각적 평가요소는 임상에서 널리 사용되고 있지만, 소요시간이 길고 신뢰도가 낮다는 제한 때문에 평가 항목의 수를 조정하고 신뢰도를 향상시키는 방안이 요구된다. 따라서 본 연구는 세부요소를 평가하는 방법과 요소들의 범주만을 평가하는 방법 간의 차이를 살펴보고, 청지각적 평가요소들과 말의 전반적 인상 간의 관련성을 알아보고자 하였다.

방법

28명의 준전문가 집단에게 다양한 유형의 마비말장애 화자 15명의 표준화 문단 읽기 샘플을 일주일 간격으로 2회 들려주고 세부평가와 범주평가를 실시하도록 하여 평가자 간 신뢰도, 검사-재검사 신뢰도, 평정치 차이를 각각 비교하였다. 각 평가 내 요소들과 전반적 인상을 나타내는 요소 간의 상관관계도 살펴보았다.

결과

평가자 간 신뢰도와 검사-재검사 신뢰도 모두 범주평가가 각각 .967, .620으로 세부평가보다 높았다. 두 평가 방법을 통해 측정된 평균 평정치는 유사하였으나, 평정점수별 분포비율에서는 차이를 보였다. 두 평가 모두에서 조음과 관련된 요소들이 전반적 인상과 높은 상관을 나타냈고, 공명과 관련된 요소들은 낮은 상관을 나타냈다.

논의 및 결론

범주평가는 소요시간이 짧으며, 세부평가보다 높은 신뢰도를 갖추고 있지만, 마비말장애의 말 특성을 세밀하게 평가하는 것은 제한적이므로 세부평가 내 일부 요소들에 대한 평가가 병행되어야 할 것이다. 말의 전반적 인상을 결정하는 데 관련이 높고 낮은 평가요소들을 살펴본 결과는 추후 효율적인 청지각적 평가요소를 선정하는 근거 자료로 사용될 것이다.

Abstract

Objectives

The Mayo Clinic rating of dysarthria is widely used in the clinical practice. How-ever, because of its low reliability and extensive time requirement, it is necessary to reduce the number of components and improve its reliability. The present study was designed to investigate the difference between a general and detailed assessment protocol and the association of perceptual dimensions with overall impression of speech.

Methods

Twenty-eight inexperienced clinicians were asked to perform both protocols twice, separated by a one week interval, with samples of standardized paragraph readings of 15 patients with various degrees and types of dysarthria. The interrater reliability, test-retest reliability, and different of rating values were compared between both protocols. The correlation between perceptual dimensions and overall impression of speech was also examined.

Results

The general assessment protocol showed higher interrater reliability (=.967) and test-retest reliability (=.620) than the detailed assessment protocol. The mean rating values were similar between the two protocols, but there was a difference in the distribution ratio of rating values. For both protocols, dimensions related to articulation were highly correlated with overall impression of speech, and those related to resonance had low correlation.

Conclusion

The general assessment protocol takes less time and has higher reliability than the detailed assessment protocol. However, since it is limited to evaluating speech characteristics of dysarthria in detail, it should be accompanied by other assessment protocols. The results of the present study are expected to be the basis for further studies.

마비말장애(dysarthria)는 중추신경계 혹은 말초신경계 손상에 기인하며, 말 산출 시 필요한 호흡, 발성, 공명, 조음 과정 등에 요구되는 근육의 통제 문제로 발생하는 말장애이다. 신경계 손상에 의한 근력(strength), 속도(speed), 범위(range), 지속성(steadiness), 긴장(tone) 혹은 움직임의 정확도에서 나타나는 비정상적인 문제는 말 산출 과정에 영향을 미치며, 말명료도 저하를 초래한다(Duffy, 2005).
마비말장애는 일반적으로 뇌졸중, 신경퇴행성 질환, 뇌손상 등의 결과로 나타나는데 약 20–30%는 뇌졸중 발생에 의하거나 뇌 손상에 의하며(Theodoros, Murdoch, & Goozee, 2001; Warlow et al., 2001), 파킨슨병의 50–89% (Hartelius & Svensson, 1994), 운동신경원 질환의 경우 상당수가 병의 진행에 따라 마비말장애 증상을 보인다(Saunders, Walsh, & Smith, 1981).
마비말장애는 병태생리학적 원인에 따라 이질적인 말 특징을 나타내기 때문에 경직형(spastic), 이완형(flaccid), 실조형(ataxic), 과소운동형(hypokinetic), 과대운동형(hyperkinetic), 일측상부운동신경성(unilateral upper motor neuron), 혼합형(mixed)으로 분류할 수 있으며, 문제가 되는 말의 주된 특징을 통해서 역으로 관련 신경계 질환의 가능성을 예측할 수 있다(Darley, Aronson, & Brown, 1969b; Duffy, 2005). 이처럼 마비말장애의 말 특징 및 증상을 파악하는 것은 마비말장애를 감별진단하고, 중증도를 측정하며, 나아가 중재에 대한 방안을 모색하는 데 있어서 매우 중요하다.
마비말장애를 진단하는 방법은 목적과 가용시간에 따라 다양하다. 환자와의 짧고 간단한 대화만으로도 마비말장애 존재의 유무를 확인할 수 있으며, 표준화 도구를 사용할 경우에는 말 산출의 전 반적인 측면을 모두 검사하기 때문에 마비말장애 유형을 분류하거나 신경계 질환을 진단하는 과정에 도움을 얻을 수 있다.
마비말장애 진단 시 임상에서 주로 사용되는 표준화 도구로는 Frenchay Dysarthria Assessment (FDA-2; Enderby & Palmer, 2008)가 있는데, FDA-2는 프랑스어, 독일어, 노르웨이어 등으로 번역되어 여러 나라에서 사용되고 있지만 현재까지 한국어 번안은 이루어지지 않은 상태이며, 현재 국내에는 마비말장애 진단 목적을 위해 고안된 표준화 도구가 없는 실정이다.
보건복지부(Korea Ministry of Health and Welfare, 2017)가 개정한 장애인복지법에 의한 장애등급 판정 시 마비말장애인을 대상으로 사용이 권고되는 검사도구에는 그림자음검사, 3위치 자음검사, 한국어 발음검사, 우리말 조음·음운검사가 있으며, 임상에서는 우리말 조음·음운검사를 주로 많이 사용하고 있는 것으로 알려져 있다(Hong & Byeon, 2014). 이와 같이 국내에서 마비말장애를 진단할 때에는 조음능력을 측정하는 것에 치중되어 있으며, 검사를 통해 수치화할 수 있는 자음정확도로 장애의 정도를 판정한다.
조음능력은 말명료도에 영향을 미치는 중요한 요소이지만 말명료도는 복잡하고 다면적인 개념으로 조음뿐만 아니라 음성, 공명, 운율 등과 같이 다양한 요소들에 영향을 받기 때문에 마비말장애 진단 시 말소리와 관련된 영역들에 대한 전반적인 평가가 이루어져야 한다(Kent, Weismer, Kent, & Rosenbek, 1989).
마비말장애인의 말 특성을 종합적이고 포괄적으로 측정하도록 고안된 평가 방법 중 임상에서 널리 보급된 대표적인 방법에는 Darley 등(1969a, 1969b)에 의해 고안된 메이요 클리닉 평정척도법(Mayo Clinic rating system)이 있으며, 이는 청지각적 평가방법이다. 마비말장애 평가방법은 음성학적, 생리학적, 그리고 신경해부학적 측면에서 접근할 수 있는데, 이 중 청지각적 평가방법은 마비말장애를 기술하고, 수량화하고, 유형을 분류하는 데 매우 유용하며, 생태학적 타당도(ecological validity)를 손쉽게 측정할 수 있다는 장점이 있기 때문에 마비말장애 진단 시 주로 사용된다(Wannberg, Schalling, & Hartelius, 2016).
미국 메이요 클리닉 평정척도법은 호흡, 음성, 조음, 운율, 그리고 기타 말 양상과 관련된 총 38개의 평가 항목을 포함하고 있으며, 7점 척도로 구성되어 있다. Duffy (2006)는 메이요 클리닉 평정척도법의 장점을 보고하였는데, 그 중에 제일은 신경학적 질환의 국소화에 대한 기여도이다. 마비말장애는 서로 다른 신경계 병변의 기전에 따라 다양한 말 특징을 나타내기 때문에 말이 나타내는 특성을 자세하게 측정하는 것은 관련 병소를 예측하는 데 유용하다. 실제로 메이요 클리닉 평정척도법은 마비말장애의 하위유형에 대한 연구가 활성화될 수 있도록 큰 공헌을 하였다. 또한 평가 요소의 세분 화는 마비말장애의 지각적 특징을 자세히 기술할 수 있도록 충분한 정보를 제공하며, 결함을 보이는 장애 영역에 초점을 맞춰 중재를 계획하는 데 유용하다.
하지만 메이요 클리닉 평정척도법의 단점도 보고되었는데, 첫째는 평가의 소요시간이 길다는 것이고, 둘째는 신뢰도가 낮다는 것이다(Kearns & Simmons, 1988; Zeplin, Kent, Robin, Yorkston, & Beukelman, 1996; Zyski & Weisiger, 1987). 앞서 언급한 것과 같이 메이요 클리닉 평정척도법은 마비말장애의 말 특성과 관련된 다양한 요인들에 대해 자세하게 평가할 수 있는 반면, 평가 항목의 수가 많기 때문에 소요되는 시간이 길고, 평가자 간 혹은 평가자 내 측정 오차가 연구마다 상이하다는 제한이 있다.
Zyski와 Weisiger (1987)Darley 등(1969b)이 제시한 7개 유형의 마비말장애—경직형, 이완형, 실조형, 과소운동형, 무도증(cho-rea)으로 인한 과대운동형, 근육긴장 이상증(dystonia)으로 인한 과대운동형, 혼합형—음성 자료를 사용하여 임상경험 유무에 따른 두 청자 집단을 대상으로 메이요 클리닉 평정척도법을 통해 분류한 마비말장애 유형이 얼마나 정확한지 살펴보았다. 음성 자료는 음절 따라말하기 및 표준화 문단 읽기 과제를 통해 수집하였으며, 청자 집단은 임상경험이 최소 5년 이상인 전문가 집단과, 임상경험은 없지만 마비말장애 청지각적 평가 관련 교육을 이수한 대학원생 집단으로 구분하였다. 연구 결과, 메이요 클리닉 평정척도법을 사용한 마비말장애 유형 분류의 정확도는 두 집단 모두 60% 이하로 낮게 나타났으며, 대학원생 청자 집단에 비해 임상경험이 있는 청자 집단의 마비말장애 유형 분류 정확도가 더 낮은 것으로 나타났다. 이러한 결과를 통해 Zyski와 Weisiger (1987)는 메이요 클리닉 평정척도법을 임상 목적으로 사용하기에는 신뢰도가 불충분하다는 결론을 내렸다.
임상경험이 있는 청자 집단을 대상으로 메이요 클리닉 평정척도법의 평가자 간 신뢰도 및 평가자 내 신뢰도를 측정한 Zeplin 등(1996) 또한 마비말장애의 두드러진 말 특징을 확인하는 데 있어서 메이요 클리닉 평정척도법이 높은 평가자 내 신뢰도를 나타내는 반면, 평가자 간 신뢰도는 낮은 것으로 보고하였다. 이는 메이요 클리닉 평정척도법에 포함된 총 38개의 평가 항목 중 일부가 마비말장애를 진단하고 유형 및 중증도를 분류하는 데 평가자 간 불일치한 결과를 나타낼 수 있음을 의미한다.
반면, 메이요 클리닉 평정척도법이 연구 및 임상적 목적으로 사용하기에 충분한 신뢰도를 갖는다고 보고한 연구도 있다. Bunton, Kent, Duffy, Rosenbek과 Kent (2007)는 메이요 클리닉 평정척도법의 신뢰성을 검증하기 위해 다양한 유형의 마비말장애 화자 47명을 대상으로 대화 상황에서 수집한 40초 길이의 음성 자료를 사용 하여 임상경험이 있는 청자 집단과 임상경험이 없는 청자 집단을 대상으로 메이요 클리닉 평정척도법을 사용하여 평가자 간 일치도를 측정하였다. 평가자 간 일치도는 각각의 평가 요소들에 대한 평가자들의 측정치가 얼마나 정확하게 일치하는지를 의미한다. Bunton 등(2007)의 연구 결과에 따르면 임상경험 유무에 따른 청자 집단 간 평가 일치도에 유의한 차이가 없으며, 평가 요소에 따른 일치도의 차이도 유의하지 않은 것으로 나타났다.
이와 같이 청지각적 평가 항목에 따라서 신뢰도가 다른데, Darley 등(1969b)은 말의 명료도 및 자연스러움(naturalness)과 같이 말과 관련된 전반적인 요소들을 아우르는 항목의 경우 비교적 높은 신뢰도를 나타내는 반면, 더욱 세분화된 항목들은 특히 더 낮은 신뢰도를 보인다고 하였다. 세분화된 항목들 사이에서도 평가자 간 일치도의 차이가 보고되었는데, 일반적으로 부정확한 자음, 과도하게 균등한 강세, 거친 음성, 음성의 높낮이 및 크기, 빠른 말속도의 경우 평가자 간의 결과를 일치시키기 용이한 반면, 불규칙적인 조음 오류, 왜곡된 모음, 음도 및 강도의 단조로움의 경우에는 평가자 간의 측정 결과를 일치시키는 것이 상대적으로 더 어려운 것으로 보고되었다(Sheard, Adams, & Davis, 1991; Zeplin et al., 1996).
Wannberg 등(2016)은 메이요 클리닉 평정척도법의 단점을 보완한 새로운 평가 프로토콜 수립을 위해 Gerald, Murdoch와 Chenery (1987)에 의해 개정된 메이요 클리닉 평정척도법과 세부평가 요소들을 아우르는 범주만을 평가 항목에 포함시킨 보다 더 간략한 청지각적 평가방법의 신뢰도를 비교하였다. 개정된 메이요 클리닉 평정척도법은 총 30개의 평가 항목을 포함하였고, 간략한 청지각적 평가방법은 발성과 호흡, 공명, 조음, 운율, 전반적인 중증도를 포함하였으며, 평정척도는 4점을 사용하였다. Wannberg 등(2016)의 연구결과에 의하면 30개 항목을 모두 측정하는 것보다 말 특성과 관련된 5개 범주 항목만을 측정하였을 때 평가자 간 신뢰도 및 평가자 내 신뢰도가 더 높은 것으로 나타났다. 하지만 연구에 참여한 5명의 청자들은 단일 집단으로 모두 10년에서 최대 25년의 임상경험을 갖춘 전문가들이었다. 청지각적 평가는 평가자의 주관적인 견해를 바탕으로 하기 때문에 청자 요인에 영향을 받는데, 특히 마비말장애 평가의 경우 관련 임상경험의 유무에 따른 신뢰도 및 평가 결과에 대해서 연구들마다 서로 다른 결과를 보고하고 있다. 따라서 임상경험이 풍부한 전문가들에 의해 검증된 간략한 청지각적 평가방법의 신뢰도가 임상경험이 전무한 비전문가에게도 동일하게 적용되는지에 대해서 살펴볼 필요가 있다.
이처럼 메이요 클리닉 평정척도법이 임상에서 사용하기에 타당한가에 대해서는 연구들마다 결과가 상이하며, 특히 한국어를 사용하는 마비말장애 화자의 말 특성을 평가하는 데에 적합한지에 대해서는 현재 연구가 부족한 실정이다. 메이요 클리닉 평정척도법을 국내 마비말장애 화자에게 보다 더 효율적으로 적용하기 위해서는 기존의 메이요 클리닉 평정척도법이 갖는 제한을 고려하여 평가의 소요시간을 절약하고, 평가의 신뢰도를 향상시키는 방안이 요구되며, 이 두 가지 요구를 충족시키기 위해서는 평가 요소의 수를 조정하는 것이 필요하다. 또한 평가 항목 구성 시에는 한국어를 사용하는 마비말장애 화자의 말 특성을 잘 나타낼 수 있는 대표성을 지닌 세부적인 요소를 선정하는 것이 필요하다. 이를 위해서는 메이요 클리닉 평정척도법에 포함된 총 38개의 요소들로 구성된 세부평가와, 38개 요소들을 관련된 속성을 중심으로 분류하여 6개 범주(호흡, 발성, 공명, 조음, 운율, 전반적 인상)를 도출한 범주평가 간의 비교 연구가 필요하다.
따라서 본 연구는 마비말장애와 관련한 임상경험이 없는 청자 집단을 대상으로 세부평가(38개 요소)와 범주평가(6개 요소)에 대한 신뢰도를 측정하고, 두 가지 평가방법을 통해 측정한 평정치 결과가 어떠한 차이를 나타내는지 비교하고자 하였다. 또한 두 가지 평가방법 내에서 각각 어떠한 요소들이 마비말장애의 발화에 대한 전반적 인상과 높은 관련성을 나타내는지 살펴보았다.
이러한 연구는 임상에서 마비말장애를 진단하고 중재와 관련된 의사결정을 할 때 신뢰성이 확보되고 유용한 청지각적 평가 요소를 선택하는 근거를 제시할 것이며, 향후 국내 마비말장애 진단 도구 개발에 기초자료를 제공할 것이다.
본 연구의 질문은 다음과 같다.
  • 1) 세부평가와 범주평가 간의 평가자 간 신뢰도 차이는 어떠한가?

  • 2) 세부평가와 범주평가 간의 검사-재검사 신뢰도 차이는 어떠한가?

  • 3) 세부평가와 범주평가 간의 평정치 차이는 어떠한가?

  • 4) 세부평가 및 범주평가 내 요소들과 전반적 인상(말명료도, 괴기함) 간의 관련성은 어떠한가?

연구방법

연구참여자

화자집단

본 연구에 화자로 참여한 마비말장애인은 총 15명이다. 성비는 남성 9명, 여성 6명이며, 연령 분포는 22–75세(평균연령= 51.06, 표준편차 =18.12)이다.
마비말장애의 중증도는 우리말 조음·음운평가(Kim & Shin, 2004)를 통해 산출한 낱말수준 자음정확도를 바탕으로 Shriberg와 Kwiatkowski (1982)의 조음능력지표에 따라 분류하였다. 그 결과, 경도(85–100%) 5명, 중등도(54–84.9%) 5명, 심도(50% 이하) 5명이었다. 마비말장애 유형은 경직형 5명, 이완형 5명, 과소운동형 2명, 혼합형 2명, 일측상부운동신경형 1명이었다. 마비말장애 화자의 선정 기준은 첫째, 한국어를 모국어로 사용하는 자, 둘째, 재활의학과 전문의에 의해 마비말장애로 진단받은 자, 셋째, K-MMSE (Kang, 2006) 평가 결과 인지능력이 연령 및 교육수준과 대비하여 정상범주에 해당하는 자, 넷째, 문단 읽기가 가능한 자, 다섯째, 시각 및 청각 등 감각장애가 동반되지 않은 자로 제한하였다. 마비말장애 화자 집단에 대한 구체적인 정보는 Table 1과 같다.
Table 1.
Characteristics of participants
Speaker no. Age/Sex Etiology Type PCC (%) Severity K-MMSE Education
1 34/M GBS Flaccid 97.6 Mild 30 16
2 66/F MSA Hypokinetic 97.6 Mild 30 12
3 48/F MSA Hypokinetic 97.6 Mild 30 16
4 22/M WD Flaccid 95.3 Mild 29 12
5 65/M CVA UUMN 90.6 Mild 30 12
6 61/M TBI Spastic 83.7 Mild to moderate 30 12
7 70/M TBI Spastic 83.7 Mild to moderate 24 16
8 44/F TBI Spastic 81.3 Mild to moderate 30 12
9 30/F CVA Flaccid 79.0 Mild to moderate 30 16
10 75/M CVA Spastic 79.0 Mild to moderate 25 Over 16
11 43/M CVA Mixed (spastic & hyperkinetic) 48.8 Severe 29 16
12 75/M ALS Flaccid 37.2 Severe 30 16
13 71/M PD Mixed (flaccid & hypokinetic) 27.9 Severe 30 Over 16
14 32/F TBI Spastic 27.9 Severe 27 12
15 30/F HBI Flaccid 23.2 Severe 30 16

PCC = percentage of correct consonants; K-MMSE = Korean version of Mini-Mental State Examination; GBS = Guillain-Barre syndrome; MSA = multiple system atrophy; WD = Wilson disease; CVA = cerebrovascular accident; UUMN = unilateral upper motor neuron; TBI = traumatic brain injury; ALS = amyotrophic lateral sclerosis; PD = Parkinson's disease; HBI = hypoxic brain injury.

청자집단

본 연구에 청자 집단은 언어병리학을 전공하고 있는 대학원생 28명으로 모두 전공 교과목 중 마비말장애의 진단 및 중재에 관한 내용을 포함한 말운동장애 과목을 이수하였다. 청자 집단은 모두 여성이며, 연령 분포는 23–44세(평균연령= 31.14, 표준편차 = 5.41)이다. 모두 한국어를 모국어로 사용하며, 시각 및 청각 등의 감각 문제가 없다.

청지각평가를 위한 발화샘플

청지각적 평가를 위한 자료는 표준화 문단 ‘가을’ 읽기를 통해 수집하였다. 화자에게 ‘가을’ 문단을 먼저 눈으로 훑어보게 한 다음 최대한 편안한 자세로 앉아 평상시 음성으로 소리 내어 1회 읽도록 하였고, 읽기의 전 과정은 Apple iPhone6에 내장된 녹음 기능을 사용하여 녹음하였다. 연구에 참여한 화자 및 청자 집단의 피로도와 학습효과를 고려하여 녹음된 음성 자료 중 ‘가을’ 문단의 중간에 위치한 두 개의 문장을 DirectCut 프로그램을 사용하여 발췌하였다. 발췌한 두 개의 문장은 각각 50음절과 43음절로, 총 93음절의 길이였으며, 청지각적 평가를 위해 사용된 음성 자료는 15명의 화자 한 명당 1개로 총 15개였다.

청지각평가도구

본 연구에서는 메이요 클리닉 평정척도법(Darley et al., 1969a, 1969b)에 포함된 38개 청지각적 평가 요소를 사용하였다. 38개 항목은 각각 호흡, 발성, 공명, 조음, 운율, 전반적 인상으로 분류되며, 분류 범주 6개는 범주평가 항목에 해당된다. 따라서 청자에게 요구되는 평가 항목은 세부평가 요소 38개와 범주평가 요소 6개로 총 44개이다.
각 범주별 세부평가 항목 수를 살펴보면 호흡과 관련된 항목은 3개, 발성과 관련된 항목은 15개, 공명과 관련된 항목은 3개, 조음과 관련된 항목 5개, 운율과 관련된 항목 10개, 전반적 인상과 관련된 항목은 2개이다.
평가 항목은 언어병리학과 박사학위과정 중이며, 의료기관에서 신경언어장애 관련 임상을 병행하고 있는 두 명의 연구자가 메이요 클리닉에서 제안한 청지각적 평가 요소를 한국어로 번안한 Kim (2012)의 저서를 참고하여 한국어로 번안하였다. 또한 평가 항목을 나타내는 용어의 이해에 대한 혼동을 예방하기 위해 각각의 평가 영역 및 항목에 대한 정의를 제공하였으며, 한국어 표기 옆에 영문 표기를 함께 제공하였다. 본 검사에서 사용된 세부평가와 범주평가 기록지는 Appendix 1에 제시하였다.

연구절차

28명의 청자들을 대상으로 총 15개의 발화샘플을 듣고 청지각적 평가를 실시하도록 하였다. 평가는 조용한 강의실에서 진행하였으며, 강의실 내 장착되어 있는 스피커를 통해 모든 청자가 동시에 발화샘플을 듣도록 하였다. 평가 실시 전 연구자는 모든 청지각적 평가 요소들에 대한 각각의 설명을 구두로 제공하였으며, 질의응답을 통해 청자 집단 모두가 평가 항목을 나타내는 용어를 이해하였음을 확인하였다. 청자에게 마비말장애 화자에 대한 정보는 일절 제공하지 않았으며, 발화샘플은 무작위 순서로 배치하였다.
총 44개 항목에 대해서는 Yorkston, Beukelman, Strand와 Bell (2010)이 제안한 4점 척도(0 = 정상, 1=경도, 2= 중도, 3 = 심도)를 사용하여 중증도를 평정하도록 하였다. 이는 임상에서 보편적으로 중증도를 구분하는 경우의 수와 척도의 수를 일치시킨 것이다.
평가의 순서 효과를 배제하기 위해서 28명의 청자 중 14명의 청자는 세부평가 먼저 실시하도록 하였고, 다른 14명의 청자는 범주평가 먼저 실시하도록 하였다. 각각의 발화샘플에 대한 평가가 끝난 후에는 주어진 청지각적 평가 요소들을 빠짐없이 모두 평정하였는지 스스로 점검할 수 있는 시간을 제공하였으며, 발화샘플은 청자가 원하는 횟수만큼 들을 수 있도록 하였다. 평가자 내 신뢰도 측정을 위해서 첫 평가일로부터 일주일 후에 동일한 방법으로 다시 평가하도록 하였다.

통계분석

통계분석 프로그램인 IBM Statistics version 23.0을 사용하여, 평가자 간 신뢰도 측정을 위해 급내 상관계수(intraclass correlation coefficient, ICC)를 산출하였으며, 검사-재검사 신뢰도 측정을 위해 피어슨 상관계수(Pearson correlation)를 산출하였다. 각 평가자별 세부평가 및 범주평가 척도의 평균치 및 분포비율은 기술통계로 분석하였다. 평가 내 각 하위 요소들과 전반적 인상 간의 관계 정도를 살펴보기 위해서는 피어슨 상관계수를 산출하였다.

연구결과

세부평가및 범주평가의 평가자 간 신뢰도

28명의 평가자 간 신뢰도를 측정한 결과, 세부평가의 급내 상관계수(ICC)는 .953 (95% confidence interval, .947-.958; p < .001)으로 나타났으며, 범주평가의 급내 상관계수(ICC)는 .967 (95% confidence interval, .956-.976; p < .001)로 나타났다. 세부평가 및 범주평가 모두 매우 높은 수준의 평가자 간 신뢰도를 나타냈으며, 범주평가가 세부평가보다 다소 높은 평가자 간 신뢰도를 나타냈다.

세부평가및 범주평가의 검사-재검사 신뢰도

28명의 평가자들의 평가 일관성을 살펴보기 위해 일주일 간격을 두고 검사-재검사 신뢰도를 측정하였다(Table 2). 그 결과, 세부평가의 피어슨 상관계수는 .280-.728 (p < .01)로 나타났으며, 범주평가의 피어슨 상관계수는 .313-.813 (p < .01)으로 나타났다.
Table 2.
Results of test-retest reliability
Rater Detailed assessment General assessment
1 .593** .664**
2 .629** .744**
3 .280** .313**
4 .608** .530**
5 .580** .704**
6 .533** .746**
7 .615** .736**
8 .625** .573**
9 .615** .708**
10 .644** .714**
11 .607** .487**
12 .695** .647**
13 .637** .688**
14 .440** .599**
15 .594** .628**
16 .602** .653**
17 .435** .648**
18 .538** .369**
19 .534** .493**
20 .728** .813**
21 .556** .721**
22 .619** .534**
23 .287** .343**
24 .690** .730**
25 .682** .740**
26 .631** .803**
27 .708** .598**
28 .497** .371**
Mean .580 .620

** p<.01.

세부평가의 검사-재검사 신뢰도 평균은 .580 (±0.11)으로 상관이 높지 않은 반면, 범주평가의 검사-재검사 신뢰도 평균은 .620 (±.14)으로 상관이 높은 것으로 나타났다.

세부평가및 범주평가의 평정치

세부평가 및 범주평가의 평정치를 살펴본 결과, 세부평가의 경우 최소 .60점에서 최대 2.23점의 평정치를 나타냈으며, 범주평가의 경우 최소 1.04점에서 최대 2.56점의 평정치를 나타내었다. 평균 평정치는 세부평가가 1.26 (±.43)점, 범주평가가 1.79 (±.41)점으로 범주평가의 평균 평정치가 세부평가의 평균 평정치보다 다소 높게 나타났으나 모두 1점대로 중증도의 차이는 없었다. 세부평가 및 범주평가에 참여한 28명의 평가자들이 측정한 각각의 평균 평정치는 Table 3에 제시하였다.
Table 3.
Results of mean rating of the detailed and general assessments
Rater Detailed assessment General assessment
1 .80 (.85) 1.22 (.85)
2 .66 (1.01) 1.71 (.93)
3 1.32 (1.07) 1.78 (1.01)
4 .63 (.95) 1.98 (.85)
5 1.17 (1.02) 1.38 (1.02)
6 .78 (.91) 1.16 (1.09)
7 .60 (.88) 1.04 (1.04)
8 1.21 (.84) 2.05 (.72)
9 .99 (1.04) 2.08 (.94)
10 1.71 (1.06) 2.02 (.97)
11 1.53 (.87) 2.03 (.82)
12 2.23 (.83) 2.56 (.60)
13 1.81 (.85) 2.46 (.67)
14 1.59 (.91) 1.79 (.84)
15 .89 (.90) 1.33 (.87)
16 1.45 (1.05) 2.27 (.83)
17 .72 (1.02) 1.33 (1.16)
18 1.61 (.98) 1.81 (.81)
19 1.23 (1.02) 2.06 (.79)
20 1.42 (.88) 1.64 (.96)
21 .84 (.98) 1.10 (1.06)
22 1.48 (.80) 1.92 (.78)
23 1.17 (.87) 1.81 (.59)
24 1.47 (1.14) 1.94 (1.06)
25 2.09 (.92) 2.05 (.87)
26 1.21 (1.02) 1.46 (.88)
27 1.52 (1.17) 2.14 (.91)
28 1.41 (.98) 2.16 (.88)
Mean 1.26 (.43) 1.79 (.41)

Values are presented as mean ± SD.

세부평가 및 범주평가에 참여한 28명의 평가자들이 측정한 평정점수별 분포는 Figure 1과 같다. 세부평가에서는 0점의 비율이 29.43%, 1점은 30.52%, 2점은 23.56%, 3점은 16.49%로 나타났고, 범주평가에서는 0점의 비율이 10.9%, 1점은 27.43%, 2점은 32.7%, 3점은 28.97%로 나타났다. 세부평가에서는 범주평가에 비해 0점과 1점의 사용 비율이 상대적으로 더 높았고, 범주평가에서는 세부평가에 비해 2점과 3점의 사용 비율이 더 높은 것으로 나타났다.
Figure 1.
Proportion (%) of rating score in the detailed (A) and general (B) assessment protocols.
csd-23-1-242f1.tif

세부평가요소 및 범주평가 요소들과 전반적 인상과의 관계

세부평가 내 요소들과 전반적 인상 간의 상관관계를 분석한 결과는 Table 4와 같다. 말명료도와 높은 상관을 보인 요소로는 부정확한 자음(r =.760, p < .01), 불규칙적인 조음 붕괴(r =.618, p < .01) 및 모음왜곡(r =.648, p< .01)으로 나타났고, 말의 괴기함과 높은 상관을 보인 요소로는 부정확한 자음(r =.681, p < .01)으로 나타났다. 이 요소들은 모두 조음과 관련된 요소이다.
Table 4.
Results of correlation between the detailed assessment and overall impression
Intelligibility Bizarreness
Forced inspiration-expiration .491** .544**
Audible inspiration .446** .465**
Grunt at end of expiration .396** .414**
Pitch level .472** .488**
Pitch breaks .408** .414**
Monopitch .472** .458**
Voice tremor .402** .402**
Monoloudness .450** .449**
Excess loudness variation .319** .365**
Loudness decay .337** .361**
Alternating loudness .370** .402**
Loudness level, overall .464** .446**
Harsh voice .501** .559**
Hoarse/wet voice .499** .545**
Breathy voice, continuous .487** .523**
Breathy voice, transient .347** .357**
Strained-strangled voice .416** .535**
Voice stoppages .382** .501**
Hypernasality .254** .216**
Hyponasality .284** .256**
Nasal emission .236** .234**
Imprecise consonants .760** .681**
Prolonged phonemes .476** .463**
Repeated phonemes .342** .307**
Irregular articulatory breakdowns .618** .528**
Distorted vowels .648** .545**
Rate .284** .301**
Short phrases .368** .369**
Increase of rate in segments .237** .259**
Increase of rate overall .226** .243**
Reduced stress .381** .338**
Variable rate .331** .387**
Prolonged interval .459** .434**
Inappropriate silences .549** .544**
Short rushes of speech .346** .397**
Excess and equal stress .441** .451**

** p<.01

반면에 말명료도 및 말의 괴기함과 상관이 낮게 나타난 요소로는 공명과 관련된 요소들(과다비성, 과소비성, 비강누출)과 운율과 관련된 요소들(말속도, 짧은 구, 말속도 증가, 말속도 변이, 강세 감소, 짧은 말뭉침)로 나타났다.
그 외에 발성과 관련된 요소들 중 강도 변이, 강도 감쇠, 일시적 기 식 음성이 말명료도 및 말의 괴기함과 낮은 상관관계를 보였으며, 음성 끊김과 말명료도 간의 상관도 낮은 것으로 나타났다.
범주평가 내 요소들과 전반적 인상 간의 상관관계를 분석한 결과는 Table 5에 제시하였다. 전반적 인상과 매우 높은 상관을 보인 요소는 조음(r =.807, p < .01)인 것으로 나타났으며, 운율(r =.656, p < .01), 발성(r =.653, p < .01), 그리고 호흡(r =.638, p < .01) 순으로 상관이 높은 것으로 나타났다. 공명(r =.501, p < .01)과 전반적 인상 간의 상관은 높지 않은 것으로 나타났다.
Table 5.
Results of correlation between the general assessment and overall impression
Overall impression
Breathing .638**
Voice .653**
Resonance .501**
Articulation .807**
Prosody .656**

** p<.01

논의및 결론

본 연구는 세부평가와 범주평가의 신뢰도 및 평정치를 각각 측정하여 비교하였고, 말의 전반적 인상을 결정하는 데 어떠한 요소들이 높은 관련성을 보이는지 살펴보았다. 세부평가는 마비말장애를 진단하는 대표적인 청지각적 방법인 메이요 클리닉 평정척도법에 포함된 38개 요소들로 구성하였고, 범주평가는 세부평가에 포함된 요소들을 범주화하여 도출한 6가지 범주인 호흡, 발성, 공명, 조음, 운율, 전반적 인상으로 구성하였다.
먼저 세부평가와 범주평가의 평가자 간 신뢰도를 살펴본 결과, 세부평가의 평가자 간 신뢰도는 .953 (p < .001), 범주평가의 평가자 간 신뢰도는 .967 (p < .001)로 모두 .90 이상의 높은 신뢰도를 나타냈으며, 범주평가가 세부평가보다 다소 높은 평가자 간 신뢰도를 나타냈다.
평가자의 일관성을 살펴보기 위한 방법으로 실시한 검사-재검사 신뢰도에서도 범주평가의 검사-재검사 신뢰도가 .620 (p < .01)으로 세부평가의 검사-재검사 신뢰도인 .580 (p<.001)보다 높게 나타났다.
이러한 결과는 상세한 평가 프로토콜과 간략한 평가 프로토콜의 신뢰도를 측정하여 비교한 Wannberg 등(2016)의 연구 결과와 일치한다. 이들은 30개 항목의 청지각적 평가 요소들을 모두 측정하는 것보다 관련된 5개의 범주만을 측정하였을 때 평가자 간 신뢰도 및 평가자 내 신뢰도가 더 높다고 하였다.
하지만 본 연구에서 측정한 평가자 간 신뢰도는 세부평가 및 범주평가에서 모두 높게 나타난 반면, 일주일의 시간 간격을 두고 실시한 검사-재검사 신뢰도는 세부평가 및 범주평가에서 모두 Nunnally (1978)가 제시한 적정 신뢰도의 최소 기준인 .70 이하로 나타났다. 이는 연구에 참여한 평가자들의 전문성에 영향을 받은 것으로 사료된다.
일반적으로 숙련되지 않은 평가자에 의한 청지각적 평가는 낮은 신뢰도를 보이며(Holmberg, Oates, Dacakis, & Grant, 2010; Wuyts, De Bodt, & Van de Heyning, 1999), 마비말장애 진단 시 전문가 집단과 비전문가 집단 간의 평가 결과는 유의미한 차이가 있다고 한다(Dagenais & Wilson, 2002; Lee & Kim, 2015).
본 연구에 청자 집단으로 참여한 28명의 평가자들은 모두 대학원에서 언어병리학을 전공하고 있는 대학원생으로 마비말장애 진단 및 치료와 관련한 임상경험이 전무한 준전문가 집단이다. 또한 본 연구절차 내에서도 평가에 참여하기 위한 별도의 훈련 혹은 교육을 제공하지 않았다.
상세평가 및 범주평가 모두에서 .70 이상의 평가자 내 신뢰도를 나타냈다고 보고한 Wannberg 등(2016)의 연구를 살펴보면, 5명의 평가자 모두가 최소 10년에서 최대 25년의 임상경험이 풍부한 전문가들이었다. 이처럼 청지각적 평가 방법은 마비말장애를 손쉽게 진단할 수 있다는 장점에도 불구하고, 평가자의 주관적 기준에 의해 평정된다는 이유로 평가의 신뢰성에 대한 지속적인 논쟁이 이루어져 왔다. 평가의 신뢰도를 증진시키기 위해서는 평가자의 숙련된 귀가 중요한데, 이를 위해서는 반복적이고 지속적인 교육이 필요할 것이다.
메이요 클리닉 평정척도법을 사용한 마비말장애 진단 시 임상경험 유무에 따른 평가자 내 신뢰도에 차이가 없었다고 보고한 Bunton 등(2007)의 연구를 살펴보면, 준전문가 집단의 경우 평가에 참여하기 전에 마비말장애 청지각적 평가와 관련하여 5시간의 강도 높은 교육 프로그램을 이수하였다. 이러한 교육의 제공은 청지각적 평가가 갖는 신뢰성에 대한 의구심을 감소시킬 수 있을 것이다.
본 연구에서는 세부평가 및 범주평가의 신뢰도에 이어 평가자들의 평정치를 측정하여 비교하였는데, 그 결과 범주평가의 평균 평정치가 세부평가의 평균 평정치보다 다소 높게 나타났다. 하지만 세부평가의 평균 평정치가 1.26점, 범주평가의 평균 평정치가 1.79점으로 모두 1점대에 해당하여 같은 중증도를 나타내기 때문에 의미 있는 차이라고 보기에는 어렵다. 따라서 38개의 청지각적 평가 요소들을 모두 측정할 때와 6개의 범주만을 측정하였을 때 평가 결과에는 유의미한 차이가 없다는 것을 알 수 있다.
하지만 평가자별 평정척도의 분포 비율을 자세하게 살펴보면, 세부평가와 범주평가 간에 차이를 발견할 수 있다. 28명의 평가자들 간 개인차는 있었지만 전반적으로 범주를 평가할 때보다 세부 요소들을 평가할 때 정상을 의미하는 0점을 더 많은 비중으로 사용하였고, 심도로 평정한 비율은 범주평가에서보다 더 낮았다. 이는 마비말장애 중증도를 결정할 때 모든 청지각적 평가 요소들이 반영되기보다는 대표적인 말 특성과 관련된 요소들의 측정치가 주로 반영된다는 것을 의미한다. 따라서 마비말장애 진단 시 다양한 요 소들에 대한 평가가 반드시 이루어져야 하는 것은 아니다.
반대로 범주평가를 통해서만 마비말장애를 진단할 때에는 범주 내 어떠한 말 특성들이 나타나는지에 대한 구체적인 기술이 제한적일 수밖에 없다. 따라서 마비말장애인의 비정상적인 말 특성을 면밀하게 살펴보기 위해서는 평가의 효율성을 높일 수 있는 세부적인 평가 요소를 선정하여 함께 측정하는 것이 필요하다.
Darley 등(1969b)은 이미 오래 전에 신경계의 손상 위치에 따라 마비말장애의 하위 유형을 분류하였고, 각각의 유형에서 호흡, 발성, 공명, 조음, 운율 등과 관련하여 정상범주에서 벗어난 말 특성을 보고하였다. 마비말장애 하위 유형에 따른 대표적인 말 특성을 배제하기 위해서 본 연구에서는 15명의 마비말장애 화자를 대상으로 수집한 다양한 유형 및 중증도의 음성 자료를 사용하여 마비말장애의 전반적인 인상을 결정하는 데 높은 관련이 있는 청지각적 평가 요소들을 살펴보았다.
세부평가에서 전반적 인상에 포함된 요소는 말의 명료도와 괴기함이었다. 각각을 구분하여 살펴보면, 말명료도와 높은 상관을 보인 요소들로는 부정확한 자음, 불규칙적인 조음 붕괴 및 모음왜곡이었고, 말의 괴기함과 높은 상관을 보인 요소로는 부정확한 자음이었다. 이를 제외한 모든 요소들은 모두 상관계수 값이 .60에 미치지 못하였으며, 특히 공명 및 운율과 관련된 요소들 대부분이 .40 이하의 낮은 상관계수 값을 나타냈다.
이와는 다르게 범주평가에서는 공명을 제외하고 조음, 운율, 발성, 호흡 순으로 모두 상관이 높게 나타났다. 이러한 결과는 말의 전반적 인상을 결정하기 위해서는 말 산출과 관련된 다양한 요소들의 측정이 반영되어야 한다는 것을 시사한다.
이미 국내 여러 문헌들을 통해 자음의 정확도가 한국어를 사용하는 화자들의 말명료도와 밀접한 관련이 있다는 것이 입증되었고(Kim, 2002; Sung, Choi, & Yoon, 2007; Yoon, Lee, & Sim, 2000), 실제로 임상에서도 마비말장애 진단 시 말명료도를 대신하여 자음 정확도가 주로 사용되고 있다. 세부평가 및 범주평가 모두에서 조음과 관련된 요소들이 전반적 인상과 가장 높은 상관을 보인 본 연구의 결과는 마비말장애 평가에서 조음 지표가 말의 전반적 인상을 결정하는 데 중요한 역할을 한다는 선행연구들의 결과를 뒷받침한다. 하지만 본 연구에서 조음과 관련된 모든 요소들이 말의 전반적 인상과 높은 상관을 보인 것은 아니었다. 조음 범주 내 포함된 세부평가 요소 중 음소 반복은 유일하게 말의 명료도 및 괴기함 모두와 낮은 상관을 나타냈다.
세부평가 및 범주평가에서 공통적으로 말의 전반적 인상과 상관이 낮은 것으로 나타난 항목은 공명이었다. 공명 범주 내 세부평가 요소로는 과다비성, 과소비성, 비강누출을 포함하였는데 모두 말의 전반적 인상과 낮은 상관을 보였다. 본 연구에서는 청지각적 평가를 위해 다양한 유형 및 중증도의 마비말장애 화자 15명으로부터 발화샘플을 수집하였다. 그중 5명이 이완형 마비말장애였으며, 1명은 이완형을 포함한 혼합형 마비말장애였다. Darley 등(1969a, 1969b)이 기술한 마비말장애 유형별 특성을 살펴보면 이완형은 다른 마비말장애 유형에 비해 과다비성과 비강누출 같은 공명 문제를 두드러지게 나타내는 것으로 알려져 있다.
De Bodt, Huici와 Van de Heyning (2002)은 15년 이상의 임상경험을 가진 두 명의 전문가를 통해 다양한 유형의 마비말장애 발화샘플 79개에 대한 음성의 질, 조음, 공명, 그리고 운율의 중증도를 각각 4점 척도를 사용하여 평정하도록 하였다. 그 후 각 요소들이 발화의 전반적인 명료도와 어떠한 관련성을 나타내는지 살펴본 결과, 조음은 상관계수 값 .82로 가장 높은 상관을 나타낸 반면, 공명은 상관계수 값 .32로 가장 낮은 상관을 나타냈다. 본 연구에서 공명이 말의 전반적 인상과 낮은 상관을 보인 것은 공명 문제가 마비말장애 화자의 말명료도에 미치는 영향이 다른 요소들에 비해 상대적으로 제일 적다는 선행연구의 결과를 지지한다.
본 연구는 마비말장애 청지각적 평가방법인 세부평가와 범주평가의 비교를 통해 다음과 같은 결론을 도출하였다. 첫째, 범주평가는 세부평가의 평정 결과와 차이를 나타내지 않았고, 세부평가보다 높은 평가자 간 신뢰도를 보였기 때문에 세부 요소들을 모두 측정하는 데 소요되는 시간을 절약할 수 있다는 장점을 지닌다.
둘째, 범주평가의 검사-재검사 신뢰도는 세부평가의 검사-재검사 신뢰도보다 높게 나타났지만 만족스러운 수준은 아니었다. 본 연구에서는 평가자 집단을 임상경험이 없는 준전문가로 한정하였으나, 추후 연구에서는 다양한 임상경험을 지닌 전문가 집단으로 평가자를 확대하는 것이 필요할 것이며, 보다 나은 신뢰도를 갖추기 위해서는 평가자들에게 평가의 숙련도를 향상시킬 수 있는 기회가 제공되어야 할 것이다.
마지막으로 본 연구는 다양한 청지각적 평가 요소들 중 말의 전반적인 인상을 결정하는 데 상관이 높거나 또는 낮은 세부 요소들을 확인하였다. 이러한 결과는 향후 임상에서 마비말장애 청지각적 평가 시 효율적인 평가 요소를 선별하는 데 기초 자료를 제공할 것이다.

REFERENCES

Bunton, K., Kent, RD., Duffy, JR., Rosenbek, JC., & Kent, JF. (2007). Listener agreement for auditory-perceptual ratings of dysarthria. Journal of Speech, Language, and Hearing Research. 50, 1481–1495.
crossref
Dagenais, PA., & Wilson, AF. (2002). Acceptability and intelligibility of moderately dysarthric speech by four types of listeners. Windsor, F. Investigations in clinical phonetics and linguistics. (pp. 363–372). New York, NY: Psychology Press.

Darley, FL., Aronson, AE., & Brown, JR. (1969a). Clusters of deviant speech dimensions in the dysarthrias. Journal of Speech, Language, and Hearing Research. 12, 462–496.
crossref
Darley, FL., Aronson, AE., & Brown, JR. (1969b). Differential diagnostic patterns of dysarthria. Journal of Speech, Language, and Hearing Research. 12, 246–269.
crossref
De Bodt, MS., Huici, MEHD., & Van de Heyning, PH. (2002). Intelligibility as a linear combination of dimensions in dysarthric speech. Journal of Communication Disorders. 35, 283–292.
crossref pmid
Duffy, JR. (2005). Motor speech disorder: substrates, differential diagnosis, and management (2nd ed .). St. Louis, MO: Mosby.

Duffy, JR. (2006). History, current practice, and future trends and goals. Weismer, G. Motor speech disorders. (pp. 7–56). San Diego, CA: Plural Publishing.

Enderby, PM., & Palmer, R. (2008). FDA-2: Frenchay Dysarthria Assessment: examiner’s manual. Austin, TX: Pro-Ed.

Gerald, FJF., Murdoch, BE., & Chenery, HJ. (1987). Multiple sclerosis: associated speech and language disorders. Australian Journal of Human Communication Disorders. 15, 15–35.
crossref
Hartelius, L., & Svensson, P. (1994). Speech and swallowing symptoms associated with Parkinson’s disease and multiple sclerosis: a survey. Folia Phoniatrica et Logopaedica. 46, 9–17.
crossref pmid
Holmberg, EB., Oates, J., Dacakis, G., & Grant, C. (2010). Phonetograms, aerodynamic measurements, self-evaluations, and auditory perceptual ratings of male-to-female transsexual voice. Journal of Voice. 24, 511–522.
crossref pmid
Hong, S., & Byeon, H. (2014). Comparison of holistic approach with progressive dysarthria according to clinical experience: a multi-institutional survey in Korea. International Journal of Bio-Science and Bio-Technology. 6, 39–48.

Kang, Y. (2006). A normative study of the Korean-Mini Mental State Examination (K-MMSE) in the elderly. Korean Journal of Psychology: General. 25, 1–12.

Kearns, KP., & Simmons, NN. (1988). Interobserver reliability and perceptual ratings: more than meets the ear. Journal of Speech, Language, and Hearing Research. 31, 131–136.
crossref
Kent, RD., Weismer, G., Kent, JF., & Rosenbek, JC. (1989). Toward phonetic intelligibility testing in dysarthria. Journal of Speech and Hearing Disorders. 54, 482–499.
crossref pmid
Kim, H. (2012). Neurogenic speech-language disorders. Seoul: Sigmapress.

Kim, SJ. (2002). The role of speech factors in speech intelligibility: a review. Malsori. 43, 25–44.

Kim, YT., & Shin, MJ. (2004). Urimal Test of Articulation and Phonology (U-TAP). Seoul: Hakjisa.

Korea Ministry of Health and Welfare. (2017). 2017 Guide to welfare services for person with disabilities. Sejong: Ministry of Health and Welfare.

Lee, EK., & Kim, JC. (2015). A comparison between speech-language pathologist and non-professional listeners’ perceptual judgements for speech intelligibility and speech acceptability of speaker with dysarthria. Journal of Speech-Language & Hearing Disorders. 24, 287–296.
crossref
Nunnally, J. (1978). Psychometric theory. New York, NY: McGrwaw-Hill.

Saunders, C., Walsh, T., & Smith, M. (1981). Hospice care in the motor neu-ron diseases. Saunders, C. Hospice: the living idea. (pp. 122–155). London: Edward Arnold.

Sheard, C., Adams, RD., & Davis, PJ. (1991). Reliability and agreement of ratings of ataxic dysarthric speech samples with varying intelligibility. Journal of Speech, Language, and Hearing Research. 34, 285–293.
crossref
Shriberg, LD., & Kwiatkowski, J. (1982). Phonological disorders III: a procedure for assessing severity of involvement. Journal of speech and Hearing Disorders. 47, 256–270.
crossref pmid
Sung, HJ., Choi, EA., & Yoon, MS. (2007). Predicting variables of speech intelligibility in adults with hearing impairment: focusing on correct articulation. Malsori. 61, 1–14.

Theodoros, DG., Murdoch, BE., & Goozee, JV. (2001). Dysarthria following traumatic brain injury: incidence, recovery and perceptual features. Murdoch, BE., & Theodoros, DG. Traumatic brain injury: associated speech, language, and swallowing disorders. (pp. 27–51). San Diego, CA: Singular.

Wannberg, P., Schalling, E., & Hartelius, L. (2016). Perceptual assessment of dysarthria: comparison of a general and a detailed assessment protocol. Logopedics Phoniatrics Vocology. 41, 159–167.
crossref
Warlow, CP., Dennis, MS., van Gijn, J., Hankey, GJ., Sandercock, PA., Bamford, JM., & Wardlaw, JM. (2001). Stroke: a practical guide to management. Oxford: Wiley-Blackwell.

Wuyts, FL., De Bodt, MS., & Van de Heyning, PH. (1999). Is the reliability of a visual analog scale higher than an ordinal scale? An experiment with the GRBAS scale for the perceptual evaluation of dysphonia. Journal of Voice. 13, 508–517.
crossref pmid
Yoon, M., Lee, Y., & Sim, HS. (2000). The relationship between speech intelligibility and related factors of speakers in prelingually hearing impaired children using hearing aids. Korean Journal of Communication & Disorders. 5, 144–158.

Yorkston, KM., Beukelman, DR., Strand, EA., & Bell, KR. (2010). Management of motor speech disorders in children and adults (3rd ed .). Austin, TX: Pro-Ed.

Zeplin, J., Kent, RD., Robin, DA., Yorkston, KM., & Beukelman, DR. (1996). Reliability of auditory-perceptual scaling of dysarthria. Robin, DA. Disorders of motor speech: assessment, treatment, and clinical characterization. (pp. 145–154). Baltimore, MD: Paul H. Brookes Pub.

Zyski, BJ., & Weisiger, BE. (1987). Identification of dysarthria types based on perceptual analysis. Journal of Communication Disorders. 20, 367–378.
crossref pmid

Appendices

Appendix 1.

세부평가와 범주평가 기록지

csd-23-1-242i1.tif
Editorial office contact information
Department of Speech and Language Pathology
College of Health Sciences, Chosun University,
309, Pilmun-daero, Dong-gu, Gwangju, 61452, Republic of Korea
Tel: +82-502-196-1996   Fax: +82-62-230-6271   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology. All right reserved.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
powerd by m2community