초록배경 및 목적이 연구는 새로 개발한 자녀의 말더듬에 대한 양육자의 태도(Attitude toward Your Child’s Speech, AYCS) 검사도구를 말더듬 아동 부모에게 적용하기 위한 기초연구로서, 언어재활전문가와 일반 아동 부모 및 말더듬 아동 부모를 대상으로 타당도와 신뢰도를 검증하였다.
방법연구 대상자는 언어재활사 4명과 말더듬 아동 부모 152명(어머니 146명, 아버지 6명)이었다. 연구 대상자들은 AYCS 검사도구에 9점 척도로 답하였다. 수집한 자료를 바탕으로 AYCS의 타당도(내용타당도, 구성타당도, 동시적타당도)와 신뢰도(내적일관성신뢰도, 검사-재검사 신뢰도)를 검증하였다.
결과문항의 내용타당도는, 말더듬 전문가(언어재활사) 4명과 일반아동부모 6명의 대답을 바탕으로 CVI와 FVI 두가지 방법으로 측정하였는데, 7번 문항을 제외하고(FVI=.70), 모든 문항이 .80 이상의 FVI를 보였고, 대표성과 명료도에서 모든 문항이 .80 이상의 CVI를 보여 높은 내용타당도를 보이는 것으로 나타났다. 탐색적 요인분석 결과, 각요인에 대한 요인적재량(factor loadings)은 2개의 문항(13 & 14)을 제외하고 모두 최소 0.4 이상이었다. 동시적타당도를 알아보기 위해, 페일린 부모평가 설문(Palin Parent Rating Scale, PPRS)의 두 문항과 AYCS의 세 요인(‘자녀의 말더듬에 대해 수용하는 태도’, ‘자녀의 말더듬에 대한 걱정’, ‘자녀와 말하는 즐거움’)의 상관을 본 결과, ‘자녀의 말더듬에 대해 수용하는 태도’요인은 말더듬 아동 부모의 말더듬에 대한 걱정을 측정하는 두 문항과 유의미하게 부적인 상관을 보였고, ‘자녀의 말더듬에 대한 걱정’ 요인은 이 두 문항과 유의미하게 정적인 상관을 보였다. 신뢰성을 확인하기 위하여 크론바알파(Cronbach’s α) 신뢰계수를 구한 결과, 세 요인 모두 .70 이상의 신뢰계수를 보였다. 또한, 검사-재검사 신뢰도 결과 세 요인은 중간에서 높은 ICC 계수를 보였다.
AbstractObjectivesThe purpose of this study was to determine the validity and reliability of a scale of parents’ attitude toward their child’s speech (i.e., Attitude toward Your Child’s Speech, AYCS).
MethodsThe participants were 152 parents of children who stuttered (CWS). Participants completed a scale of parents’ attitudes toward their child’s speech and a scale of impact of stuttering on children and parents in the form of an online survey. Based on the collected data, the validity (i.e., content validity, construct validity, concurrent validity) and reliability (i.e., internal consistency reliability, test-retest reliability) of AYCS were assessed.
ResultsThe 11 items of the AYCS demonstrated high content, construct and concurrent validity assessing three factors (i.e., Joy of talking to the child, Worry about the child’s stuttering, & Acceptance of the child’s stuttering). In addition, the ACYS demonstrated moderate to excellent test-retest reliability and high internal consistency.
ConclusionThe findings indicated that the AYCS is a valid and reliable instrument to evaluate parents’ attitudes toward their child’s speech and stuttering. It is expected that the AYCS could be included as part of a comprehensive evaluation of stuttering and be used as a tool to document progress of parents’ attitudes toward stuttering during treatment of stuttering in children. Furthermore, researchers may be able to use the AYCS to test various research hypotheses regarding how parents’ attitudes toward stuttering affect their child’s development of stuttering.
어린 말더듬 아동의 치료에 있어 부모의 역할은 중요하다(Yaruss & Reardon-Reeves, 2017). 이는 아동이 어릴수록 부모와 어떤 대상에 대한 감정 및 태도를 공유할 가능성이 크기 때문이다(Carson & Parke, 1996). 부모의 말더듬에 대한 부정적인 감정과 태도는 전염성이 있어서, 아이가 말더듬을 두려워하게 만들 수 있다(Guitar, 2019). 반대로, Berquez와 Kelman (2018)은 부모가 말더듬에 대한 수용적인 태도를 가지면, 아이 역시 말더듬에 대해 민감하게 반응하지 않게 되고, 부정적인 의사소통태도를 가질 가능성도 줄어들 것이라고 하였다.
말더듬 아동의 부모는 아이의 말더듬에 대해 다양한 감정(예: 불확실함, 불안함, 두려움, 슬픔, 부끄러움, 죄책감과 같은 감정) 및 믿음을 갖고 있다(Berquez & Kelman, 2018). 예를 들어, Zebrowski와 Schum (1993)은 말더듬 아동의 부모가 아이의 말더듬에 대해서 죄책감과 불안함을 갖고 있다고 하였다. 즉, 부모는 자신이 한 행동이 아이를 말더듬게 한 것은 아닌지 걱정할 뿐 아니라, 아이의 말더듬을 예방하지 못한 것에 대한 죄책감을 갖고 있다고 한다. 또한, 부모는 자신이 통제할 수 없는 과거나 미래에 대해 지나치게 생각하면서 불안함을 갖게 된다고 한다. 그리고, 많은 말더듬 아동의 부모들이 아이의 말더듬에 대해서 아이와 이야기하는 것을 불편하게 생각하는데, 이는 부모들이 아이와 말더듬에 대해서 이야기하면 아이의 말더듬 정도가 심해질 것이라는 잘못된 믿음을 갖고 있기 때문이다(Zebrowski & Schum, 1993). 또한 Manning과 DiLollo (2017)는 말더듬을 시작하는 아동의 부모는 아이의 말더듬에 대해 분노(anger), 부정(denial), 두려움(fear), 불안(anxiety)과 죄책감(guilt)을 느낀다고 하였다.
그러나, 말더듬에 대한 말더듬 아동의 부모의 태도가 항상 부정적인 것만은 아니다. 어떤 부모는 말더듬에 대해서 수용하는 태도를 보이기도 하는데, 이러한 태도는 치료 결과에 긍정적인 영향을 주기 때문에 여러 치료 프로그램의 부모교육의 목표로서 권장되고 있다(Millard, Zebrowski, & Kelman, 2018). Yaruss, Reeves와 Herring (2018)은 치료시간에 아이가 말을 편하게 더듬을 수 있는 환경을 만들어 주도록 부모를 교육하는 것이 중요하다고 하였다. Coleman (2018)은 부모가 아이에게 “말을 더듬어도 괜찮다’라고 말 한 것만으로도 아이의 말에 대한 걱정을 완화시킬 수 있다고 하였다.
말더듬 뿐 아니라 아이의 전반적인 말에 대한 부모의 태도 역시 아이의 의사소통 태도에 영향을 미칠 수 있는 것으로 보인다. Vanrycheghem과 Brutten (2007)이 개발한 학령전기 아동의 의사소통 태도 검사인 KiddyCAT에는 부모가 아이의 말 하는 방식을 좋아하는지 물어보는 문항이 있다(예: “엄마와 아빠가 네가 말하는 방식을 좋아하니?”). 이는 부모의 아이의 말에 대한 태도와 아이의 자신의 말에 대한 태도가 깊은 연관이 있음을 시사한다.
이와 같이, 아동의 말과 말더듬에 대한 양육자의 태도를 알아보고 대처하는 것이 어린 아동의 말더듬 치료의 중요한 부분을 차지하고 있음에도 불구하고, 부모의 태도가 어떻게 아이의 말더듬과 의사소통태도에 영향을 미치는지에 대한 실증적(empirical) 연구는 충분히 이루어지지 않았다. 이는 부모의 말더듬에 대한 태도를 실증적 연구를 할 수 있도록 하는, 객관적이고 신뢰도와 타당도가 확립된 측정도구가 부족하기 때문일 수 있다. 지금까지 개발된 말더듬 아동 부모의 태도에 대한 대표적인 설문지로 Crowe와 Cooper (1977)가 개발한 ‘말더듬에 대한 부모의 태도 평가’(Parental Attitudes toward Stuttering Inventory, PATS)와 ‘앨라배마 말더듬 지식 테스트’(the Alabama Stuttering Knowledge Test, ASK Test)가 있고, St. Louis (2011)가 개발한 ‘말더듬에 대한 일반인의 의견 설문’(Public Opinion Survey of Human Attributes Inventory-Stuttering, POSHA-S)과 ‘말더듬 환경 평가’(Appraisal of the Stuttering Environment, ASE; St.Louis, Kuhn, & Lytwak, 2015), 그리고 Millard와 Davis (2016)가 개발한 ‘페일린 부모 평가’ (Palin Parent Rating Scale, PPRS)가 있다.
먼저, PATS는 부모의 말더듬에 대한 믿음을 측정하는 평가지이다. 부모는 5점 척도로 되어 있는 45개의 문항에 대해 얼마나 동의하는지 대답한다. 문항은 아이의 말더듬의 시작과 발달과 관련 있을 것으로 보이는 부모의 태도에 대한 문장을 임의로 만든 것이고, 28명의 언어재활사로부터 각 문항에서 묘사한 부모의 태도가 아이의 말더듬 치료에 도움이 되고 바람직한지 여부를 물어, 바람직한 태도에 부모가 매우 동의하면 4점, 바람직하지 않은 태도에 매우 동의하면 0점을 받도록 하였다. 그러나 이 검사는 신뢰도와 타당도가 검증되지 않았고, 몇몇 문항은 현대의 상식과 사회분위기에 적절하지 않은 문제점을 보이기도 하였다(예: “The stuttering child in a family should not be expected to enter into dinner table discussion even when asked specifically to do so”, “On the average, higher education is not as important for the stutterer as for the nonstutterer”, “말더듬 아동은 저녁 식사시간 대화에 가능한 끼지 않아야 한다”, “대체로, 말더듬는 사람은 말을 더듬지 않는 사람에 비해 고등 학력이 중요하지 않다.”). 한편, 동일한 저자가 개발한 ASK Test는 26개의 진위형(true/false) 문항으로 이루어졌는데, 말더듬에 대한 부모의 지식을 측정하기 위해 만들어졌다. 이 검사는 PATS와 마찬가지로 신뢰도와 타당도가 검증되지 않았다는 한계가 있다.
2000년대 들어 St. Louis와 동료들은 POSHA-S를 개발하였는데, 이 설문은 말더듬인의 성격과 말더듬의 원인에 대한 대중의 믿음과 말더듬인에 대한 대중의 반응, 말더듬에 대한 지식을 측정하고, 말더듬인에 대한 태도를 다른 정신적 질병이나 비만을 가진 사람들에 대한 태도와 비교할 수 있도록 설계되었다. 이 설문지는 높은 검사-재검사신뢰도와(St. Louis, Lubker, Yaruss, & Aliveto, 2009), 구성 및 동시적 타당도(St. Louis, Reichel, Yaruss, & Lubker, 2009), 그리고 내적일관성을(Al-Khaledi, Lincoln, McCabe, Packman, & Alshatti, 2009) 보이는 것으로 보고되었다. 그러나 저자들은 이 설문이 말더듬인에 대한 일반적인 대중의 태도를 측정하기 위해 개발된 것이므로 말더듬 아동 및 성인의 가족이나 친구들이 사용하기에는 적절하지 않다고 하였다(IPATHA, 2013). 이보다는, St. Louis와 동료들은(St. Louis, Weidner, & Mancini, 2016) 말더듬 아동의 부모들에게는 ASE를 사용할 것을 권고하였다. ASE는 POSHA-S 실험판에서 변형되어 나온 것으로, POSHA-S와는 달리 역학조사를 위한 것이 아니라 임상적으로 사용하기 위해 설계된 설문이다. 그러나, ASE는 아직 신뢰도와 타당도가 보고되지 않았으므로 이 연구결과에 대한 신뢰를 갖기까지 더 많은 연구가 필요할 것으로 보인다.
한편, Millard와 Davis (2016)가 개발한 PPRS는 미국과 유럽에서 임상에서 사용되고 있고 신뢰도와 타당도가 보고되어 신뢰할만한 측정도구이다. 그러나 자녀의 말더듬에 대한 부모의 태도를 측정하는 문항은 두 문항뿐이고, 이 두 문항은 모두 부정적인 감정을 측정하기 때문에 자녀의 말더듬에 대한 부모의 전반적인 감정-긍정 및 부정적인 감정을 모두 포함하는-을 측정하는 데는 어려움이 있는 것으로 보인다.
태도는 어떤 사람이나, 대상, 또는 문제에 대해 지속적으로 갖는 긍정적이거나 부정적인 감정(feelings), 또는 믿음(beliefs)으로 정의된다(Newhoues, 1990). 따라서, 감정은 태도의 큰 부분을 차지하고, 감정은 긍정적인 감정과 부정적인 감정 모두를 포함한다. 또한 앞서 말하였듯이, 부모가 자녀의 말더듬을 수용하는 태도를 갖도록 하는 것이 현재 말더듬 치료의 핵심이지만(Yaruss, Coleman, & Quesal, 2012), 기존의 설문지에는 부모의 말더듬에 대한 수용하는 태도를 측정하는 문항이 없는 한계를 보인다. 이러한 이유로, 자녀의 말과 말더듬에 대한 양육자의 긍정적/부정적 감정과 함께, 말더듬을 수용하는 태도를 모두 측정할 수 있는 신뢰도와 타당성이 검증된 설문지의 개발이 요구된다. 그러므로, 본 연구의 목적은 자녀의 말더듬에 대한 양육자의 태도 검사 사용을 위한 첫걸음으로서 새로 개발한 검사의 타당도와 신뢰도 검증을 하는 데 있다.
연구방법연구대상연구 설문은 만 3-12세 말더듬 아동(남자 106명, 여자 46명)의 부모를 대상으로 하였다. 연구대상자는 (1) 한국어를 모국어로 사용하고 있고, (2) 언어재활사로부터 말더듬으로 진단받은 아동의 양육자이었다. 연구대상자는 네이버의 부모카페를 통해 모집하거나, 말더듬 검사를 위해 치료실을 직접 방문한 부모들 중 모집하였고, 연구대상자는 온라인으로 설문에 응답하였다. 처음에 부모카페를 통해 총 202명이 참여하였으나, 반응이 신뢰할 수 없는 것으로 판단된 경우(n=69)나, 나이가 12세 이상인 경우(n=2) 데이터를 제외하였다. 즉, 나이가 말더듬 기간보다 적거나, 일관적이어야 하는 PPRS의 9, 10번 문항(“아이가 유창할 때가 있습니까?”, “아이가 얼마나 자주 말을 더듬습니까?”)의 답이 일관적이지 않은 경우, 신뢰할 수 없는 데이터로 간주하였다. 그 결과, 71명의 데이터가 분석에서 제외되어, 총 131명의 데이터가 분석에 사용되었다. 네이버 부모카페를 통해 온라인으로 참여한 131명의 부모는 모두 아이가 말더듬 진단을 받은 적이 있다고 보고하였다. 그리고 아동의 치료 경험 및 치료실 이름을 설문지를 통해 보고하였다. 치료실에 직접 방문한 21명의 아동은 언어재활사로부터 말더듬 진단을 받았다. 그리고 부모카페를 통해 모집한 부모와 치료실을 직접 방문한 부모 중 모집한 부모를 합쳐, 총 152명(어머니 146명, 아버지 6명)의 데이터를 본 연구에 사용하였다. 본 연구는 우송대학교 IRB로부터 연구승인을 받았고(1041549-210413-SB-120), 모든 연구대상자는 연구 참여 전 연구의 목적 및 절차에 대한 설명을 읽고 연구 참여에 동의하였다.
연구절차검사도구 구성 및 문항개발본 연구의 저자들은 자녀의 말더듬에 대한 양육자의 태도 검사(AYCS, Attitude toward Your Child’s Speech)를 새로 개발하였다. 본 연구의 제1저자는 지금까지 진행된 여러 태도에 관련된 선행연구(Berquez & Kelman, 2018; Manning & DiLollo, 2017; Kelman & Nicholas, 2020; Yaruss et al., 2018; Zebrowski & Schum, 1993)를 고찰한 후 기존 검사도구(Millard & Davis, 2016; Vanrycheghem & Brutten, 2007)와 3명의 10년 이상의 언어치료 임상경력을 갖고 있는 말더듬 전문가의 의견을 종합하여 연구자의 판단에 따라 세 개의 구성 요인(factors=자녀와 말하는 즐거움, 자녀의 말더듬에 대한 걱정, 자녀의 말더듬에 대해 수용하는 태도)을 측정하기 위해 총 15개의 문항을 제작하였다. 각 문항의 제작 시 자녀의 말더듬에 대한 걱정 요인의 문항은 PPRS (Millard & Davis, 2016)의 두 문항(“아이의 말더듬에 대해 얼마나 걱정하고 있습니까?”와 “아이의 말더듬 때문에 얼마나 자녀의 미래에 대해 불안합니까?”)을 참조하였고, Berquez와 Kelman (2018)이 제안한 대로 말더듬 아동의 부모가 가질 수 있는 여러 가지 부정의 감정(예: 불안함, 부끄러움, 죄책감)을 측정할 수 있는 문항을 만들었다. 그리고 자녀와 말하는 즐거움은 KiddyCAT 문항 중 3번 문항과(“엄마와 아빠가 네가 말하는 방식을 좋아하니?”) 9번(“너는 말하는 걸 좋아하니?”)문항을 참조하였고, Fredrickson (2001)의 긍정적 감정 종류(e.g., 기쁨, 관심, 만족, 자랑스러움, 사랑함)를 참고하여, 여러 긍정의 감정을 측 정할 수 있는 문항을 만들었다. ‘자녀의 말더듬에 대해 수용하는 태도’ 요인은 기존의 검사도구에서 비슷한 문항을 찾을 수 없어서, 말더듬 아동 부모교육에 대한 선행연구(예: ‘말을 더듬어도 괜찮아’, Coleman, 2018, p.224)와 치료 프로그램 매뉴얼(예: “자녀와 말더듬에 대해 말하기”, Kelman & Nicholas, 2020, p.154)을 참고하여 작성하였다. 문항은 9점 척도로 선택할 수 있도록 하였다(1점=동의 하지 않는다-9점=동의한다).
첫째, ‘자녀와 말하는 즐거움’(Joy of talking to the child, JT)의 구성요인은 아이의 말에 대한 양육자의 긍정적인 감정 및 태도로 정의되며, 예로서 기쁨과 만족의 감정(Fredrickson, 2001)이 포함된다. 이 구성요인에는 총 3개의 문항이 포함되어 있다(문항 4: 나는 내 아이와 이야기하는 것을 좋아한다, 문항 8: 나는 내 아이가 해 주는 이야기를 듣는 것을 좋아한다, 문항 9: 나는 내 아이의 말하는 방식을 좋아한다).
둘째, ‘자녀의 말더듬에 대한 걱정’(Worry about the child’s stuttering, WS)의 구성요인은 아이의 말더듬에 대한 양육자의 부정적인 감정 및 태도로 정의되며, 예로서 죄의식, 부끄러움, 불안 등(Berquez & Kelman, 2018)이 포함된다. 이 구성요인에는 5개의 문항이 포함되어 있다(문항 5: 나는 내 아이가 말해야 하는 상황을 피할까봐 걱정이다, 문항 6: 나는 내 아이가 말더듬 때문에 학교에서 놀림을 당할까 걱정이다, 문항 10: 나 때문에 내 아이가 말을 더듬는 것 같아 속상하다, 문항 11: 내 아이의 말더듬이 아이의 인생에 나쁜 영향을 미칠까 봐 걱정이다, 문항13: 내 아이가 사람들 앞에서 말을 더듬을 때 나는 매우 부끄럽다).
마지막으로, ‘자녀의 말더듬에 대해 수용하는 태도’(Acceptance of the child’s stuttering, AS)의 구성요인은 아이가 말을 더듬어도 괜찮다고 믿는 믿음의 정도로 정의되며 말을 더듬어도 괜찮다는 믿음의 반대는 아이의 말이 완벽히 유창해야 한다는 믿음/태도이다. 이 구성요인에는 총 7개의 문항이 포함되어 있다(문항 1: 내 아이의 말더듬은 자연히 없어질 것이다, 문항 2: 말을 더듬어도 괜찮다, 문항 3: 모든 사람들은 어느 정도 말을 더듬는다, 문항 7: 나는 내 아이의 말더듬이 신경 쓰이지 않는다, 문항 12: 나는 내 아이와 말더듬에 대해 편하게 이야기할 수 있다, 문항 14: 나는 내 아이가 항상 유창하게 말하면 좋겠다, 문항 15: 나는 내 아이가 말을 더듬건 안 더듬건 간에 자기 생각을 잘 표현하는 사람이면 좋겠다) (Table 1).
데이터 수집말더듬 아동의 부모는 온라인 설문지에 아동의 기본 정보를 입력한 후, 총 15문항의 AYCS와 총 19문항으로 이루어진 PPRS의 문항에 답하였다. 아동의 기본정보는 말더듬 가족력, 말더듬 치료경력, 아동의 말더듬의 시작과 발달, 아동의 말더듬에 대한 인식을 포함하였다.
타당도 검증 절차타당도는 내용타당도(content validity), 구성타당도(construct validity), 동시적타당도(concurrent validity)를 검증하였다.
첫째, 내용타당도를 검증하기 위해 4명의 말더듬 전문가(1급 언어재활사 소지자, 말더듬 관련 논문의 저자)와 6명의 일반 아동 부모 패널에게 내용타당도 측정을 의뢰하였다. 질문 내용은 Rubio, Berg-Weger, Tebb, Lee와 Rauch (2003)의 논문을 참조하였다. 우선, 언어재활사와 부모에게 세 요인(‘자녀와 말하는 즐거움’, ‘자녀의 말더듬에 대한 걱정’, ‘자녀의 말더듬에 대해 수용하는 태도’)의 정의를 제시한 후, 각 문항을 읽고 각 문항이 세 개의 구성요인 중 어떤 구성요인에 속하는지 예상해서 적게 하였다. 만일 제시된 세 개의 구성요인 중 어느 것에도 해당되지 않는다고 생각하면, 가장 잘 맞을 것 같은 구성요인이 무엇인지 제시하게 하였다. 요인 타당도 척도(a factorial validity index, FVI)는 각 항목에 대해 저자가 의도한 구성요인을 올바르게 연결 지은 참여자의 수를 모든 참여자의 수로 나누어 계산한다. 적어도 .80 이상이어야 내용타당도가 높은 것으로 판단한다.
다음으로, 언어재활사와 부모에게 문항과 그에 해당하는 구성요인을 제시하고, 각 문항이 해당 구성요인을 얼마나 잘 대표하는지(대표성 측정, representativeness), 각 문항의 내용이 명료하고 타당한지 (명료도 측정, Clarity)에 대해서도 4첨 척도로 답하게 하였다. 내용타당도 척도(content validity index, CVI)는 대표성과 명료도 측면에서 각 항목에 대해 적어도 3점 이상을 준 평가자의 수를 전체 평가자의 수로 나누어서 구한다. 이것은 각 항목에 대해 내용면에서 타당하다고 판단한 평가자의 비율을 의미한다. Davis (1992)는 설문의 문항이 적어도 .80 이상의 CVI 점수를 가질 것을 권고하였다.
둘째, 구성타당도(construct validity) 검증을 위해 IBM SPSS Ver. 26을 사용하여, 탐색적 요인분석(Exploratory factor analysis)을 실시하였고, 요인회전방법으로 Direct Oblimin 방법(요인 간 상관을 허용하는 방법)을 사용하였으며, 요인축출방법으로 최대우도법(Maximum likelihood)을 이용하였다. McCoach, Gable과 Madura (2013)의 방식에 따라 .40 이상의 요인적재량을 보인 문항들을 해당하는 요인을 측정하는 문항들로 선택하였다.
마지막으로, 동시적타당도(concurrent validity)는 AYCS의 세 구성요인 점수들과 기존의 검사도구인 PPRS (Millard & Davis, 2016)의 결과를 비교하였다. PPRS는 아동에게 미치는 말더듬 영향(the impact of stuttering on your child), 말더듬 정도와 부모의 걱정(the severity of stuttering and parent concern), 부모의 말더듬 관리에 대한 지식과 자신감(parents’ knowledge and confidence about managing stuttering)이라는 세 개의 섹션으로 이루어져 있다. 이 중 ‘말더듬 정도와 부모의 걱정 섹션’에서 두 문항(“아이의 말더듬에 대해 얼마나 걱정하고 있습니까?”와 “아이의 말더듬 때문에 얼마나 자녀의 미래에 대해 불안합니까?”)이 AYCS의 목적에 부합하므로 동시적타당도는 이 두 문항의 결과와 AYCS의 세 요인 점수들의 상관을 스피어만 상관계수(Spearman’s rho)를 통해 구하였다. PPRS의 점수는 Millard와 Davis가 발표한 요인적재량(factor loadings)에 근거하여 가중치(weight)를 두어 구하였다. 두 문항의 점수가 높을수록 말더듬에 대한 부모의 걱정이 많은 것을 의미한다. 따라서 PPRS의 두 문항과 ACYS의 ‘자녀의 말더듬에 대한 걱정’ 요인 점수는 정적 상관관계를 보일 것으로 예상하였고, ‘자녀의 말더듬에 대해 수용하는 태도’와는 부적 상관관계를 보일 것으로 예상하였다. 그러나 ‘자녀와 말하는 즐거움’은 말더듬이 아닌 전반적인 말에 대한 태도이므로 PPRS의 두 문항과 유의미한 상관관계를 보이지 않을 것으로 예상하였다.
신뢰도 검증 절차설문지의 신뢰도 분석을 위해, 내적일관성 신뢰도(internal consistency reliability)와 검사-재검사 신뢰도(test-retest reliability)를 산출하였다. 내적일관성 신뢰도는 SPSS Ver. 26을 사용하여 크론바알파(Cronbach’s α) 계수를 산출하여 검증하였다. 한편, 검사-재검사 신뢰도 평가를 위해 참여자에게 2주일에서 한 달 간격을 두고 설문에 참여한 부모 중 재검사를 원하는 12명의 부모에게 설문지를 다시 보내 작성하게 하였다. 12명 중 4명은 치료실을 직접 방문한 부모였고, 8명은 온라인으로 참여한 부모였다.
연구결과피험자의 기본 정보총 152명의 아동 중 142명 아동의 부모로부터 말더듬 가족력에 대한 정보를 수집하였다. 142명의 아동 중 말더듬 가족력이 있는 아동은 26명(18.3%)이었고, 말더듬 가족력이 없는 아동은 116명(81.7%)이었다. 말더듬에 대한 치료 여부에 대해서는 141명의 부모가 보고하였는데, 말더듬에 대해 언어치료를 받은 적이 있는 아동은 총 116명(82.3%)이었고, 말더듬에 대한 치료를 받은 적이 없는 아동은 총 25명(17.7%)이었다. 말더듬 증가 여부를 보고한 141명의 부모 중, 말더듬을 처음 발견한 시기부터 지금까지 아이의 말더듬이 증가하였다고 보고한 부모는 17명(11.2%)이었으며, 줄어들었다고 보고한 부모는 97명(63.8%), 유지되었다고 보고한 부모는 27명(17.8%)이었다.
타당도내용타당도위에서 설명한 것처럼, 내용타당도는 두 가지 방법, 즉 CVI와 FVI로 측정하였다. 말더듬 전문가(언어재활사) 4명과 일반 아동 부모 6명의 답을 모두 합쳤을 때, 7번 문항을 제외하고(FVI=.70), 모든 문항이 .80 이상의 FVI를 보였다. 마찬가지로, 말더듬 전문가 4명과 일반 아동 부모 6명의 답을 모두 합쳤을 때, 대표성과 명료도에서 모든 문항이 .80 이상의 CVI를 보였다.
구성타당도내용타당도 결과, 요인을 적절히 측정하지 못하는 것으로 판단된 7번 문항을 제외한 14개의 문항으로 탐색적 요인분석을 하였다. 탐색적 요인분석 결과, 4개의 Eigen value가 1보다 높아, 총 4개의 요인이 추출되었다(Figure 1). 각 요인에 대한 요인적재량(factor loadings)은 2개의 문항 (13번, 14번)을 제외하고 모두 최소 .4 이상이었다. 추출된 4개의 요인 중 한 개의 요인에는 한 문항만(1번 문항) .4 이상으로 적재되었고, 이 문항은 연구자가 처음에 분류한 세 개의 요인에는 적재량이 .3 이하로 낮은 것으로 나타났다. 1번, 13번, 14번, 15번을 제외하고 대부분 연구자가 분류한 구성항목과 일치하였다(Table 2). 13번 문항은 원래 ‘자녀의 말더듬에 대한 걱정’요인로 분류되었으나, 요인분석 결과 ‘자녀와 말하는 즐거움’요인에 더 높은 적재량을 보였다(-.299). 14번, 15번은 원래 ‘자녀의 말더듬에 대해 수용하는 태도’요인으로 분류되었으나, 요인분석 결과, 14번은 ‘자녀의 말더듬에 대한 걱정’요인에 더 높은 적재량을 보였고(.350), 15번 문항은 ‘자녀와 말하는 즐거움’요인에 더 높은 적재량(.412)을 보였다. 모든 요인 간 상관계수가 낮아(.90 이하), 세 요인은 각각 비교적 독립된 요인으로 간주할 수 있다(Table 3).
동시적타당도동시적타당도를 구하기 앞서, 요인적재량이 .4보다 낮은 13번과 14번 문항과 제 4의 요인으로 단독 적재된 1번 문항을 제외하였다. 그리고 15번 문항은 요인분석의 결과에 따라 ‘자녀와 말하는 즐거움’요인(JT)으로 재분류하였다. 그리고, 각 요인별 점수를 산출한 후, ACYS는 기존의 설문지인 Palin PRS의 두 문항의 점수와 비교하여 동시적타당도를 구하였다. AYCS요인 점수는 Millard와 Davis (2016)의 방식에 따라, 각 문항의 원점수를 요인적재량으로 곱하여, 요인적재량이 높은 문항에 가중치를 두었고, 총 가중된 요인 점수를 요인 내 총 문항수로 나누어 요인점수를 구하였다.
스피어만 상관계수(Spearman’s rho)를 구한 결과(Table 4), 예상한 바와 같이, ACYS의 ‘자녀의 말더듬에 대한 걱정’요인(WS)과 PPRS의 두 문항은 정적 상관관계를 보였고, ‘자녀의 말더듬에 대해 수용하는 태도’요인(AS)과 PPRS의 두 문항과는 부적 상관관계를 보였다(WS: rs =.534, p<.001, AS: rs =-.355, p<.001). 그러나 AYCS의 ‘자녀와 말하는 즐거움’요인(JT)은 PPRS의 부모의 걱정과 관련된 PPRS의 두 문항과 유의미한 상관관계를 보이지 않았다(rs =.037, p=.664).
신뢰도내적일관성 신뢰도내용타당도 분석을 통해 7번 문항을 제외하고, 요인분석을 통해 요인적재량이 낮은 두 개의 문항 (13번, 14번)과 독립된 문항(1번)을 제외한 후 남은 11문항을 바탕으로, 신뢰성을 확인하기 위하여 크론바알파(Cronbach’s α) 신뢰계수를 구하였다. 그 결과 세 개의 요인 모두에서, 크론바알파 신뢰계수가 Nunnally와 Bernstein (1994)이 제시한 기준인 .70을 넘는 것으로 나타나 내적일관성이 확보되어 충분한 신뢰성이 있는 것으로 나타났다(Table 5).
검사-재검사 신뢰도12명의 말더듬 아동의 부모가 ACYS 문항에 일관성 있게 대답하는지 확인하기 위하여 2주에서 한 달 간격으로 설문을 다시 하도록하여 평가자 내 상관분석(IntraClass Correlation with Two-Way Mixed and Absolute Agreement, ICC)을 실시하였다. 신뢰도 계수(ICC)는 ‘자녀의 말더듬에 대해 수용하는 태도’ 요인(AS)은 .523으로 중간 정도(moderate reliability)의 상관을 보였으며, ‘자녀의 말더듬에 대한 걱정’ 요인(WS)은 .801 (good reliability), ‘자녀와 말하는 즐거움’ 요인(JT)은 .936으로 높은 상관(excellent reliability)을 보였다(Koo & Li, 2016).
요인점수 및 해석Millard와 Davis (2016)의 방식에 따라, 각 요인점수는 요인분석에 근거하여 각 문항의 원점수를 요인적재량으로 곱하여, 요인적재량이 높은 문항이 총 요인점수에 가장 많은 영향을 끼치도록 하였다. 그리고 총 가중된 요인점수를 요인 내 총 문항 수로 나누어 요인 점수를 구하였다.
각 문항에 대한 가중치를 두지 않았을 때와 가중치를 두었을 때의 평균과 표준편차는 Table 6에 제시하였다. 요인점수, 백분위점수 및 결과 해석은 ‘말더듬과 함께하는 사회적협동조합’ 홈페이지의 자료실(https://withstuttering.modoo.at/?link=39uo900r)에서 구할 수 있다.
각 요인에 대한 정상분포 검사(Kolmogorov-Smirnov) 결과, ‘자녀의 말더듬에 대해 수용하는 태도’(AS)와 ‘자녀와 말하는 즐거움’ (JT) 요인은 정상분포의 형태를 띠고 있는 것으로 나타났다(AS: Kolmogorov-Smirnov statistic=.072, p=.050, JT: KolmogorovSmirnov statistic=.058, p=.200). 이와는 반대로, ‘자녀의 말더듬에 대한 걱정’(WS)은 평균이 중앙값보다 높은 음의 왜도값(negative skewness)을 가져, 전반적으로 자녀의 말더듬에 대한 부모의 걱정이 중간 이상으로 높은 것으로 보인다(WS: Kolmogorov-Smirnov statistic=.138, p<.001).
논의 및 결론본 연구는 자녀의 말더듬에 대한 양육자의 태도(AYCS, Attitude toward Your Child’s Speech) 검사도구를 말더듬 아동 부모에게 적용하기 위한 기초연구이며, 말더듬 전문가(언어재활사)와 말더듬 아동 부모를 대상으로 검사도구의 타당도와 신뢰도를 검증하였다.
AYCS의 타당도 검증타당도 검증 결과, 1번, 7번, 13번, 14번 문항이 제외되었고, 최종 11문항으로 신뢰도를 구하였고, 요인점수를 산출하였다.
1번 문항(내 아이의 말더듬은 자연히 없어질 것이다)이 세 개의 구성요인으로 분류된 다른 문항들과 연관이 낮아 또 다른 구성요인으로 적재된 이유는, 아마도 이 문항이 세 개의 요인과는 다른 구성요인을 측정하는 문항이기 때문일 수 있다. 원래, 이 문항은 ‘자녀의 말더듬에 대해 수용하는 태도’ 요인에 포함되었으나, 아이의 말더듬이 자연히 없어질 것이라는 기대는 어쩌면 아이의 말더듬을 수용하는 여부와는 상관없이 부모가 아이 유창성에 대해 현실적인 기대를 갖고 있는지를 보여주는 것일 수 있다. 이 문항에 대해 동의하는 부모는 언뜻 보기에 자녀의 말더듬에 대해 걱정하지 않는 것으로 보일 수 있으나, 이 중 일부는, 오히려 말더듬으로 인한 스트레스가 오히려 높아서, 그것을 줄이기 위해 말더듬에 대해 가볍게 생각하는 것처럼 행동한 것일 수 있다. 예를 들어, Plexico와 Burrus (2012)는 아이의 말더듬이 자연스럽게 없어질 것이라는 기대는 말더듬 초기 아동의 부모가 보이는 대처방식(coping skills) 중 하나인 ‘부인(denial) 및 최소화(minimization)’로 볼 수 있다고 했으며, 이러한 태도는 부모로 하여금 아이의 언어치료에 대해 적극적으로 알아보거나 참여하지 않게 할 수 있다(McLelland & Cooper, 1978). 이 문항은 AYCS가 측정하는 세 요인과 관련이 적은 것으로 나타나, 요인점수 산출 시 제외되었지만, 앞으로 부모의 이러한 태도가 부모의 치료개입에 어떠한 영향을 미치는지에 대한 연구는 계속 필요할 것으로 보인다.
한편, 7번 문항(나는 내 아이의 말더듬이 신경 쓰이지 않는다)이 말더듬 전문가로부터 낮은 내용타당도 점수를 받은 이유는, 이 문항이 ‘자녀의 말더듬에 대해 수용하는 태도’와 ‘자녀의 말더듬에 대한 걱정’ 요인에 모두 관련이 있기 때문일 수 있다. 즉 ‘신경이 쓰이지 않는다’는 표현은 감정적으로 동요되지 않는다는 뜻으로 읽힐 수도 있고, 또는 믿음의 측면에서 말더듬이 큰 문제가 아니라 생각하여 신경을 쓰지 않는다는 의미로 읽힐 수도 있다. 전자의 경우로 해석한 전문가는 ‘자녀의 말더듬에 대한 걱정’으로 이 문항을 분류하였을 수 있고, 후자의 경우로 해석한 전문가는 ‘자녀의 말더듬에 대해 수용하는 태도’로 이 문항을 분류하였을 수 있다. 문항 해석의 모호성으로 이 문항은 요인점수 산출 시 제외하는 것이 합리적인 것으로 보인다.
마지막으로, 13번 문항(내 아이가 사람들 앞에서 말을 더듬을 때 나는 부끄럽다)과 14번 문항(나는 내 아이가 항상 유창하게 말하면 좋겠다)의 구성항목이 연구자의 의도와 다르게 뚜렷한 요인적재를 보이지 않은 이유는 다음과 같이 추측해 볼 수 있다. 첫째, 13번 문항은 원래 ‘자녀의 말더듬에 대한 걱정’ 요인으로 분류하였으나, 13번 문항이 측정하는 ‘부끄러움’의 감정이, 같은 요인 내 다른 문항에서 측정하는 감정인 ‘불안’ 및 ‘죄책감’과는 다소 다른 감정이기 때문에 하나로 묶기 어려울 수 있다. 실제, Scarnier, Schmader와 Lickel (2009)은 아이의 문제에 대한 부모의 죄책감과 부끄러운 감정은 두 개의 다른 감정으로, 서로 다른 동기를 가지고 있다고 하였다. 즉, 자녀의 잘못된 행동에 대한 부끄러움은 부모가 아이와 정체성을 공유할 때(Shared identity) 느끼기 쉽고, 자녀의 잘못된 행동에 대한 죄책감은 부모가 자녀의 행동을 통제해야 하는 책임감이 있다고 생각할 때 느끼기 쉽다고 하였다. 한편, 14번 문항은 원래 ‘자녀의 말더듬에 대해 수용하는 태도’로 분류하였는데, 이 분류보다는 ‘자녀의 말더듬에 대한 걱정’에 유의미하지 않지만 더 높은 적재를 보였다. ‘자녀의 말더듬에 대한 걱정’은 부모의 감정을 주로 측정하고 있는 반면, ‘자녀의 말더듬에 대해 수용하는 태도’는 자녀의 말더듬에 대한 믿음 및 생각을 주로 측정한다고 본다면, 14번 문항은 말더듬에 대한 믿음(belief)보다는 부정적인 감정(feelings)과 더 관련이 있을 수도 있다.
또한, 타당도 검증 결과 제외된 4개의 문항이 한국 부모가 가지고 있는 문화적인 속성과 관련이 있는지 알아보기 위해 다른 문화권에서 실행한 검사에서도 같은 패턴을 보이는지 확인할 필요가 있다. 현재 미국에서 이 검사를 미국 말더듬 아동의 부모에게 실시하여 데이터를 모으고 있으므로, 이 가정에 대한 검증이 이루어질 것으로 기대한다.
한편, 동시적타당도를 알아보기 위해 ACYS를 기존의 설문지인 PPRS의 부모의 걱정과 관련된 점수와 비교한 결과, ACYS의 ‘자녀의 말더듬에 대한 걱정’ 요인과 ‘자녀의 말더듬에 대해 수용하는 태도’ 요인이 PPRS의 부모의 걱정과 관련된 두 문항과 유의미한 상관을 보여, 높은 동시적타당도를 보이는 것으로 나타났다. 다만, ‘자녀의 말더듬에 대한 걱정’ 요인(rs =.534)에 비해, ‘자녀의 말더듬에 대해 수용하는 태도’ 요인의 상관계수는 상대적으로 낮았는데(rs = -.355), 이는 PPRS의 두 문항과 말더듬에 대한 걱정 요인이 모두 자녀의 말더듬에 대한 걱정이라는 감정을 측정한다는 점에서 서로 직접적인 상관이 있는 반면, ‘자녀의 말더듬에 대해 수용하는 태도’ 요인은 말더듬에 대한 생각과 믿음을 측정하는 것이기 때문에, 감정을 측정하는 PPRS의 두 문항과는 관련은 있으나 말더듬에 대한 걱정요인보다는 상관이 적은 것으로 사료된다.
ACYS의 신뢰도 검증내용타당도 분석과 탐색적 요인분석 결과를 바탕으로 제외된 4문항 이외의 남은 11문항을 바탕으로, 내적일관성을 확인하기 위하여 크론바알파(Cronbach’s α) 신뢰계수를 구하였다. 그 결과, 세 개의 요인 모두에서, 크론바알파 신뢰계수가 Nunnally와 Bernstein (1994)이 제시한 기준인 .70을 충족시켜 요인 내 문항 간 내적일관성이 있는 것으로 나타났다. 또한, 평가자 내 검사-재검사 상관분석을 실시한 결과, 세 요인 모두 중간에서 높은 정도의 신뢰도를 보이는 것으로 나타났다(Koo & Li, 2016). 이를 종합하여 볼 때, AYCS는 비교적 높은 신뢰도를 보이는 것으로 보인다.
임상적 의의본 연구의 임상적 의의는 다음과 같다. 우선, 이 개발된 설문지를 이용하여, 언어재활사는 말더듬 아동 부모의 부모교육 시 부모의 태도 변화를 모니터링할 수 있다. 지금까지 부모교육에서는 객관화되고 신뢰도와 타당도가 확립된 측정도구가 없어서 언어재활사의 임상적 판단에 의존할 수밖에 없었다. 하지만 이러한 방법은 한계가 있을 수밖에 없는데, 치료실 내의 짧은 상호작용 동안에 부모의 태도 변화를 알기는 어렵고, 내면화된 태도는 직접 관찰이 어렵기 때문에 부모 스스로의 보고를 통한 결과가 더 정확할 수 있기 때문이다. 또한 단순히 질문을 통해 부모의 태도를 아는 방법도, 동일한 질문을 했는지 확인하기 어렵고, 어느 정도의 변화가 있는지 측정 할 수 없다. 이에 비해, AYCS는 여러 평가시점에도 동일한 질문을 할 수 있고, 1-9점 척도의 선택지를 제공하여, 객관적인 수치를 통해 변화의 정도를 설명할 수 있게 한다. 즉 ACYS는 언어재활사들에게 부모교육의 효과를 지속적으로 모니터링할 수 있도록 해주며, 이는 언어재활사의 말더듬 치료 목표를 단순히 아동의 유창성을 증진시키는 것을 넘어, 부모의 변화 역시 치료성공의 잣대로 고려할 수 있게 해줄 것으로 기대한다.
향후 연구제안개발된 설문지로 할 수 있는 연구는 다음과 같다.
첫째, 말더듬 아동 부모의 말더듬에 대한 긍정적 및 부정적 태도와 아동의 말더듬의 발달과 회복에 대한 태도 간 관계를 연구할 수 있다. 예를 들어, 말더듬 아동 부모의 긍적적 태도가 자녀의 말더듬 치료 결과에 미치는 영향을 연구하여, 부모교육에서 이 점을 다루는데 중요한 근거를 제시할 수 있다.
둘째, 치료회기가 진행됨에 따라 부모의 말더듬에 대한 태도 변화를 측정하여, 부모교육 효과를 객관적으로 측정할 수 있다.
셋째, 아동의 기질과 부모의 태도 간 상호작용이 아이의 말더듬 발달과 의사소통태도에 어떻게 영향을 주는지 알아볼 수 있다.
연구의 제한점연구의 제한점은 다음과 같다. 첫째, 알파계수는 문항들이 측정하는 진점수(true score)는 같다는 것을 기본 가정으로 하고, 최저의 내적일관성 값을 나타낸다. 추후 확인적 요인분석을 통해, 가정이 좀 더 완화된 상태에서 보는 Omega 지수를 구하면, 내적일관도가 좀 더 높은 값이 될 것으로 기대한다. 따라서, 추후 수집된 자료를 바탕으로 확인적 요인분석을 하여 재확인이 필요할 것으로 생각된다. 둘째, 검증에 사용된 설문지는 1점에서 9점 척도로 1점은 “동의하지 않는다”이고 9점은 “동의한다”로 한 두개의 앵커(anchor)만을 가지고 있다. 이 방법은 PPRS 온라인 판에서도 사용한 방법이긴 하지만, 참가자들에 따라서 양끝으로 치우치는 경향을 보일 수도 있다. 따라서 다음 연구에서 이러한 경향이 확인된다면, 더 다양한 앵커를 사용한 개정판을 만드는 것이 권고된다.
결론본 연구는 자녀의 말더듬에 대한 양육자의 태도 검사의 신뢰도와 타당도를 검증하였다. 초기 제작된 15문항에서 타당도에서 문제를 보이는 4문항을 제외한 총 11문항이 높은 타당도와 신뢰도를 보이는 것으로 나타났다. 이렇게 신뢰도와 타당도가 검증된 검사를 통해, 자녀의 말더듬에 대한 양육자의 태도에 대해 객관적으로 측정함으로써 언어재활사는 한국 부모의 특성에 맞는 효과적인 부모교육을 할 수 있고, 이 검사를 사용한 여러 연구를 통해 아동의 말더듬과 말더듬에 대한 태도 변화의 원인과 과정에 대한 이해를 높일 수 있을 것으로 기대한다.
Table 1.Table 2.Table 3.
Table 4.
REFERENCESAl-Khaledi, M.., Lincoln, M.., McCabe, P.., Packman, A., & Alshatti, T. (2009). The attitudes, knowledge and beliefs of Arab parents in Kuwait about stuttering. Journal of Fluency Disorders, 34(1), 44–59.
Berquez, A., & Kelman, E. (2018). Methods in stuttering therapy for desensitizing parents of children who stutter. American Journal of Speech-Language Pathology, 27(3S), 1124–1138.
Carson, J. L., & Parke, R. D. (1996). Reciprocal negative affect in parent‐child interactions and children’s peer competency. Child Development, 67(5), 2217–2226.
Coleman, C. (2018). Community-centered assessment and treatment. In B. J. Amster, & E. R. Klein (Eds.), More than fluency: the social, emotional, andcvognitive dimensions of stuttering (pp. 215–230). Plural Publishing.
Crowe, T. A., & Cooper, E. B. (1977). Parental attitudes toward and knowledge of stuttering. Journal of Communication Disorders, 10(4), 343–357.
Davis, L. L. (1992). Instrument review: getting the most from a panel of experts. Applied Nursing Research, 5(4), 194–197.
Manning, W. H., & DiLollo, A. (2017). Clinical decision making in fluency disorders Plural Publishing.
Fredrickson, B. L. (2001). The role of positive emotions in positive psychology: the broaden-and-build theory of positive emotions. American Psychologist, 56(3), 218–226.
Guitar, B. (2019). Stuttering: an integrated approach to its nature and treatment (5th ed .). Lippincott Williams & Wilkins.
IPATHA. (2013). International project on attitudes toward human attributes. Retrieved from http://stutteringattitudes.com/top_poshas/overview.html.
Kelman, E., & Nicholas, A. (2020). Palin parent-child interaction therapy for early childhood stammering Routledge.
Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
McCoach, D. B.., Gable, R. K., & Madura, J. P. (2013). Instrument development in the affective domain: School and corporate applications (3rd ed .). New York, NY: Springer.
McLelland, J. K., & Cooper, E. B. (1978). Fluency-related behaviors and attitudes of 178 young stutterers. Journal of Fluency Disorders, 3(4), 253–263.
Millard, S. K., & Davis, S. (2016). The Palin Parent Rating Scales: parents’ perspectives of childhood stuttering and its impact. Journal of Speech, Language, and Hearing Research, 59(5), 950–963.
Millard, S. K.., Zebrowski, P., & Kelman, E. (2018). Palin parent–child interaction therapy: the bigger picture. American Journal of Speech-Language Pathology, 27(3S), 1211–1223.d.
Newhouse, N. (1990). Implications of attitude and behavior research for environmental conservation. The Journal of Environmental Education, 22(1), 26–32.
Nunnally, J. C., & Bernstein, I. H. (1994). Psychological Theory (3rd ed .). New York: McGrawHill.
Plexico, L. W., & Burrus, E. (2012). Coping with a child who stutters: a phenomenological analysis. Journal of Fluency Disorders, 37(4), 275–288.
Rubio, D. M.., Berg-Weger, M.., Tebb, S. S.., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94–104.
Scarnier, M.., Schmader, T., & Lickel, B. (2009). Parental shame and guilt: distinguishing emotional responses to a child’s wrongdoings. Personal Relationships, 16(2), 205–220.
St. Louis, K. O. (2011). The public opinion survey of human attributes-stuttering (POSHA-S): summary framework and empirical comparisons. Journal of Fluency Disorders, 36(4), 256–261.
St. Louis, K. O.., Kuhn, C. D., & Lytwak, L. (2015). The Appraisal of the Stuttering Environment (ASE): a new tool to measure stuttering attitudes in the client’s environment. In K. O. St. Louis (Ed.), Stuttering meets stereotype, stigma, and discrimination: an overview of attitude research (pp. 255–273). Morgantown, WV: West Virginia University Press.
St. Louis, K. O.., Lubker, B. B.., Yaruss, J. S., & Aliveto, E. F. (2009). Development of a prototype questionnaire to survey public attitudes toward stuttering: reliability of the second prototype. Contemporary Issues in Communication Science and Disorders, 36, 101–107.
St. Louis, K. O.., Reichel, I. K.., Yaruss, J. S., & Lubker, B. B. (2009). Construct and concurrent validity of a prototype questionnaire to survey public attitudes toward stuttering. Journal of Fluency Disorders, 34(1), 11–28.
St. Louis, K. O.., Weidner, M. E., & Mancini, T. M. (2016). Comparing parents’ and young children’s attitudes toward stuttering. Journal of Speech Pathology & Therapy, 1(1), 1–11.
Vanryckeghem, M., & Brutten, G. J. (2007). KiddyCAT© communication attitude test for preschool and kindergarten children who stutter San Diego, CA: Plural Publishing.
Yaruss, J. S.., Coleman, C. E., & Quesal, R. W. (2012). Stuttering in school-age children: a comprehensive approach to treatment. Language, Speech, and Hearing Services in Schools, 43(4), 536–548.
Yaruss, J. S., & Reardon-Reeves, N. (2017). Early childhood stuttering therapy: a practical guide Stuttering Therapy Resources, Incorporated.
|
|