慶應義塾大学学術情報リポジトリ(KOARA)KeiO Associated Repository of Academic resources

慶應義塾大学学術情報リポジトリ(KOARA)

ホーム  »»  アイテム一覧  »»  アイテム詳細

アイテム詳細

アイテムタイプ Article
ID
2019000007-20190148  
プレビュー
画像
thumbnail  
キャプション  
本文
2019000007-20190148.pdf
Type :application/pdf Download
Size :123.3 KB
Last updated :Dec 16, 2022
Downloads : 66

Total downloads since Dec 16, 2022 : 66
 
本文公開日
 
タイトル
タイトル Criterion-related validity of the objective communicative speaking test  
カナ  
ローマ字  
別タイトル
名前  
カナ  
ローマ字  
著者
名前 Batty, Aaron Olaf  
カナ バティ, アーロン  
ローマ字  
所属 慶應義塾大学看護医療学部准教授  
所属(翻訳)  
役割 Research team head  
外部リンク  
 
出版地
 
出版者
名前 慶應義塾大学  
カナ ケイオウ ギジュク ダイガク  
ローマ字 Keiō gijuku daigaku  
日付
出版年(from:yyyy) 2020  
出版年(to:yyyy)  
作成日(yyyy-mm-dd)  
更新日(yyyy-mm-dd)  
記録日(yyyy-mm-dd)  
形態
1 pdf  
上位タイトル
名前 学事振興資金研究成果実績報告書  
翻訳  
 
 
2019  
 
開始ページ  
終了ページ  
ISSN
 
ISBN
 
DOI
URI
JaLCDOI
NII論文ID
 
医中誌ID
 
その他ID
 
博士論文情報
学位授与番号  
学位授与年月日  
学位名  
学位授与機関  
抄録
研究の目的
本研究の目的は、スピーキング伝達能力客観テスト(Objective Communicative Speaking Test; OCST)の社会的認知的枠組みによる基準関連妥当性を裏付ける根拠を探求することだった。この目的に向けて、被験者のOCST能力推定値と従来のルーブリクに基づく評価者の評価されたパフォーマンスビデオを比較分析した。

被験者
被験者は九州産業大学の英語学生17名と慶應義塾大学環境情報学部の英語学生2名(N=19)だった。パフォーマンスビデオデータは2013年のOCST開発研究で収集された。

試験
OCSTはタブレットPCを用いた計時情報ギャップ型テストである。伝統的な口頭運用能力テストの構成要素がテスト所要時間の原因になる事を前提に、発話者が評価者に新しい情報を述べる時間を計る。パフォーマンスビデオは神田外語大学の英語スピーキングルーブリクで評価された。

方法
パフォーマンスビデオはMoodleオンライン学習管理システムで配信された。3名の経験豊かな研究協力者はパフォーマンスビデオを「発音」、「流ちょうさ」、「語彙文法」、「談話能力」をそれぞれ5点評定尺度で評価した。評価データは多相ラッシュ・モデルで解析された。ピアソンの積率相関係数で評価者の公正化された平均得点とOCST能力推定値の統計学的な関係を分析した。

結果
「語彙文法」と「談話能力」の評価はOCSTスコアと最も強い相関関係があった。相関係数はそれぞれ.48 (p = .043)と.52 (p = .025)だった。

結論
OCSTスコアは受験者の語彙文法能力と談話能力に最も強い影響があるように見える。OCSTは評価者に基づいたスピーキングテストより速さと客観性があるために開発されたので、この結果は基準関連妥当性を裏付ける根拠と判断できる。さらに、結果はOCSTの有用性を立証しているので、今後、大規模追跡研究の継続が求められる。
Research Objective
The present research sought evidence of criterion-related validity of the Objective Communicative Speaking Test (OCST) within the socio-cognitive framework for test validation by performing comparative analyses between the OCST ability estimates and more traditional, rubric-based human ratings of video-recorded OCST performances.

Participants
The participants were 17 students of English at Kyushu Sangyo University, and 2 students of English in the Faculty of Environment and Information Studies at Keio SFC (N = 19) whose performances were collected in 2013 during the initial development of the OCST (Batty & Stewart, 2016).

Instruments
The OCST is a timed information-gap task-based test delivered via tablet computers. The OCST measures the time required for a speaker to relate a piece of information unknown to the rater, on the assumption that more traditional components of oral proficiency will contribute to time to completion. The performance videos were rated using Kanda University of International Studies' speaking rubrics.

Method
Videos of student performances were presented to three research assistants with experience in speaking rating via the Moodle learning management system. The participant performances were rated on a 5-point rating scale for pronunciation, fluency, lexicogrammar, and discourse skill. Ratings were analyzed with many-facet Rasch modeling. Relationships between the human fair average scores and OCST scores were analyzed via Pearson correlations.

Results
Ratings on lexicogrammar and discourse were found to correlate most strongly with OCST scores, with correlation coefficients of .48 (p = .043) and .52 (p = .025) respectively. 

Conclusions
It appears that the OCST scores are most influenced by examinee lexicogrammar and discourse skill. As the OCST was developed as a test of communicative skill that is faster and more objective than human-rated assessments, this finding can be taken as evidence of criterion-related validity. The findings demonstrate the utility of the OCST and call for a larger followup study to be carried out.
 
目次

 
キーワード
 
NDC
 
注記

 
言語
日本語  

英語  
資源タイプ
text  
ジャンル
Research Paper  
著者版フラグ
publisher  
関連DOI
アクセス条件

 
最終更新日
Dec 16, 2022 10:39:24  
作成日
Dec 16, 2022 10:39:24  
所有者
mediacenter
 
更新履歴
Dec 16, 2022    インデックス を変更
 
インデックス
/ Public / 塾内助成報告書 / 学事振興資金研究成果実績報告書 / 2019年度
 
関連アイテム
 

ランキング

最も多く閲覧されたアイテム
1位 二〇二三年度三田... (734) 1st
2位 出生率及び教育投... (554)
3位 『うつほ物語』俊... (437)
4位 新自由主義に抗す... (412)
5位 731部隊と細菌戦 ... (319)

最も多くダウンロードされたアイテム
1位 Predicting crypt... (2452) 1st
2位 家族主義と個人主... (1809)
3位 731部隊と細菌戦 ... (736)
4位 新参ファンと古参... (438)
5位 猫オルガンとはな... (383)

LINK

慶應義塾ホームページへ
慶應義塾大学メディアセンターデジタルコレクション
慶應義塾大学メディアセンター本部
慶應義塾研究者情報データベース