研究の目的
本研究の目的は、スピーキング伝達能力客観テスト（Objective Communicative Speaking Test; OCST）の社会的認知的枠組みによる基準関連妥当性を裏付ける根拠を探求することだった。この目的に向けて、被験者のOCST能力推定値と従来のルーブリクに基づく評価者の評価されたパフォーマンスビデオを比較分析した。

被験者
被験者は九州産業大学の英語学生１７名と慶應義塾大学環境情報学部の英語学生２名（N=19）だった。パフォーマンスビデオデータは２０１３年のOCST開発研究で収集された。

試験
OCSTはタブレットPCを用いた計時情報ギャップ型テストである。伝統的な口頭運用能力テストの構成要素がテスト所要時間の原因になる事を前提に、発話者が評価者に新しい情報を述べる時間を計る。パフォーマンスビデオは神田外語大学の英語スピーキングルーブリクで評価された。

方法
パフォーマンスビデオはMoodleオンライン学習管理システムで配信された。３名の経験豊かな研究協力者はパフォーマンスビデオを「発音」、「流ちょうさ」、「語彙文法」、「談話能力」をそれぞれ５点評定尺度で評価した。評価データは多相ラッシュ・モデルで解析された。ピアソンの積率相関係数で評価者の公正化された平均得点とOCST能力推定値の統計学的な関係を分析した。

結果
「語彙文法」と「談話能力」の評価はOCSTスコアと最も強い相関関係があった。相関係数はそれぞれ.48 (p = .043)と.52 (p = .025)だった。

結論
OCSTスコアは受験者の語彙文法能力と談話能力に最も強い影響があるように見える。OCSTは評価者に基づいたスピーキングテストより速さと客観性があるために開発されたので、この結果は基準関連妥当性を裏付ける根拠と判断できる。さらに、結果はOCSTの有用性を立証しているので、今後、大規模追跡研究の継続が求められる。
Research Objective
The present research sought evidence of criterion-related validity of the Objective Communicative Speaking Test (OCST) within the socio-cognitive framework for test validation by performing comparative analyses between the OCST ability estimates and more traditional, rubric-based human ratings of video-recorded OCST performances.

Participants
The participants were 17 students of English at Kyushu Sangyo University, and 2 students of English in the Faculty of Environment and Information Studies at Keio SFC (N = 19) whose performances were collected in 2013 during the initial development of the OCST (Batty & Stewart, 2016).

Instruments
The OCST is a timed information-gap task-based test delivered via tablet computers. The OCST measures the time required for a speaker to relate a piece of information unknown to the rater, on the assumption that more traditional components of oral proficiency will contribute to time to completion. The performance videos were rated using Kanda University of International Studies' speaking rubrics.

Method
Videos of student performances were presented to three research assistants with experience in speaking rating via the Moodle learning management system. The participant performances were rated on a 5-point rating scale for pronunciation, fluency, lexicogrammar, and discourse skill. Ratings were analyzed with many-facet Rasch modeling. Relationships between the human fair average scores and OCST scores were analyzed via Pearson correlations.

Results
Ratings on lexicogrammar and discourse were found to correlate most strongly with OCST scores, with correlation coefficients of .48 (p = .043) and .52 (p = .025) respectively. 

Conclusions
It appears that the OCST scores are most influenced by examinee lexicogrammar and discourse skill. As the OCST was developed as a test of communicative skill that is faster and more objective than human-rated assessments, this finding can be taken as evidence of criterion-related validity. The findings demonstrate the utility of the OCST and call for a larger followup study to be carried out.