データセット作成の目的

生成AIは、すでに大学教育において大きなインパクトをもたらしています。 しかし、AIを利用していない教員も少なくなく，AIの可能性と対応の必要性が十分に認識されていません。 そこで、生成AIの能力の評価を専門家がおこなうために生成AIを適用した仮想（合成）事例集（データセット）を作成しました。このデータセットには、さまざまな生成AIモデルによって生成された33の学問分野のレポート課題，レポート，評価基準，レポート評価が含まれます。

データの種類

このデータセットには33分野について、以下の生成データおよび生成に用いたプロンプトが含まれています。シラバスのみGemini 1.5 Flashによる生成のみで、他のデータは複数の生成AIによって生成されています。

データの種類 参照するデータ 備考
シラバス 教育課程編成上の参照基準 (日本学術会議) Gemini 1.5 Flashのみで生成
レポート課題 シラバス  
評価基準 レポート課題  
レポート レポート課題  
レポート評価 レポート、レポート課題、評価基準  

レポート課題については、成瀬　(2022) に基づき、レポートの論証の自由度および主張内容の自由度の高低による4種類を生成しています。 レポート課題を元に生成される評価基準、レポート、レポート評価も1分野についき4件ずつ生成されます。

  1. 説明型: 教材や教員の説明内容について，改めて説明することを求める
  2. 応用型: 事例や経験に対して知識や理論を適用して考察することを求める
  3. 意見型: 授業で学んだ内容について意見や主張を述べることを求める
  4. 探究型: 授業内容に関連する問いを立てて，その問いに対する答えを探究する

生成AIモデル

シラバス以外の生成には3ベンダーの7モデル（すべてAPI版）を用いています。生成のパラメータは指定せず、APIのデフォルト値でテキストを生成しています。

ベンダー モデル名 モデルID
OpenAI gpt-4o gpt-4o-2024-08-06
  gpt-4o-mini gpt-4o-mini-2024-07-18
  o3-mini (high) o3-mini-2025-01-31
  o1 o1-2024-12-17
Google Gemini 1.5 Pro gemini-1.5-pro-002
  Gemini 1.5 Flash gemini-1.5-flash-002
Anthropic Claude 3.5 Sonnet anthropic.claude-3-5-sonnet-20241022-v2:0
  Claude 3.5 Haiku anthropic.claude-3-5-haiku-20241022-v1:0

参考文献

  • 岩田貴帆, 野瀬由季子, 時任隼平 (2024) レポート課題に関する大学教員を対象とした質問紙調査. 日本教育工学会2024年春季全国大会(第44回大会)講演論文集,pp.501-502
  • 成瀬尚志 (2022) レポート課題を分類する. In 井下千以子(編)思考を鍛えるライティング教育:書く・読む・対話する・探究する力を育む. 慶應義塾大学出版会,pp.155-172
  • 武田俊之, 岩田貴帆, 時任隼平 (2024) 生成AIによる仮想レポート課題データセットの検討. 日本教育工学会2024年秋季全国大会(第45回大会)講演論文集,pp.643-644