CSTutorBench：作为基于块的编程的导师对小语言模型进行基准测试

arXiv:2607.05571v1 公告类型：新 摘要：大型语言模型作为人工智能导师越来越多地被探索，但将它们部署在 K-12 环境中引发了对隐私、成本和对专有模型的依赖的担忧。小语言模型 (SLM) 提供了一种很有前途的替代方案，但为特定的教育环境选择正确的模型仍然很困难，特别是当模型训练数据中基本上不存在目标领域（例如基于块的编程）时。我们推出了 CSTutorBench，这是一个在 VEX VR（基于块的机器人环境）中评估作为 CS 导师的语言模型的基准。该基准包括 17 个基于场景的问题，根据基于已建立的辅导和反馈研究的教学准则进行评分，并以人在回路法学硕士作为评判管道进行评估。 11 个模型（4B-120B 参数）的初步结果表明，模型在词汇和语气等表面标准上表现良好，但在更深层次的教学行为方面表现不佳，特别是避免答案泄漏和参与学生调试历史。在我们的样本中，模型族和指令调整方法似乎比单独的参数计数更能预测辅导质量，尽管模型数量较少限制了这一结论的强度。基于最近的教育提示工程研究的有针对性的提示修订提高了 11 个模型中 10 个模型的分数。这些结果强调了针对具体情况、以教学为基础的教育部署中 SLM 选择基准的价值。