诊断|中科大神经网络和端到端训练框架，探究教育情境对学生能力的影响( 四 )
文章图片
表格 1：数据集统计
1. 学生表现预测
学生真实的知识点熟练度标签是无法获取的 ， 因此该研究采用间接衡量诊断结果准确性的方法 ， 即使用学生的诊断结果来预测学生的在非训练数据中试题的得分 ， 这也是传统认知诊断模型的常规做法 。 该研究实验的 baseline 包括两类 ， 一类是没有情境信息强化的传统认知针对模型（如 NeuralCD ， IRT 以及 MIRT） ， 一类是基于该研究的二阶段框架 ， 使用传统的上下文建模网络（如 Deep FM 与 NeuralFM 网络）对情境信息影响进行建模的模型 。 实验的结果如下表 ， 该研究的 ECD-NeuralCD、ECD-IRT、ECD-MIRT 模型在不同区域的数据集中相较两类 baseline 取得了较大的提升 。 此外 ， 随机模型（random）在不同数据集上 AUC 都在 0.5 左右 ， 验证了数据集的样本分布情况是合理的 。
文章图片
表格 2：学生表现预测
2. 消融实验
为了证明情境建模网络结构的合理性 ， 该研究通过使用求和层代替情境建模网络中的各个网络层进行了消融实验 ， 结果如下表 。 任何一层网络的取代都会降低最终的实验效果 ， 并且聚合层的影响最为明显 。
文章图片
表格 3：消融实验
3. 参数解释性实验
为了进一步说明模型的可解释性 ， 该研究还做了以下参数解释性实验：个性向量的可视化实验 ， 过滤层的注意力模块可视化实验 ， 情境信息影响的外显特质的权重的统计实验 。
1)个性向量的可视化实验
该研究首先将学生个性向量使用 t-SNE 进行降维 ， 并可视化为散点；接着对于每个散点 ， 根据该学生在练习上的平均得分率（0~1）进行染色 ， 可视化如图 。 可以看到 ， 学习的个性向量的分布与学生的平均得分率之间是存在相关性的 ， 这也与研究者的直觉一致 。
文章图片
图表 6：学生个性向量可视化分析
2)过滤层注意力模块可视化
该研究选取了部分学生的情境输入的注意力权重进行可视化 ， 其中 NO.0~4 的学生是平均得分率低的学生 ， NO.5~9 的学生有较高的得分率 。 研究者将其对应的情境输入编码（同一情境信息 ， 编码越大的输入代表它对于学生的知识状态影响越积极）也可视化在图中 。 从 “Books” 信息的横向对比 ， 可以看到低得分率的学生关注于较为消极的输入 ， 而高得分率的学生则关注较为积极的输入；从 4、8、9 号学生的纵向对比 ， 也可以得到类似的结论 。 这说明注意力模块的确模拟了情境信息与学生个性之间的相性 。
文章图片
图表 7：注意力可视化
3)情境影响的权重
该研究统计了不同 ECD 模型实现中 ， 以及 ECD-MIRT 中部分地区的各个学生参数的分布情况 ， 结果绝大多数d_t都在 0.5 左右（0.4~0.6） ， 说明情境信息影响的外显特质与学生历史学习情况的内在特质对学生最终的知识状态都有重要的影响 。
文章图片
图表 8：情境权重分析
4. 地区对比实验
最后 ， 该研究也基于聚合（context aggregation）层中不同内容的情境影响的注意力权重 ， 统计了各个学生 top-3 中要的情境信息 ， 并分地区进行统计 ， 结果如下表 。 其中有一些有意思的发现 ， 教育资源相关情境信息在所有区域都很重要 ， 例如家庭条件（Home ESCS）以及信息通信技术（ICT）相关的情境(PS：United States 区域缺少该部分的情境信息) 。 中韩地区会关注父母的受教育程度 ， 研究者推测这可能与中韩相似的高考制度与氛围有关 。 而欧美地区对于在校学习相关的“School learning“与”Teacher Attitude“会比较关注 ， 而亚洲地区对它们则不那么关注 ， 研究者推测这可能与教学模式与教学目标之间的差异有关 。
推荐阅读
- 清华大学|“穷清华，富北大，不要命的中科大”是什么意思？三校关系如何？
- 考试|中国高校探花之谜揭秘！浙大、上交大、复旦、中科大、南大5强争雄！谁将脱颖而出？
- 高校|奇葩说，浙大、上海交大、复旦、中科大、南大五校实力之比较！
- 诊断|曾被医生诊断10年后可能瘫痪，30多年后……
- 考试|【临床】执业医师技能考试—外科学其他篇病例分析——疾病诊断公式
- 中小学|国内“百强高校”大洗牌，中科大跻身前三，清华稳坐榜首之位
- 小学生|曾被诊断活不过3岁、如今开着“变形金刚”去上学！这个上海7岁男孩帅呆了
- 高校|化学学科高校排名大洗牌，中科大力压清北夺冠，复旦挺进前三
- 高校|我国百强大学排名洗牌，浙大排名争议较大，中科大位列第三
- 高校|安徽高校2021年竞争力排名：中科大实至名归，安徽师范大学居第4