在线教育带来新的数据契机（文字版）

点击这里收听本期节目音频版

编辑： 肖怡婷

本期嘉宾： 翟真 (G)

主播： 舒晏 (S), 阿拉法特 (A)

A: 教育资源越来越丰富，网上的公开课质量也越来越高，这些都降低了大家学习新知识的门槛。另外一方面，学校教室里的授课方式也有了很大的变化，比如说黑板慢慢被多媒体取代；作业，甚至一些考试都开始变成在线的形式。
S: 是的，新型的这些教育模式还给我们提供了记录以及整理很多教学相关的数据的一种方式。那么今天我们就要和大家一起来聊一聊，数据科学是怎么应用在教育这个领域的。
A: 大家好，欢迎收听德塔赛。我是阿拉法特。
S: 大家好，我是舒晏。现在坐在我身边的是我们今天的嘉宾，翟真。
G: 大家好，我是翟真。我是UCSD研二的学生。我在UCSD读本科，大四的时候开始第一次接触机器学习。那时候我是跟Sanjoy Dasgupta做的关于nearest neighbor search的一个数据结构的研究。大概一年前，两年前我开始跟Yoav Freund做教育数据挖掘的工作，我们主要focus的是在线上教育的一些数据收集，以及一些分析。
S: 我觉得这是一个趋势，在线教育真的是越来越火。像我知道的，比如有Coursera，还有国内的平台，比如说网易公开课，这些平台都让人们越来越方便地在家里就可以接触到这些其实是非常稀缺的资源的。还有像在大学里面，平时更多的是一个面对面的授课，但是现在也开始把更多的资源、更多的内容一部分转移到网上了。
A: 像翟真你们的项目，根据我的了解是更多的关注学生作业这一块对吧？
G: 是的，我们主要是让本科的一门课里面的一些学生，他们用网上的这些软件做他们的课堂作业，我们把这些作业的数据收集下来，然后进行分析。我们主要是在他们做作业的时候给他们一些提示，研究这些提示对他们的一些帮助以及对他们学习成果的影响。
A: 所以学生是在网上做他们的作业，而不是在本子上做作业，然后把它交上去。
G: 对，我们有这么一个平台给他们写作业，类似填空的方式。我们收集数据的这门课是一门统计课，是给本科刚刚接触计算机的这些学生上的。他们要做的就是在这些填空题里面填的都是数学公式，所以他们是完全可以在网上读了题之后给他一个空，让他把这数学公式在电脑里面打进去。他们并不需要写大段大段的内容，我们收集到的数据也就是他们填的这些公式。
S: 像刚才你提到了说给提示，那你们的工作更多的是在设计这些提示，并且评估这些提示上，还是更多的是在学生的学习效果上呢？
G: 在设计给什么提示，或者给什么样的提示已经很多人研究过了，我们主要想研究提示到底什么时候给，以及给怎么样的学生会比较好。
A: 这些提示是什么形式？是你们助教来写吗？
G: 对，因为这门课每年都开，我们就有很多历史收集上来的数据。我们让助教或老师看一下去年或前年学生写作业的情况，根据他们这些作业上做错了的答案，我们看看他们错在哪，助教或者老师会给他们一些怎么样的提示能够帮助他们改进他们错的答案，让他们能答对这道题，所以他们会看之前这种历史数据。然后在开课之前，就是作业发出去之前就先把这些提示都写好了，都存在电脑里面。
A: 然后系统就会根据学生答题的情况，如果他答错了，根据他错误的类型去给他相应的提示。
G: 对，我们这个平台主要的作用就是，它把老师、助教写的提示收集了之后，他们实时地分析学生打进来的错误答案，就是为了让它能够找到，比如这个学生这个时间，什么样的提示会帮助他，然后实时地发送给这个学生。
S: 那在你们设计这种收集数据的程序的时候，工作量会非常大吗？有没有用到一些开源的工具呢？
G: 我们主要用的是Open Edx。Edx就跟之前舒晏提到的Coursera是非常相像的，但是他们的区别就是Edx是一个非盈利的组织，由于他们非盈利，所以他们按照Edx基本上99%相似这么一个代码，把它开源出来，叫做Open Edx，是专门给比如说学校或者公司，他们自己想把这些源代码拿下来，放到自己的服务器上面，然后他们就可以自己创建一个类似Edx的平台。那么我们也是这样做的，我们就是把这个Open Edx这个源代码全部拿下来，放到系里面的一个服务器上面。把这个平台拿下来之后，我们就可以把它扩展。像刚刚我提到的自动发送提示的引擎，我就把它写到Open Edx代码里，等到学生用的时候，他们就可以用Open Edx本身自带的功能以及可以看到我们产生的这些提示。
A: 那在Open Edx后台，你们现在就不仅能够看到Open Edx本身在收集的数据，你们拓展的这些功能，也可以根据你们的需求来收集数据了。
G: 是的，这个就非常简单，因为我们并不需要看他们的后台收集数据怎么写的，我们就相当于自己在数据库里面建一个非常小的table，我们想要收集一些什么，比如说学生什么时候收到我们的提示，他们提示的时候做了什么，这些很简单的数据我们就可以额外的进行收集。比如说我们想要看学生什么时候写的作业，他作业的答案，他们写作业花了多久时间，包括他们错了多少次，其他这些大量的数据Edx已经帮我们收集好了，我们只需要去它的数据库里面拿出来，可能把它整理一下就可以使用了。
S: 那拿到了这些数据之后，你们会做哪些分析呢？其实你们想关注的结论是这些提示对学生有没有帮助，有多大的帮助以及该什么时候给出对吧？
G: 对。
S: 那你们都做了哪些数据分析？最后又得出了怎样的结论呢？
G: 我们收集数据的时候，我们首先是一道一道题去看，比如说这一道题，所有的学生，他们尝试了多少次。我们给学生写作业的时候，我们是允许他不断的尝试，他每次填了一个答案，他可以提交，提交之后我们会马上告诉他，你这是对的还是错的，是这种Instant Feedback。那么他可以提交无数次，就是我们并不限制他只能提交五次。因为这种题并不像选择题，你可以把所有答案都试一遍。这种是填空题，你需要把整个公式填进去的，所以即使我们给他无数次的尝试，并不会说学生能够去猜。所以我们给他无数的尝试是为了什么呢？大部分的学生会去尝试去学习，大概90％的学生最后都能答对。那么这就给我们一个优势，就是我们可以说每个学生他花了多少次尝试才答对，他花了多长时间去尝试能答对，因为他们最后都答对了，我们就可以做一个这样的比较，并不会说这个学生答对、这个学生答错了，这样就没办法衡量。所以我们收集他们做了多少次尝试，他们花多长时间把这道题答对，包括我们有时候会看他们是什么时候写的作业，包括最后比如说我们给提示的话，我们在什么时候给他们会更快答出这道题，我们到底应不应该在这个时候给提示，就有学生我们会选择给，有些学生我们会选择不给，这样我们也可以做一个对比。最后因为我们每一周都会给他们一堆作业题，然后十周我们会看一个的总分，应该算是一种完成度吧，就是百分之多少的这些题他们做完了，做完就是表示做对的，因为他们是可以就是一直尝试尝试到对为止，那么我们想看一下学生的完成度，这些也都是我们关注的一些点。
A: 那你没有统计过这样一个学期下来，你们会收集到多大的数据吗？
G: 我们一个班上大概300多个学生，然后我们每一个星期会给他们十几道题，少于20道题，每道题平均有四个小问。那么你这样算一下，每一个学生在每一道题的每一个小问上，他们会进行尝试，那如果就是成绩比较好的学生，他们可能尝试一两次就对了。那有些学生他们一开始就不知道该怎么做到底，他们可能会尝试10几20遍，30遍，这都是有可能的。
S: 那通过你们的这些数据分析，你们得出的结论是这些提示对学生是有帮助的吗？
G: 我们就是看每一道题，把同样题型的这些题都统计起来，然后我们看有些题我们给了这个提示，有些题我们并没有给这些提示，我们主要是看学生在收到我们提示之后再做同类型的这些题的时候他们有没有提升，那么最后我们结论是有的。因为我们把学生分成两组，一组在一开始做这类型题目的时候有给提示以及有一些是没有给提示。接下来在之后，同类型的题目又出现了，那么来对比这两组学生，他们在做这些同类型题目时候有没有时间上的区别，正确率的反应之类的。我们最后说确实是有的，得到提示的这些学生到了后面做的，包括他们花的时间，正确率，这些都是比没有得到提示的这些学生是要更好一点的。
S: 那没有得到提示的学生岂不是很可怜，他们知道自己被作为控制的那一组研究对象吗？
G: 每一个学生可能有50%的题目是拿到这些提示的，但并不是说这一群学生永远都拿不到提示。就这一个学生，他拿到每一道题的每一个小问，他都有50%的几率拿到提示和不拿到提示。所以没有一个学生是整个学期都没有拿到提示，是不会有的，因为他每一题每一个小问都有50的几率拿到提示和拿不到提示。
S: 这个做法很聪明。
A: 那么你们在看到学生最后期末考试成绩之后，有再去比较你们给的提示有没有实质性的提升这个学生的期末考试成绩吗？
G: 我们有尝试做过比较，但是如果我们要去看一个学生，这整一个学期的学习成果的提升，我们必须要在这个学期开始之前就要对他们进行每一道题的评估，并且我们还得就是保证有一组的学生在这整个学期并没有在这同样的类型上接到过任何我们的提示，这样我们才能够去比较说接到提示的这些学生和没接到提示这些学生他们之间学习成果的不一样。但是由于我之前说的，我们的提示是每道题随机给的，所以我们并没有符合条件的这么一组学生去进行这种比较。
A: 那你们收集这些数据会有很多隐私方面的考虑，比如说学生愿不愿意让你把他的这些学习进度方面的数据拿来做分析，甚至拿来去做论文，做发表。你们需要处理这些比较繁琐的隐私方面的考虑吗？
G: 是的。在我们开始这个课之前，我们花了大概一个月的时间要去通过IRB的审核。IRB其实就是伦理审查委员会。他们是来评估你们做这个研究会不会对学生有影响，甚至说是负面的影响。那么我们做的每一个动作，比如说我们发的那些提示，发的什么提示，这些东西都是要经过非常严格的审查的。然后做这个研究的人，实际上是我和我的导师，我们两个是需要去参加这个伦理的培训。就是你在什么情况下做些什么样的，或者就像我们说的，发什么样的提示是会对学生造成伤害，发什么样的提示才不会对学生造成伤害，我们需要去做这样一个培训。通过了这个培训之后，IRB才会给我们发批准，说好你们可以去收集数据。所以在开课之前，我们要给每一个学生发一个声明，就上面要写我们这个学期会做一些什么样的改动，比如说要发提示，我们会在什么时候发提示，我们的提示会包含一些什么内容，并且要说这个提示有可能会对学生造成什么样的影响，比如我们说每个学生每一道题有50%的几率，那么学生就会很能接受对吧，相比于跟学生说有些学生一个学期拿不到任何提示，这样他们就不会接受。在这个声明最后，我们还得跟他们说我们收上来的数据是会使用到研究中的，这些我们都要说得非常非常的清楚，没有人能够通过我们这个数据能够trace回到底是哪个学生，这些我们都要是非常小心，然后学生读完整个声明之后得签字同意。我们当时还有点担心学生会不会同意，会不会签字，最后我们95%的学生都同意使用这个数据。
A: 那剩下5%的学生怎么办？
S: 剩下5%的学生我们在收集数据的时候，我们就不收集他们的数据，因为无权使用他们的数据。
A: 我感到非常的意外的一点，就是我刚在问你关于需不需要授权的时候，我以为更多是出于隐私考虑，因为你要收集数据。但你提到即便你发送提示都可能需要考虑到一些伦理问题，会不会伤害到学生。你能给一些例子，什么样的提示是不应该发送出去的吗？
G: 其实这种事情非常的主观。比如像我们接受训练的时候，他就是说你不能够对学生的情感造成任何负面的影响，那你说这个东西对吧，就是...
A: 应该说他们考虑的非常全面，就是你肯定不会这么做，但是他可能会告诉你说你不能发，说这么简单的题你都不会，不要把这个放到提示里。
S: 那翟真，像刚才你提到的这些数据收集基本上都是来自学生的作业，虽然我现在想象不出来具体还有什么其他数据，但是我觉得在整个的教学过程中，其实还是有更多的数据是可以收集的，对吗？
G: 是的，特别像这种教学数据其实是很宝贵的，所以现在就是为了大家能够收集到这方面的数据，有一个新的这样一个概念，叫做翻转课堂Flip Classroom，它主要就是说学生在网上进行这么一个学习的过程，而不仅仅就是写作业，写作业更像是一个练习的过程，就是把新学到的东西怎么样可以使用它。而老师，现在传统的来讲，都还是在课堂上给学生教授新的知识，然后让他们回家去写作业。然而这种翻转课堂主要就是说学生在家里面看类似慕课这样的视频，然后去学习新的知识，在课堂上去学习怎么样去使用它，和做一些练习，更重要的是和老师做一些讨论。这样的话，我们能收集到的数据就不是作业数据了，而是学生在学新知识这个过程中的一些信息，包括他们看的视频什么时候暂停了，在这些视频里面，有时候我们还会嵌入一些题目给他们做，就是很简单的比如说选择题，就特别特别简单的一些题目，让他们保证他们还在认真的听讲，包括他们做这些题的准确率，他们有没有快进，包括他们什么时候看的这些，可能是凌晨两点还是早上8点，这些就是我们能收集到的学生学习新知识的信息，都可以收集到。像我们现在收集的是传统课堂上作业的数据，但是现在也能用Flip Classroom来收集很多学生在课堂上学习过程这上面的一个数据。
A: 像我们学校现在有这种Flip Classroom的教学方法吗？
G: UCSD是有的，但是很少。据我所知，我第一次接触Flip Classroom就是在UCSD上的一门课。其实是这个教育，科技的这么一个训练课，是一种Education Technology Traininng Class。大概是教助教怎么样去成功的做慕课的课程。那当时我们上这个课的时候的这个形式就是Flip Classroom的形式，也是我第一次接触，其实我个人是非常非常喜欢这种形式的，因为我们等于可以是在家里面或者在你自己觉得很适合你学新东西这么一个环境下去看老师给你讲课，并且你可以随时暂停，可以随时返回去，听你没听懂的内容。然而到了课堂上我们就是更多地跟老师交流讨论，再不是老师讲我们听，有的时候甚至学生讲的都比老师多，就是学生一直在说自己的想法，自己的疑惑，老师会进行解答，整个课堂的气氛特别活跃，和我上了这么多年的课非常不一样。当时我感觉很新颖，但是我也觉得非常好，我还是非常喜欢的。
S: 那据你所知，像这种Flip Classroom收集来的数据一般会用来做哪些研究呢？
G: Flip Classroom上收集的数据比较特殊，因为它其实更像慕课收集的数据，因为慕课收集就是学生学新知识的数据，包括他整个看视频的流程，什么时候看了这些数据。慕课收集上来的数据和Flip Classroom收集上来的数据的区别就在于这些学生除了在网上看视频之外，他们还多加了一个和老师讨论的这个过程，那么这个其实是非常有帮助的，对一个学生学习。相比于你完全只在网上看这些课程，有老师或者有同学这么一个非常积极的讨论环境对学习的帮助是非常大的。所以他们收集来的数据其实是有很大区别的。但是具体他们用这些做什么研究我觉得还是很相近的的，慕课收集来的数据和Flip Classroom收集来的的数据都应该是做同样的研究的。
S: 那翟真，像你和你的导师你们都有很多软件工程还有数据分析的经验，所以你们可以很轻松的拿到数据并且分析这些数据。那对于那些非技术类的教授和助教，那他们怎么才能拿到数据并且做一些数据分析呢？
G: 像现在这种慕课平台，什么Coursera，Edx，他们都有设计相对应的数据分析和整理这么一个平台比如一个文科的老师，一个教授，他在这些平台上建一个这样的慕课的课程，那么他可以实时地看到他这个课程的学生数据，那么像Coursera和Edx它们都有做非常好的数据展示，能够帮助这些老师清楚地看到学生实时的表现的这些图，来让这些老师更清楚的知道学生有没有在什么地方卡住。比如说他在一个视频课程上，在这个地方重复的看，并且大量的学生重复的在看同一个内容，那么就说明这个内容可能讲得不是很清楚之类的。这些老师能够实时地看到这些数据，并且Edx和Coursera已经是把它很好的展现出来给这些老师，让他们能够清楚的知道这方面的信息。
S: 那翟真刚才接到了教授的电话，她现在要去完成一个助教的任务，所以今天她只能和我们聊到这儿了。如果大家非常喜欢她的这个聊天风格，我们之后还会把她再请回来的。
A: 非常感谢翟真今天和我们一起录制这期节目。
G: 谢谢小阿和舒晏让我有这个机会参加到德塔赛的这个播客节目里面。
A: 如果你想进一步了解翟真的工作，你可以在我们的推送里面找到翟真主页的地址。
S: 好，本期节目就到这里结束了。如果你还没有关注我们的微信公众号的话，请在微信平台上搜索德塔赛三个字的中文全拼，并且关注我们。
A: 我们的官方网站是detasai.com。我们下期再见。
S: 再见。