浏览量：4601
*以下为分享内容实录，略有删减
（岳雯老师在做分享）
一、为什么要做项目影响评估
1. 从产品设计的角度，了解产品是否有效
以歌路营的“新一千零一夜睡前故事”为例，在设计这个产品前，我们通过走访农村学校发现三个特点：第一是晚上老师管理住宿生生活存在较大压力；第二是住宿生晚上入睡困难，睡眠质量不好；第三个是农村寄宿儿童存在较多心理困境，且是老师们难以解决的。根据这些发现，我们设计了睡前故事这款产品。
但如何了解这个产品是否有效、达到了我们的预期目标呢？我们想到了“项目影响评估”这一方式。
2015年至2017年，我们与北京大学中国教育财政科学研究所一起进行大规模随机干预实验的评估。评估结果显示，新一千零一夜睡前故事确实对农村寄宿儿童产生了积极的心理影响。具体表现为寄宿儿童被霸凌的比例下降了10.37%，显著增加了寄宿生和寄宿留守儿童的抗逆力，寄宿生的睡眠情况有显著改善，且在一定程度上缓解了寄宿生抑郁情况。
2. 让产品更好的落地
以歌路营的另一个视频类产品——“WHY课堂”为例。我们希望在课间播放一些视频，有两种方式摆在我们面前：一是通过电视或者学校原有的多媒体进行播放；二是为学校提供平板电脑，学生自主观看。到底哪种方式更适合在学校落地，被学校和老师接受？
通过项目影响评估，我们比较了这两种不同的方式最后产生的效果，发现使用电视对老师而言更简单、负担更小，能较好的利用空余时间，且播放频次更高。因此我们最终选择用电视播放的方式落地这一产品。
3. 从产品影响的角度对产品进行优化
产品影响主要包括对用户的影响、对机构内部的影响和对基金会/企业的影响。
对用户产生的可测量影响，如心理健康、睡眠质量、学习兴趣、阅读习惯等。
对机构内部的影响，如：旧项目的迭代、新产品的开发等。
以我们在广西项目点的评估为例，评估发现因为识字以及普通话的原因，农村学校里少数民族孩子的阅读能力比非少数民族的孩子低，这让我们思考是否需要开发或引进新的产品帮助低年级的孩子学习普通话。
对于基金会、企业筹款的影响：企业和基金会非常看重科学评估所提供数据的有效性，认可度、公信力和说服力。
4、总结来看，做项目影响评估是在回答以下几个问题：
我们的产品真的能够解决我们想要解决的问题吗？
我们的产品能够落地农村学校吗？
我们的产品能够改进吗？
我们能够从规律中找到经验、建议吗？
我们的项目能让资助人认可吗？
二、如何开展项目影响评估
1. 选择合适专业的评估机构
可以根据三个标准去选择：第一是评估机构的专业和权威性；第二是机构的预算是否足以开展这样的影响评估；第三是项目适用性，考量项目所属的阶段是否适合开展影响评估。
具体来看项目的适用性，包含四个主要阶段：发现问题、MVP、可持续、规模化。
在前两个阶段中，我们主要在研发针对什么问题去设计产品，了解用户使用产品的情况，因此更侧重于问题评估、用户评估；到了后面的可持续阶段和规模化阶段，我们才会开始进行影响评估，了解项目是否有效、进行产品迭代，并在规模化的阶段推广项目。
2. 设计所需要评估的指标
我们可以通过项目的目标和对既有文献的研究设计评估的指标。
一开始我们做“新一千零一夜”是希望改善学生的睡眠，通过评估我们发现，除了睡眠质量，孩子的写作能力也有所提高，同伴之间的关系也更融洽了。根据这样的结果，我们设计了“学业成绩”“同伴关系”两个指标。
此外，通过一些文献我们了解到，在孩子小的时候阅读更多地依赖于听，听故事能够增加词汇量和读书意愿。由此我们又设计出了“阅读习惯”这一指标。
3. 其他注意事项和原则
尽早地规划和设计评估，包括要测量什么样的指标，需要多大的测量规模以及多少预算等。每次正式调研之前，我们会提前两个月做筹备的工作，一旦遇到紧急情况，也有时间做适时的调整；
评估并不是为了促使结果达到项目的预期，而是去验证假设是否成立，即使是预期外的结果也是有意义的；
在设计评估时，尽量选择核心的指标和尽可能简单的干预手段，指标越简单，干预手段越简单，所花费的成本越低；尽可能按照项目原有的流程去实施项目，不要做过多的干预。
三、Q&A：关于项目影响评估的疑问
1、一般我们所做的项目评估，如使用情况、学生喜爱度测试等，这些是项目影响评估吗？
不是。一般的项目评估更多的是对结果监测，是自己跟自己比较，并不能把所产生的结果归因于干预。而项目影响评估需要与没有使用这个产品的人去对照，发现两者之间的效果和差异。
2、一般评估和项目影响评估有什么区别？
最大的区别就在于项目影响评估能够归因，即评估可以归因于某种干预所带来的变化。此外，项目影响评估还可以解释：产生影响的要素是什么？哪些设计为什么没有起到作用？哪些方面起到作用？在多大的程度上起了作用？还有它的影响机制和过程是什么样的等等。
3、项目影响评估一定是大规模的随机控制实验吗？
不是，随机控制实验（RCT）只是项目影响评估中其中一种较科学的方式，在无法实现随机时也可选择其他的方式进行评估。
4、项目影响评估需要花费很多的时间和经费吗？
不一定，除了RCT的项目评估方式以外，其他的项目评估方式花费的时间、经费相对更少，规模也较小。此外，这也与项目的设计，需要观察和测量的变量、项目的规模有关。
5、当我们已经知道项目的影响时，还需做评估吗？
需要。首先我们知道的影响不一定就是真的影响，更重要的是项目影响评估不仅能够检测我们的项目是否有效，还能为我们的旧产品迭代、新产品的开发以及为其他项目决策提供建设性意见。
结语
歌路营通过项目影响评估，助力项目更好落地，同时在了解项目科学、有效的基础上，为项目设计、产品更新迭代和机构内部发展提供了科学有效的依据，不断为所服务的群体提供更高效、更精准、更科学的服务。
本文转载于腾讯公益伙伴公众号