• 浠嬬粛 首页

    天才对决

  • 阅读设置
    第172章 科研上的意外!(1/4)
    “就按这个方案改,今晚就跑!

    小张,你带两个人改前向传播的代码,每个批次重新采样,保留概率0.

    5,小吴,把对照组的配置原封不动复制一份,除了屏蔽策略其他什么都别动,我要干干净净的对比实验!”

    代码改起来不难,难的是等。

    训练要跑十几个小时,工作站的风扇声从傍晚一直响到后半夜。

    林晨让人从系里搬来了几张行军床,结果一晚上没人躺,所有人轮流盯着损失曲线,跟产房外面等消息的家属似的。

    凌晨两点,训练集损失稳步下降。

    凌晨四点,验证集准确率开始爬坡。

    早上七点半,最后一轮迭代结束,测试脚本自动跑完,结果打在屏幕上。

    盯着屏幕的研究员揉了揉眼睛,以为自己熬夜熬出幻觉了。

    “林老师!”

    林晨从椅子上弹起来,三步并两步冲到屏幕前。

    对照组:训练集准确率99.

    2%,测试集71.

    4%。

    实验组:训练集准确率94.

    8%,测试集82.

    6%。

    测试集准确率,拉高了11.

    2%!

    背答案的毛病,被治住了!

    “真成了!”

    实验室里发出一阵欢呼,林晨激动得在实验室里来回走,一边走一边掏手机,拍下结果截图,发给漆昊,配了一段感叹号密度高到没法看的文字。

    “终于找对方向了!

    按照这个迭代趋势,我们很快就能突破瓶颈!”

    接到消息的漆昊,倒是没有多兴奋。

    他总觉得哪有不对劲的地方。

    来到实验室后,漆昊说了自己的想法,林晨宽慰他说:“漆老师,你多虑了,现在模型泛化能力大幅提升,过拟合问题基本解决,后续只要微调参数,优化迭代策略,模型效果只会越来越好,不会有任何问题。”

    “你放心,我们对你有信心。”

    漆昊心累。

    你们先别这么有信心。

    他说出了自己的顾虑:“我认为,现在只是浅层网络的短期假象,这套随机失活方案,能缓解浅层,中层网络的过拟合问题,但无法完全解决深层网络的结构性缺陷。”

    “我们现在只用了二十多层网络,效果看似完美,一旦继续堆叠层数,往五十层、六十层的深度网络推进,新的问题会彻底爆发。”

    漆昊的担忧其实源于自己此前的研究项目,喀秋莎量化算法。

    之前漆昊研发喀秋莎量化程序时,尝试基于卷积神经网络,让程序能有完整的价格形态表征学习能力,实现自动化、高精度的时序特征识别和预判。

    但是这段时间,他觉得模型存在缺陷,无论怎么调参优化,深层特征提取始终存在偏差。

    直到此刻破解浅层网络过拟合难题,他才找到了问题。

    随机失活只能打破浅层神经元的协同适配,却无法修复深层网络堆叠后的梯度消失,特征退化问题,层数越深,模型畸变越严重。

    为了验证自己的预判,当晚回到住处,漆昊第一时间调出喀秋莎量化程序的后台训练日志和运行数据。

    后台海量的迭代记录清晰显示,程序在浅层网络训练时,特征识别,数据拟合,泛化预判全部正常,可一旦网络层数突破四十层,时序特征提取精度开始持续下滑,叠加到五十层以上,误差直接指数级暴涨。
    本章未完,请翻下一页继续阅读.........