• 浠嬬粛 首页

    学霸的征途是星辰大海

  • 阅读设置
    第167章 重启SLRM研究 三(1/3)
    在接下来的几天里,北大计算中心的GPU集群再次满负荷运转。

    十几个不同版本的模型,在四张A100显卡上日夜不停地交叉训练、验证、迭代。

    徐辰编写了一个自动化的超参数搜索脚本,让计算机自已去寻找那个最优的解。

    屏幕上,十几条Loss曲线像赛跑一样交织在一起,有的早早收敛,有的半路崩盘,有的则还在顽强地挣扎。

    最终,在烧掉了数千块钱的电费后,一个名为“v4_fal_best”的模型版本脱颖而出。

    它在CLUTRR验证集上的准确率稳定在了98.

    8%,比之前的Deo版本又提升了3.

    5个百分点。

    这类预测模型,准确率理论上是到不了100%的,人类在这个数据集上的平均准确率,也不过是99%左右。

    毕竟,人也会犯错,也会看花眼。

    而且在AI评测中,为了防止模型“过拟合”或者“作弊”,有时候会故意在测试集中掺杂少量的噪声数据。

    如果一个模型在这些明显错误的题目上也答“对”了,即输出了错误的标注答案,那就说明这个模型可能是在“背题”,而不是在“推理”。

    所以98.

    8%算得上已经接近理论极限了。

    看着这个数字,徐辰满意地点了点头。

    “就是它了。”

    ……

    随后徐辰又看了下训练的日志。

    这才发现了这个算法存在一些问题。

    由于之前徐辰都是丢给计算机让计算机自已迭代,然后就去做别的事了,所以徐辰并没有太过关注这个模型的运行效率,但是看了日志才发现,这个SLRM模型,太慢了。

    徐辰看着那个令人咋舌的延迟数据:

    Qwen-7B(原版):推理速度 45 tokens

    s。

    Qwen-7B + SLRM:推理速度 0.

    8 tokens

    s。

    “0.

    8 tokens

    s……”

    徐辰扶额。

    这速度,跟便秘有什么区别?

    如果用这个速度去跟用户聊天,用户发一句“你好”,等它回一句“你好”,估计都能去泡杯茶回来了。

    ……

    SLRM运行这么慢,原因在于计算密度的爆炸。

    传统的Transforr,其核心计算是矩阵乘法(MatMul)。

    这玩意儿虽然计算量大,但在现代GPU上已经优化到了极致,那是为了并行计算而生的。

    但SLRM不一样。

    它的核心是“几何嵌入”。

    每一个概念,都要被映射为一个高维空间中的“盒子”或者“流形”。

    每一次逻辑推理,都要计算这些几何体之间的“交集”、“并集”和“包含关系”。
    本章未完,请翻下一页继续阅读.........