分类： 计算机科学 >> 计算机科学技术其他学科 提交时间： 2023-08-31
摘要： LLAMA 是最近几个月最流行的开源大语言模型，本文给出该模型的数学形式。
分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2023-07-12
摘要： 以 LLAMA 为代表的开源大语言模型广泛使用旋转位置编码，原始论文使用复函数推导。本文改用线性代数推导，期望更好地理解该编码方法；提出该方法的一个疑点并给出了改进建议。
分类： 数学 >> 数学（综合） 提交时间： 2022-12-04
摘要： 本文通过严格数学分析找出了交叉熵过拟合的成因：边界样本的损失贡献比重大且随法向量增长而加速增大、边界样本分布散乱，顺便理清了正则项的作用机理。
分类： 数学 >> 数学（综合） 提交时间： 2022-10-10
摘要： 微博平台上的大量图片几乎相同，差别仅在于水印和清晰度。为了从海量图片中找出几乎相同的图片，本文提出一种称为多层指纹的新算法。多层指纹包含5个字符串和3种实数向量，其中一个字符串用于快速召回，剩余字符串、向量用于计算指纹间相似度。多层指纹的算力需求很小，准确率高。在微博百万级图片库上测试结果表明，多层指纹的检索速度达到QPS 345，准确率达到 97.69%。
分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2021-10-20
摘要： 最近流行的自然语言处理技术之一是BERT模型，本文给出该模型的数学形式。
分类： 数学 >> 计算数学 提交时间： 2020-10-19
摘要： 在进入推荐系统之前，商品名、人名等实体名字需要嵌入低维向量。word2vec这样的流行嵌入算法的出发点是“相同语法位置上的词具有相似的向量”，而名字序列没有语法结构，导致名字向量的质量不高。 本文从“相邻的名字具有相似的向量”出发，提出一个称为名字嵌入的新方法。名字嵌入使用了一些新技巧：公式比word2vec更简单，向量模长固定为1、用相对权重处理低频名字、优化目标使用简单的均方差。 以名字相似度作为衡量标准，在NBA球队名人造集、球队名微博集和微博点赞集上，名字嵌入均显著优于word2vec。
分类： 数学 >> 计算数学 提交时间： 2019-11-26
摘要： 本文提出一个名为滑动均值的聚类算法，尝试替代常用的k均值算法。滑动均值能处理大量的样本，自行决定类别数量，用混洗样本来避免出现很差的中心点，能够中途裁减类别数量，聚类效果显著好于k均值。在鸢尾花数据和手写数字数据上，滑动均值的聚类效果比k均值分别高9.93%和5.17%。
分类： 数学 >> 计算数学 提交时间： 2019-04-10
摘要： 本文提出一个名为接圆回归的点击率预测新方法，尝试替代常用的因子分解机(FM)。接圆回归用超平面拼接出一个封闭凸多面体，圈出正样本，有直观的几何解释， 能从任意初始值一次收敛到全局最优解。 拟合出来的曲面Lipschitz连续，变化平缓。在人工设计的星环集、双堆集、双月集上，接圆回归的分类准确性、解释性、平滑性全面超过FM。在同量级参数量、计算量 的条件下，接圆回归在Avazu集和Criteo集上的AUC超过FM。
点击量
待评议
点击量
下载量
评论
