分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2020-09-28 合作期刊: 《计算机应用研究》
摘要： 目前深度神经网络模型需要部署在资源受限的环境中，故需要设计高效紧凑的网络结构。本文针对设计紧凑的神经网络提出一种基于改进注意力迁移的模型压缩方法(KE)，主要使用一个宽残差教师网络(WRN)指导一个紧凑的学生网络(KENet)，将空间和通道的注意力迁移到学生网络来提升性能，并将该方法应用于实时目标检测。在CIFAR上的图像分类实验验证了经过改进注意力迁移的知识蒸馏方法能够提升紧凑模型的性能，在VOC上的目标检测实验验证了模型KEDet具有很好的精度(72.7mAP)和速度(86FPS)。实验结果充分说明基于改进注意力迁移的目标检测模型具有很好的准确性和实时性。
分类： 图书馆学、情报学 >> 情报学 提交时间： 2024-03-01
摘要： 目的 本文旨在提高专利技术功效自动化提取的准确度。 方法 使用ChatGPT作为教师模型（Teacher-model），ChatGLM3作为学生模型(Student-model)，通过知识蒸馏，将ChatGPT生成的训练数据微调ChatGLM3，得到多个技术词抽取模型和功效词抽取模型。采用多个技术词抽取模型分别从专利的摘要、第一权利要求和技术功效语段中抽取技术词，并采用功效词抽取模型从技术功效语段中抽取功效词。 结果 微调后的多个技术词抽取模型和功效词抽取模型相较于ChatGPT，在抽取技术词和功效词时呈现准确率高、召回率低的特点，第一权利要求的ChatGLM3微调模型的准确率和F1值最高，分别为0.734和0.724。功效词抽取模型抽取的功效词的准确率为0.649，大于商业工具标注功效词的准确率0.53。 局限 本研究的技术领域和专利语言单一，验证数据量偏小，数据清洗规则还有待于继续优化。 结论 本研究方案通过知识蒸馏操作，提升了大语言模型自动化抽取技术功效的准确性。同时，本研究能够支持从专利文本中挖掘前沿创新技术、热点技术，支撑更高质量的智能化专利分析。
分类： 农、林、牧、渔 >> 农、林、牧、渔业科学其他学科 提交时间： 2023-02-17 合作期刊: 《智慧农业（中英文）》
摘要： 卷积神经网络（CNN） 的发展带来了大量的网络参数和庞大的模型体积，极大地限制了其在小规模 计算资源设备上的应用。为将CNN应用在各种小型设备上，研究了一种基于知识蒸馏的结构化模型压缩方 法。该方法首先利用VGG16训练了一个识别率较高的教师模型，再将该模型中的知识通过蒸馏的方法迁移 到MobileNet，从而大幅减少了模型的参数量。将知识蒸馏后的Distilled-MobileNet模型应用在14种作物的38 种常见病害分类中。进行了知识蒸馏在VGG16、AlexNet、GoogleNet和ResNet 4种不同网络结构上的表现测 试，结果表明，当VGG16作为教师模型时，模型准确率提升了97.54%; 使用单个病害识别率、平均准确率、 模型内存、平均识别时间4个指标对训练好的Distilled-MobileNet模型进行真实环境下准确性评估，经测试， 模型的平均准确率达到了97.62%，平均识别时间缩短至0.218 s，仅占VGG16模型的13.20%，模型大小压缩 仅为19.83 MB，相比于VGG16缩小了93.60%，使其具备了较高的准确性和实时性要求。本方法模型在压缩 内存体积和缩短识别时间上较传统神经网络有了明显提高，为内存和计算资源受限设备上的病害识别提供 了新的思路。
分类： 农、林、牧、渔 >> 农、林、牧、渔业科学其他学科 提交时间： 2023-02-17 合作期刊: 《智慧农业（中英文）》
摘要： 当前农业实体识别标注数据稀缺，部分公开的农业实体识别模型依赖手工特征，实体识别精度低。 虽然有的农业实体识别模型基于深度学习方法，实体识别效果有所提高，但是存在模型推理延迟高、参数 量大等问题。本研究提出了一种基于知识蒸馏的农业实体识别方法。首先，利用互联网的海量农业数据构 建农业知识图谱，在此基础上通过远程监督得到弱标注语料。其次，针对实体识别的特点，提出基于注意 力的BERT层融合模型（BERT-ALA），融合不同层次的语义特征; 结合双向长短期记忆网络（BiLSTM） 和 条件随机场CRF，得到BERT-ALA+BiLSTM+CRF模型作为教师模型。最后，用BiLSTM+CRF模型作为学生 模型蒸馏教师模型，保证模型预测耗时和参数量符合线上服务要求。在本研究构建的农业实体识别数据集 以及两个公开数据集上进行实验，结果显示，BERT-ALA+BiLSTM+CRF 模型的macro-F1 相对于基线模型 BERT+ BiLSTM+CRF平均提高1%。蒸馏得到的学生模型BiLSTM+CRF的macro-F1相对于原始数据训练的模 型平均提高3.3%，预测耗时降低了33%，存储空间降低98%。试验结果验证了基于注意力机制的BERT层融 合模型以及知识蒸馏在农业实体识别方面具有有效性。
点击量
点击量
下载量
评论
通过
