尊龙凯时

常见分类分级方法应用局限

目今各企业内部均积累了大宗的非结构化文档，其中大部分为无标签数据。目前常见的无标签文档分类分级接纳的是正则表达式匹配方法，其处理流程是先通过人工检察部分非结构化文档，并总结出正则模式，然后对数据进行匹配，匹配乐成则划分到对应分类分级，匹配不乐成文档归类缺失。

可是这种处理方法有许多局限性：

??首先，企业积累的非结构化文档数量巨大，正则匹配只利用了少部分无标签数据资源，更多的正则模式没有被提取出来，笼罩率低；

??其次，随着非结构化文档的不绝积累，数据漫衍可能会泛起变革，初期开发的正则表达式不实时修改就会导致数据漏判和误判；

??别的，非结构化文档往往是具有多页、字符数量多的长文本，使用正则表达式对全文进行匹配效率低下。

非结构化数据自动分类分级技术计划

为破解古板正则表达式匹配方法的缺陷，为行业内提供更高精准度、更高效的非结构化文档分类分级方法，更敏捷地驱动数据防护，尊龙凯时技术研发团队深入解构生成式人工智能、UEBA等各项前沿技术，将AI大模型与数据分类分级场景深度融合，沉淀出多个技术模型。

在历经多轮实验、多番能力验证后，尊龙凯时在原有模型基础上拓展升级，迭代出更智能的非结构化数据自动分类分级要领，擘画数据宁静与AI技术融合生长新蓝图。

该方法的焦点是利用NLP技术有效结合无监督学习和监督学习模型，分阶段来实现对非结构化数据的分类分级。在初期阶段使用无监督学习模型，通过比照学习+聚类的方法对大宗的无标签样本进行分类分级，来累积初始的标签样本；之后通过监督学习模型来进一步提升整体分类分级的准确性。

在无监督学习环节，尊龙凯时技术团队开发了“文本比照学习+KMeans聚类“的方法进行建模。

无监督比照学习模型自界说伪标签“文内幕似”和“文本不相似”来构建正负样本，把自己界说的伪标签看因素类信号来完成建模和训练。提取模型中间层的结果作为文本向量。接下来通过对文本向量进行聚类，从而完成无监督分类分级。

基于NLP的无监督分类分级模型技术优势

该要领设计了通用的文档解析器，可以快速对长文档抽取出主题概括。同时该要领搭载的基于NLP的无监督比照学习模型，是一种融合AI技术的无监督式文本向量抽取方法，实现的效果是在不监督数据的情况下生成高质量的句子向量。凭据实际运行数据，在GPU加速下，该要领能够在1秒以内完成对长文档分类分级。而正则表达式匹配方法则需10秒以上，效率提升90%.

该模型结构可以直接迁移到其他业务上：文档解析功效可以扩展到其他文档类型；模型在设计上各环节解耦，获取到文档向量后可以接纳多种方法进行分类分级，并不限于KMeans聚类；比照学习+聚类的结构可以应用在多个业务场景，使用对应的训练数据源即可。