Scaling Law 不仅在放缓开云kaiyun体育，而且不一定老是适用！

尤其在文分内类任务中，扩大教师集的数据量可能会带来更严重的数据遏止和数据冗余。

如果类别畛域不够了了，数据遏止风景就更彰着了。

而文分内类又在心思分析、识别用户意图等任务中极为遑急，继而对 AI Agent 的性能也有很大影响。

最近，vivo AI Lab 有计划团队建议了一种数据质料普及（DQE）的顺序，得胜普及了 LLM 在文分内类任务中的准确性和效力。

施行中，DQE 顺序以更少的数据得回更高的准确率，况且只用了近一半的数据量，就能灵验普及教师集的教师效力。

作家还对全量数据微调的模子和 DQE 选定的数据微调的模子在测试集上的死心进行了权贵性分析。

死心发现 DQE 选定的数据在大多半测试集上王人比全量数据进展出权贵的性能普及。

目下，此项后果已被当然讲话处理顶会 COLING 2025 主会禁受。

数据质料普及顺序长啥样？

在当然讲话处理中，文分内类是一项尽头遑急的任务，比如心思分析、意图识别等，尤其目下企业王人在推出各自的 AI Agent，其中最遑急的顺序之一，就是识别用户的意图。

不同于传统的 BERT 模子，基于自转头的大讲话模子的输出经常是不成控的，而分类任务对输出的时局条目较高。

通过在提醒词中加入 few-shot 不错灵验地改善这一风景，但是基于提醒词的顺序带来的普及经常有限。指示微调不错灵验地改善模子的性能。

在文分内类任务中，穷乏一种灵验的时代来获取高质料的数据集。OpenAI 建议了缩放定律（Scaling Law），合计大讲话模子的最终性能主要取决于三个身分的缩放：计算才气、模子参数和教师数据量。

然则这一定律并不老是适用，尤其在文分内类任务中，扩大教师集的数据量会可能会带来愈加严重的数据遏止风景和数据冗余问题。尤其类别的畛域不够了了的时分，数据遏止的风景愈加彰着。

底下是 vivo AI Lab 团队建议的数据质料普及（DQE）顺序的具体顺序联想。

率先，作家对教师集进行了初步的数据清洗责任，包含处理具有缺失值的数据、query 和标签相通的数据以及标签不一致数据（合并条 query 对应多个不同的标签）。

然后，使用文本镶嵌模子，将文本转念为语义向量。再通过运筹帷幄采样的顺序，飞速启动化一条数据算作启动向量，然后每次选定距离向量中心最远的数据加入到新的荟萃中，以普及数据的各种性。

接着，更新这个荟萃的向量中心，遏抑的相通这个流程，直到累积了 50% 的数据算作 sampled，剩下未被选中的 50% 的数据集算作 unsampled，然后使用 sampled 数据集微调大讲话模子展望 unsampled。

通过勾通向量检索的阵势，将 unsampled 中展望死心荒唐的数据分为 Uncovered、Difficult 和 Noisy 三种类型。

底下是三种类型的数据的识别旨趣：

Uncovered：主要指 sampled 中未遮蔽的数据，如果展望荒唐的数据与最同样的数据具有调换的标签，况且最同样的数据位于 unsampled 中，则合计该数据关连的特征可能莫得参与 sampled 模子的微调，从而导致 unsampled 中的该条展望死心荒唐。

Difficult：主要指 sampled 中难以学会的贫寒样本，如果展望荒唐的数据与最同样的数据具有调换的标签，况且最同样的数据位于 sampled，则合计该数据关连的特征照旧在 sampled 中参与过模子的微调，展望荒唐可能是因为这条数据很难学会。

Noisy：主如果标签不一致导致的噪声数据，如果展望荒唐的数据与最同样的数据具有不同的标签。则怀疑这两条数据是噪声数据。大多半文分内类任务的数据集王人是共同手工标注大要模子标注得回，王人可能存在一定的主不雅性，尤其在类别畛域不了了的时分，标注荒唐的风景无法幸免。这种情况下，作家通过提醒词，使用 GPT-4o 进一步补助判断。

效果奈何？

作家基于多机多卡的 L40s 作事器上通过 swift 框架进行了全参数微调，选定开源的 Qwen2.5-7B-Instruct 模子算作本次施行的基础模子。

作家与 PaperWithCode 中收录的最佳的死心以及全量数据微调的顺序进行了对比，作家分别在 MR、CR、IMDb、SST-2、SST-5、AG News 数据聚合进行了对比施行。

从施行死心不错看出，DQE 顺序以更少的数据得回更高的准确率，况且只用了近乎一半的数据量，不错灵验地普及教师集的教师效力。

同期，作家页进一步对全量数据微调的模子和 DQE 选定的数据微调的模子在测试集上的死心进行了权贵性分析。将展望死心正确的数据赋值为 1，将展望死心荒唐的数据赋值为 0，通过 t 覆按来评估模子之间性能相反的统计权贵性。

从表中不错发现DQE 选定的数据在大多半测试集上王人比全量数据进展出权贵的性能普及。

与传统的 BERT 模子不同的是，生成式的模子经常是不成控的，作家进一步分析了指示奴婢死心。

死心标明，岂论是全量数据微调照旧 DQE 顺序微调，王人不错灵验地普及大讲话模子的指示奴婢才气，按照预期的死心和时局输出。

对于分类任务来讲，当数据量敷裕大时，很难幸免标签噪声音象。即即是被各大顶级学术期刊瓦解议庸俗使用的数据集，也无法幸免标签噪声音象。

作家分析了一部分通过施行找出的噪声数据，况且给出了开源数据聚合的标签噪声的示例。

值得忽闪的是，在数据采样流程中，本有计划使用贪默算法将数据集离别为 sampled 和 unsampled。此外，作家阐发文本同样度将 unsampled 分类为 uncovered、difficult 和 noisy 数据。

接下来，分析 sampled 中的这三种类型：

由于该数据将用于最终的教师集，因此它不包含 uncovered。

对于 difficult，翌日自 unsampled 中识别为 difficult 的样本会加入到最终的教师集，这 uncovered 中的 difficult 和 sampled 是成对存在的，从而部分收缩了采样数据中的 difficult 问题。

对于 noisy 数据，使用 DQE 不错在 sampled 和 unsampled 之间识别出大多半成对的噪声实例。

由于使用 sampled 运筹帷幄采样政策，在 sampled 内遭受成对的同样噪声数据的概率会相对较低。从表面上证明注解了本决议的灵验性。

论文地址：https://arxiv.org/abs/2412.06575

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿实质‍

附上论文 / 花式主页蚁合，以及关连阵势哦

咱们会（尽量）实时修起你

点这里� � 温雅我，铭记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再见 ~