原标题：中文高质料数据集加速设置

大模子如何更懂“中国话”（“十五五”文化热词·鼓吹文化和科技交融）

“过马路时，你要防范看车！”

“我指表未走动车展看车。”

这两句话里的“看车”是一个道理吗？信服不少东说念主要会心一笑，名义上看是磨灭个词组，但其含义因语境不同发生了变化。

这即是中文里常见的“一词多义”现象。东说念主工智能大模子是一种与东说念主类话语密切关联的本事，要让大模子深远贯通这一现象，离不开中文数据的赓续供给。

现在，国内多数模子磨砺使用的数据，中文数据占比如故非凡60%，有的模子达到80%。大模子磨砺中，中文数据占比栽培有何意旨？中文高质料数据为何赓续增多？如何进一步增多中文数据的斥地与供给？记者进行了采访。

数据就像大模子的“学问课本”

不同话语的数据对大模子性能有若何的影响？“数据就像大模子的‘学问课本’，课本的话语属性不同，会对模子的学问体系产生不同影响。”清华大学狡计社会科学与国度贬责实验室施行主任、端庄孟庆国示意。

从学问开端看，曩昔我国大模子常濒临“数据依赖”风险——英文数据在各人互联网的占比拟高，如前沿科技论文、行业程序、文化文籍等多以英文呈现，各人高质料标注数据也多以英文为主。

“话语类大模子一般需要奉命一定的话语习气。”工业和信息化部信息通讯经济众人委员会委员盘和林以为，中文数据占比提高，既便捷了用户贯通其输出收尾，又不错保险和栽培我国在大模子上的研发才能。

“若中文数据占比低，模子在时弊本事迭代中易受‘数据授权限制’‘更新蔓延’等影响。”孟庆国说，中文数据占比提高，助力我国在“数据安全”“本事自主”上迈出时弊秩序，成心于我国掌抓大模子发展主动权。

“中文数据中私有的文化习气、隐喻抒发、计策术语等在英文数据中难以取得体现。模子遥远学习英文数据，所变成的‘英文式领路逻辑’，在贯通中文特有的想维状貌时容易出现偏差。”科大讯飞消费者AI交互业务部总司理赵艳军先容，中文数据比重的栽培，增强了大模子对中中语化及中国场景的贯通才能。比如中医问诊时，“上火”“潮湿”等宗旨需要中文语境才能准确推理。

从学问传承看，中文数据承载着我国数千年的文化齐集，中文数据占比提高，能让大模子推动中中语化的数字化传播。“中文数据占比高的模子能讲授‘文言文虚词用法’‘诗词平仄端正’等。比如，在讲授‘之乎者也’时，颐养《论语》《孟子》等中文文籍案例，让传统文化素质新天真。”孟庆国说。

中文高质料数据供给才能遏抑增强

中文庸俗数据和中文高质料数据有何区别？庸俗数据多为未经审核的网罗文本、非专科实质，易出现事实空幻或宗旨羞耻。而高质料数据需经过“事实核查、专科审核”，语义准确且开端可纪念。

花式略中文高质料数据的伏击性，可从医疗会诊这一专考场景讲起。本年8月，中文临床医学学问图谱“磐医学问图谱”在浙江台州发布。“面前，一些大模子学习的医学学问，开端于互联网公开数据，而这些公开数据，有的不严谨、有的存在矛盾、有的更新滞后，这些情况齐会对大模子生成的收尾产生负面影响。”浙江省全省医疗智能有计算重心实验室主任林辉示意，“磐医学问图谱”中的数据均由医学众人审核，每个学问点齐有明确开端，且动态更新医学进展。

大模子性能的栽培，体现了中文高质料数据的价值。收货于一系列身分的协力助推，中文高质料数据的供给才能遏抑增强——

计策有因循。从《“数据要素×”三年举止指标（2024—2026年）》提倡“打造高质料东说念主工智能大模子磨砺数据集”，到国度数据局布局设置数据标注基地，计策利好下，多数中文高质料数据集加速设置。

本事有冲破。中文数据因“歧义多、语境依赖强”，早期标注本钱是英文数据的1.8—2.5倍，跟着本事遏抑向上，斥地难度也在裁减。举例，国内某“中文语义标注系统”已可自动分离“打毛衣”“打电话”中“打”的含义，2026世界杯官网让标注效果栽培了3倍，且本钱有用裁减。

行业有共鸣。国内垂直场景对“中文适配”大模子的需求遏抑升温，推动中文数据从“援手补充”变为“中枢资源”，更多企业参与到中文数据的斥地之中。如中国迁移已建成隐藏超30个行业、超3500TB（太字节）的通用高质料数据集。

协同建程序，细分多场景

Token（频繁所说的“词元”）是处理文本的最少许据单位。数据披露，2024年头，我国日均Token的虚耗量为1000亿，甘休本年9月底，我国日均Token虚耗量已冲破40万亿。这些数字背后，是中文数据资源的快速齐集和价值开释。

如何进一步增强中文数据的斥地和供给？众人学者带来了想考和建议。

率先是建程序。现存的中文数据中，访佛的实质多、质料高的少，尤其是在医疗、工业等垂直领域，高质料数据更是稀缺。比如医疗数据，有的病院纪录病历只写“发热”，有的会写“发热38.5摄氏度、伴咳嗽2天”，若无程序的“尺子”判断数据质料，进一步的斥地难以鼓吹。

“明确了不同领域的中文标注程序后，才更成心于设置和完善评价、引发机制。”孟庆国以为，应加速沟通制定中文数据分级程序，从而开释中文数据的供给活力。

其次是强本事。高质料数据集的设置过程中仍不成幸免会遭受多数数据孤岛和合规艰巨，比如，不同机构的数据因为狡饰安全等合规要求，难以跨域通顺，导致各机构访佛开展数据标注，既阔绰资源，又无法变成畛域效应。

“可本质期骗新一代标注本事，在原始数据不出域且保证狡饰安全的条款下，完成跨机构协同标注，从而整合多机构力量，幸免访佛做事。”赵艳军说。

此外要补场景。我国产业体系完备，其广度和深度决定了需要更多细分场景的中文数据。“比如，在元天下等新兴场景中，中文数据使用量仅为英文的1/5；又如，中医、非遗等传统场景数字化进度低，多数珍重信息尚未滚动为可用数据资源。”孟庆国示意，可推动政产学研用协同，专项网络各式垂直场景中文数据，激活产业期骗。

鼓吹文化和科技交融

“十五五”打算建议提倡，“鼓吹文化和科技交融”。探索文化和科技交融的有用机制，需要用互联网想维和信息本事创新文化创作分娩经过，推动文化设置数智化赋能、信息化转型。

“文化IP+科技体验”，重塑文旅产业生态。通过线上数字平台与线下千里浸场景的颐养，多地打造数字文旅空间、斥地“旅游+智能体”新期骗等，完结文化和科技双向赋能。“文化创作+东说念主工智能”，拓展产业交融场景。面前，以大模子为代表的AI本事，与影视、文博等领域深度交融，催生出AI短剧、博物馆数字文创等新址品，不仅丰富了文化抒发状貌，也培育出更多文化消费新场景。“特质文化+数字本事”，助力乡村全面振兴。通过数字本事，将地标农居品、乡村非遗身手融入微短剧等实质创作，大略进一步栽培特质文化居品的创意才能和发达力，为乡村全面振兴注入新动能。

——北京大学文化产业沟通院学术委员会主任 陈少峰

更多热门速报、巨擘资讯、深度分析尽在北京日报App