图书变数据,出版业要过几道关?

来源:中国新闻出版广电报时间:2026-11-10 10:24:02 编辑:本站编辑

截至2026年8月,全国已建成高质量数据集超12.6万个。这一数据背后,既有“人工智能+”行动对高质量数据供给的迫切要求,也有政策层面的持续推动。

对于出版业来说,目前面对一个绕不开的问题:手里的大量图书、期刊、排版文件能不能变成AI可训练、可调用的高质量数据集?

眼下,出版业数据集建设正从“要不要做”进入“怎么做才算数”的阶段。而“怎么做才算数”,恰恰是最难回答的部分。

明晰认知:好内容不等于好数据

今年,国家数据局印发《关于推进行业高质量数据集建设行动的实施方案》,对行业高质量数据集建设作出部署,推动数据供给从“有数据”向“有好数据”转变。

国家新闻出版署印发的《出版业发展“十五五”规划》明确提出“加快出版版权领域高质量数据集、出版业可信数据空间等建设”。

对出版业来说,这一信号十分明确:高质量数据集不再是少数机构的“可选项”,而是内容资源能否进入AI生产链条的“入场券”。

但什么是高质量数据集?“PDF电子书、排版文件等原始出版资源只是原材料,不是数据集。”中国音像与数字出版协会副秘书长张传静给出明确的判断。

按照国家数据局的定义,高质量数据集是经过规范采集、清洗、加工、标注等处理,可直接用于AI模型训练、微调、推理,能有效提升模型、智能体、智能终端应用效能的行业数据集合,强调准确性、完整性、一致性、有效性、均衡性以及合规可追溯。

“出版单位要首先盘算有哪些内容资源已经被转化为数据,这些数据是否达到高质量数据集的要求,然后再规划怎么建。”张传静表示。

标准先行:把“施工图”画清楚

今年以来,出版业数据集建设与应用、人工智能语料加工和安全应用等标准加快研制。

张传静介绍,为了让出版单位“看得懂图纸”,中国音像与数字出版协会把标准建设作为推进这项工作的主要抓手,制定了《出版业高质量数据集 出版物数据集 建设指南》和《出版业高质量数据集 出版物数据集 分类与描述》两项团体标准,已于今年8月发布实施。

这两项团体标准由中国音像与数字出版协会组织管理,武汉大学信息管理学院与中南出版传媒集团、北京中科闻歌公司共同牵头,联合中国信息通信研究院以及中国建筑工业出版社等近10家出版机构共同参与制定。

“两项标准出台的目的就是解决建什么、怎么建和建后如何用等核心问题。”张传静说,从实施效果看,以上标准得到了出版单位的广泛认可,为内容资源转化为可训练、可评测、可调用的高质量数据集提供了共同遵循。此外,“质量评测”“高质量图像数据集建设指南”“辞书内容高质量数据集建设指南”等新一批标准正在研制。

标准先行正成为各家的共同选择。四川文艺出版社的做法颇有代表性——“一套标准、四级治理、三级质控”。四川文艺出版社有限公司运营部主任叶驰介绍,该社“文艺出版高质量数据集”项目总投资450万元,对标《高质量数据集建设指南》等国家标准,编制了《特色数据库建设指南》,让治理全程有章可循。目前,数据库元数据文化属性填充率、数据标注准确率均达98%以上,文化数据合规率100%。

“公司已形成覆盖图像处理、文本采集、数据标引、元数据著录等环节的标准体系。”古联(北京)数字传媒科技有限公司总编辑朱翠萍介绍,公司在建设数据集方面注重确保不同项目、不同批次、不同人员加工出的数据在格式和口径上保持统一,具备可复用、可交换的基础。同时,以详细的数据加工方案明确“路线”,根据项目需求确定如何进行人机协同,并针对底本复杂、稿抄本识别困难等问题预设方案;再以系统化的全流程管控守住“质量关”。

技术攻坚:探索差异化发展路径

有了标准这张“施工图”,接下来就是真刀真枪的“施工”。在技术路径上,各出版机构与技术企业结合自身资源禀赋,探索差异化方案。

竖排、异体字、生僻字多,古籍处理是出了名的“硬骨头”,通用AI技术难以直接套用。古联公司通过自研技术将难题逐个击破,形成了“机器做初加工、人做精加工”的人机协同机制。简抄本识别率95%,版刻本、精写本识别率超99%,繁简转换准确率99.98%……朱翠萍亮出了一组硬核数据。

同时,依托超100亿字体量的古籍数据中心和30多个专业古籍数据库,古联公司构建了“基座模型+专项任务模型+知识增强”协同的古籍垂直大模型体系“文达”,并将其集成转化为面向古籍整理出版全流程的“古籍智能整理平台”和面向高校与研究机构的“古联数字人文实验室”两类技术服务产品。

山东出版集团的“鲁版智藏”高质量数据集智能生产平台同样专业全面。“平台内置多格式解析、OCR识别、版面分析、知识抽取、AI预标注等一体化能力,兼容10余种出版格式。”山东出版传媒股份有限公司副总经理、数字总监范波介绍,在打造“AI预标注+人工专业校验”人机协同流水线的同时,建立“机器初检—人工复审—专家终审”三级质控与字段级溯源机制。目前,山东出版集团已落地30项AI应用,汇聚6.5亿条出版全产业链数据资源的“文启智阅”出版产业大脑,可支撑30余个出版业务应用场景。

对专业社而言,“内外结合”是更现实的选择。“中国中医药出版社一方面依托社内数字出版中心做好业务需求梳理、编写规范设计、内容知识审核,牢牢把控出版内容质量;另一方面联合高校、技术企业协同实施搭建算力底座、批量数据清洗、平台工程开发。”中国中医药出版社副社长张峘宇介绍,中医药社已构建起以医学数字教材为核心,配套建设题库、思政案例库、教学案例库和临床案例库的“1+4”数据资源体系,数据集应用场景多元。同时,联合北京中医药大学、科大讯飞建成国内首个中药学生成式教育专用大模型“薪火中国药”。

在高质量数据集建设过程中,科技企业则扮演着“专业帮手”角色。“数传集团在数据资源方合法授权的前提下,协助出版机构开展清洗、篇章切分、格式标准化、图文对齐、信息抽取和标注等加工,形成结构化语料、多模态切片和知识图谱。”数传集团常务副总裁温亚莉介绍,数传集团已入选国家数据局首批“可信数据空间创新发展试点”。她强调,数传集团兼具“建设者”与“运营者”双重角色,是助力出版发行单位将内容资源转化为高质量数据集的技术服务方和流通运营方,而不是替代出版发行单位占有数据。

破解难点:版权合规基础上提升运营能力

数据集建设之路并非坦途。面对版权合规等方面的关键问题,各家单位给出了解题思路。

范波介绍,面对存量出版物版权情况复杂、确权难度大等问题,山东出版集团严守“权属不清不入库、授权不全不出库”的原则,明确资源所有权、加工使用权、产品经营权,配套开展数据产权存证登记。

古联公司同样在版权上严格管理。“所有计划入库的非公版资源,我们都会事先与著作权方签订数字资源合作协议,并在产品收益中按约定支付版税。协议中明确界定加工成果的著作权归属,并约定我方负有版权保护和技术保护义务。”朱翠萍介绍,10年来公司已与30余家出版单位、多位作者建立稳定合作关系,并配套复制量监测、账号管控等技术保护措施,从制度与技术两个层面加强版权保护和数据安全保障。

在版权合规上,四川文艺社坚持“先确权、再开发”,建立版权管理体系,明确资源版权归属与授权流程,落实数据分类分级保护。

“中医药知识体系专业性强、术语繁杂,医案数据还涉及作者权益与图书版权的授权流转。”张峘宇直言,中医药社通过不断修订出版合同、资源建设协议等,使得内容资源在有效期内能适应各类出版形式与应用场景,确保数据有效、长期积累。

版权合规是底线,数据集建得好不好、运营得顺畅不顺畅,取决于出版社的组织能力是否强大。

“其实数据集建设起步并不必然是高投入,完全可以聚焦‘小切口、多应用’策略,以小步快跑的方式先做一个数据集、跑通一两个应用场景,以点带面,逐步扩展。”张传静认为,做得好的出版单位往往是战略上想明白了,把数据集建设纳入战略规划总体布局。

在流通机制上,数传集团给出了新解法。今年9月,数传集团承建运营的出版融合可信数据空间“书通数联”上线。“出版传媒行业不缺内容资源,也不乏高质量内容,当前更需要建立一套让数据提供方敢卖、数据使用方敢买、监管方放心的流通机制。这正是可信数据空间的价值所在。”温亚莉说。

意见反馈

电子邮箱:nmgcbjtbgs@163.com

联系电话:(0471) 6661859

信箱地址:呼和浩特市新华大街89号出版大厦1楼大厅群众意见箱

建言献策

电子邮箱:nmgcbjtdwxcb@163.com

联系电话:(0471) 6661859

信箱地址:呼和浩特市新华大街89号出版大厦1楼大厅群众意见箱

监督举报

举报电话:(0471) 12388

邮政编码:010010

来信地址:呼和浩特市新华大街89号出版大厦14楼 纪检监察室