中国联通智网创新中心自主研发海量网络数据加工软件

中国联通智网创新中心是中国联通自主研发网络创新产品、赋能网络运营转型、催化网络能力增值的研发机构，中心坚持以创新为核心价值观，以客户为中心、以产品为主线、以价值为导向，打造数智化、集约化智慧网络中台，强网络能力之基；建设集约化、数字化网络智慧运营平台，固网络运营之本；构建专业化、规模化网络创新研发体系，守网络研发之正；打造差异化、价值化网络创新产品，创网络产品之新。

党的二十大报告中明确提出“坚决打赢关键核心技术攻坚战”要求，为我们做好网络创新研发工作指明了方向。智网创新中心贯彻落实党的二十大精神，深入推进集团公司“1＋5＋9”战略规划体系，以党建为引领，围绕中心主责主业，识别核心技术“卡脖子”点，寻求自主研发能力的突破，通过党建与研发生产的深度融合，打赢关键核心技术攻坚战，不断提升中心的核心竞争力和可持续发展能力，既是党的二十大精神学习的落脚点之一，也是党的二十大精神学习的最佳实践之一，更是落实公司新定位、新战略的职责所在。

以网络数据处理技术应用为例，通过智能分析和挖掘用户使用业务感知、设备信息、网络质量等海量数据，提炼价值信息和规律性模式，不仅有助提升运营商的服务质量、商业决策、安全防护效果，也可以为政务、金融、新零售等多个行业提供高价值大数据产品，为行业数字化转型赋能。

但网络数据的加工处理技术长时间掌握在第三方厂商手中，第三方厂商只关注既得利益、忽视技术创新，致使中心需要投入大量成本、维持技术相对落后的数据加工处理软件，成为制约中心提升核心竞争力的“卡脖子”点之一。

面对这一困局，中心党委聚焦核心竞争力提升，结合自身资源禀赋，克服人员不足困难，组建党员为主的先锋团队，瞄准海量网络数据加工平台、网络数据加工软件两大关键领域，开展自主研发，努力实现高水平科技自立自强。

坚持开源路线，打造数据处理基座

在网络数据加工平台领域，先锋团队基于全开源大数据生态体系打造统一大数据基础底座，具备独立自主、开源开放、存算分离、批流一体的优势。通过将领先的大数据技术和丰富的最佳实践相结合，提供了多项核心功能，实现了对网络全域数据的集中采集、存储、加工、分析，面向全国一点提供网络数据服务，构筑起联通网络创新与数字化运营转型的坚实基座，并进一步激发大数据在更多行业应用的巨大潜力。

坚持独立自主，研发批流一体软件

在网络数据加工软件领域，先锋团队基于全开源、存算分离的自研数据处理基座，构建海量网络数据高时效批流一体加工，完成完全自主可控的海量数据加工软件研发，并实现7大技术创新。

1、打造分层化、模块化、工程化加工程序：沉淀公共代码，以及不同加工任务共用的代码逻辑，避免重复造轮子，有效提升开发效率和代码质量；

2、创新小文件优化策略：文件数量减少80％以上，大大降低NameNode压力，提升HDFS性能，增大数据保存周期；

3、创新维表关联方法：采用优化后的“预加载维表关联”方法，维表对象内存占用降低90％，算子对外部数据库的查询连接数减少90％；

4、创新源数据接入方法：基于消息通知机制数据源接入方法，减少数据源接入时延（时延下降50％），降低文件系统压力，增强系统鲁棒性；

5、实时数据质量控制：保留现有技术方案灵活性和扩展性，减少数据质量控制链中流转总字段数，简化数据质量问题记录收集操作；

6、自主掌控指标算法：自主完成一整套DPI数据仓库1300多个指标算法设计研发，完善公共数据资产；

7、任务实时自动调度：构建加工活动依赖关系，实时自动调度，大大提升业务和任务的执行效率，离线模型加工时延由6小时下降到3小时。

通过上述技术创新，相比第三方厂商，处理同样数据，时延更低的情况下，节省服务器资源30％。其间攻克BlockMissing、Application is Still in NEW、Yarn Scheduler调度Container分布不均衡、集群各机器CPU和磁盘实际使用率不均衡、亿级QPS数据实时入库、Flink Checkpoint不稳定等10余项技术难关，并获得行业认可：

数据广泛赋能，彰显数据价值

智网创新中心自主研发的网络数据加工软件已在全国广泛应用。

为抗震救灾、防汛抢险、司法矫正、反欺诈等场景，供给高质量、低时延的位置数据能力，支撑国家部委及政府工作，履行央企责任。

对内面向公司数字化转型需求，向全国提供全量用户实时信息、实时触发服务能力，以及流式数据统计和8000种以上的数据资产服务，广泛应用于建设、优化、客服、营销等各类运营场景。

大会重保－－浙江亚运会 应急救援－－甘孜地震

灾害预警－－安徽水利厅 气象预警－－深圳气象局

未来，中国联通智网创新中心将坚持自主创新，持续瞄准大数据、云计算、物联网等技术前沿，研发网络创新产品、赋能网络运营转型、催化网络能力增值，打造全球领先的技术研发与服务平台，面向全联通、面向全行业提供互联网及信息服务，提升产业供给能力和行业赋能效应，助力数字经济高质量发展。（刘子瑞）