随着通信网络技术的快速发展，各种网络服务越来越多地融入了人们的日常生活。而由于网络规模不断扩大，日益增长的流量需求给网络链路的容量保障带来了巨大挑战，亟需对当前网络进行合理的规划和优化。作为网络优化的一个重要方向，网络拓扑优化是一项复杂度高、影响因素多样的任务，需要充分考虑到流量未来的增长趋势、网络整体时延和负载均衡等多种因素。目前基于人工经验和启发式算法搜索的网络拓扑优化方案往往存在效率低、可扩展性差的问题，因此，亟需开发更加智能高效的网络拓扑优化方案。目前网络拓扑优化主要面临问题如下：
问题1：网络拓扑优化通常是一个组合优化问题，往往具备较高的（指数级）复杂度。
问题2：实际生产中，网络规划和优化受到各种条件约束，需要充分考虑到调整成本、网络整体时延和负载均衡等多种因素，这些约束通常是非线性的，给问题建模带来了挑战。
为解决上述问题，中国移动基于与清华大学共建的联合研究院开设了《面向复杂网络智能优化的图优化和智能调度能力》课题。中国移动“九天”团队与清华大学黄隆波老师团队合作开展技术联合研究，针对传输网络的拓扑连接优化问题（图1），研究并提出了一种基于深度强化学习的网络拓扑结构自动优化方案，通过智能体与环境不断交互学习的过程，实现大规模复杂网络拓扑优化问题搜索求解。
图1 传输网络拓扑结构示意图
（存在不同类型网元节点）
模型架构与创新点
基于深度强化学习的最优网络拓扑搜索的模型框架DRL-GS如图2所示，该框架对带多种约束的网络拓扑优化问题进行了形式化建模。针对网络拓扑优化NP-hard问题，采用Advantage Actor-Critic (A2C)、 Proximal Policy Optimization (PPO) 等深度强化学习技术进行网络拓扑搜索。同时，采用图神经网络Graph Neural Network (GNN) 技术来判定生成网络拓扑结构的合法性，采用近似方法替代了复杂的目标函数计算步骤，使得模型可以在大规模拓扑空间中高效搜索。
图2 基于深度强化学习的
网络拓扑搜索模型框架DRL-GS
技术亮点1
本方案提出了网络拓扑优化问题形式化定义，考虑网络拓扑调整可行性、调整成本和其他约束等，同时提出了一个通用的复杂网络拓扑优化模型框架。模型框架引入表示模块来学习网络目标函数，并对智能体的动作空间和状态空间进行压缩，结合先验知识对动作选择加以限制，有效地减少了动作空间规模，降低了问题复杂度。
技术亮点2
模型基于A2C和PPO算法构建了强化学习智能体来执行拓扑搜寻；同时，模型引入了GNN来高效判定智能体输出拓扑结构的合法性，确保满足所有优化约束条件的同时，大大提升拓扑结构搜寻性能。
评估结果与应用
本方案基于真实网络拓扑连接数据进行了测试，实验结果如图3所示：
图3：DRL-GS与随机搜索和启发式方法的
频率得分对比
实验结果表明，在大规模数据集上，本优化方案相比于启发式搜索性能提升了近34.71%。目前该研究成果已被IEEE通信顶级期刊IEEE TRANSACTIONS ON COMMUNICATIONS录用，未来将上线至中国移动网络智能化平台（智慧网络国家新一代人工智能开放创新平台），支撑中国移动在大规模网络拓扑结构上的应用拓展、优化和部署。
作者 | 九天基础算法团队
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
