- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 新华三人才研学中心
- 关于我们
中国移动拥有庞大的IT基础设施，而且一直保持着快速增长的态势，但在这个庞然大物中，IT资源的孤岛现象却是比较严重的，大部分IT系统依然采用传统的竖井式建设模式，资源无法在跨系统间进行共享，利用率非常低；目前移动的业务支撑系统、网管中心、信息安全管理等多种业务都是基于这种竖井式建设，所以移动急需对现有分散建设的资源池进行横向跨域整合，实现统一资源池，利用虚拟化网络构建满足物理资源和虚拟资源的灵活调度的需求，并实现跨数据中心机房多出口备份需求。
某省移动业支互联网接口域的网络结构正是“1、业务需求背景”章节中提到的这种竖井式建设，如图1所示。
图1 某移动业支互联网接口域网络结构
该省业支互联网接口域建设有两个机房，均为传统网络部署，且网络结构一致：均分为出口防火墙、核心交换机和接入交换机三个层面；每个机房均有两个出口，分别连接至MDCN和Cmnet，其中连接Cmnet的出口防火墙串联在核心交换机与Cmnet出口交换机之间，为业务提供NAT及访问控制服务；连接MDCN的出口防火墙不做NAT，考虑防火墙故障时能够迅速恢复业务，选择了旁挂核心交换机的部署方式，防火墙故障时可直接bypass处理。
出口防火墙、核心交换机与接入交换机间部署了OSPF打通业务路由，两个出口防火墙与对端设备间严格控制路由发布，故采用静态明细路由打通路由，其中Cmnet出口防火墙还部署一条默认路由指向公网，这些静态路由均在OSPF中发布。
随着IT业务的增长，现网的这种网络模式也逐渐体现出其缺陷：
1. 核心交换机既做汇聚设备，又做出口设备，随着接入层的的扩容，加剧了设备性能压力和维护复杂度；
2. 两个出口防火墙上的防护策略随业务增长，上线新业务需要分别在两个出口防火墙上调整路由、安全策略、NAT策略，维护复杂度逐步加剧；
3. 两个机房间有部分业务有互访需求，通过MDCN骨干网打通，业务变更时需要MDCN骨干网管理员配合，增加了维护难度；
4. 两个机房网络物理资源为独立部署，无法实现网络资源的备份及复用。
针对该省业支互联网接口域传统网络的多项缺陷，新华三协助客户对传统网络进行SDN改造，借助SDN技术实现网络资源的整合，提升互联网接口域的网络资源利用率，降低维护复杂度，满足统一资源池化的建设要求。本章节将对该业支互联网接口域SDN改造的组网设计做简要介绍。
SDN网络分为Underlay和Overlay两个层面，如图2所示，Underlay是传统单层网络，为SDN网络提供基础转发架构。
图2 某移动业支互联网接口域SDN改造Underlay网络
Underlay规划设计：
各Leaf、Border设备两两做IRF，Border兼做ED设备（Edge Device，边缘设备），两台Spine设备不做IRF，独立部署。
每组Leaf、Border分别和Spine之间使用本框三层聚合端口互联，每条互联链路均采用30位地址段作为互联地址。
Leaf、Border和Spine间运行OSPF协议，每个OSPF设备使用Loopback0接口地址作为OSPF协议的Router-ID，整网只使用一个Area 0；OSPF发布互联地址网段和Loopback0地址网段，互联接口采用点到点连接P2P，各链路间形成等价路由。
Leaf、Border和Spine之间运行EVPN协议，每个设备采用Loopback0接口建立IBGP的邻居，其中两台Spine设备作为RR设备，Leaf、Border设备作为反射客户端。两个机房分别规划不同的AS号。
Border上通过跨框聚合端口旁挂一组M9008（IRF）作为MDCN出口防火墙，并划分子接口区分上下行；上联通过跨框聚合端口与一组M9008（IRF）互联作为Cmnet出口。
Spine设备与对端机房Border&ED设备三层本框聚合互联，两机房Border&ED间通过原有OSPF进程打通Loopback0接口地址路由，并使用Loopback0接口建立EBGP邻居，使能l2vpn evpn地址族使其支持EVPN路由的转发，ED间互连的三层接口上开启DCI功能，以便在ED之间建立VXLAN-DCI隧道。
Overlay网络通过逻辑链接完成业务的通信，Underlay网络构建完毕后，则按照业务需求开始对Overlay网络进行规划及建设，如图3所示。
图3 某移动业支互联网接口域SDN改造Overlay网络规划
Overlay规划：
两个机房共用一套SDN控制器，并分别规划为一个Fabric，两个Fabric间使用EVI2.0方案通过ED设备（Border兼做ED）打通二层以及三层表项，实现业务主机跨机房部署以及故障虚机二层迁移等大二层需求。
每个机房各有一套Border设备，每套Border上对接两套防火墙分别作为Cmnet和MDCN的出口，对于同一租户，在Border上通过指向MDCN防火墙的明细路由引导去往MDCN的流量，通过指向Cmnet防火墙的默认路由引导去往Cmnet的流量；
对于同一租户，两个Fabric相同方向的出口间还形成主备关系，正常情况下业务流量只走一边出口，当出口故障时流量切换到备用出口。
除了实现主备出口的需求，为满足双出口资源均得到利用的要求，规划了两个租户，通过为两个租户差异化设置出口网关的主备关系的方式，实现两个Fabric出口均承载业务，且同方向出口间相互备份的效果。
现网还存在传统网络业务，需要复用SDN网络的出口设备，故将传统网络的接入交换机与Border设备对接，并在Border上为传统网络设备单独划分VRF；两个出口防火墙上也为传统网络业务单独划分Context，与SDN业务做区分。
传统业务与SDN业务有部分互通的需求，MDCN属于移动内部网络，故通过在MDCN防火墙与Border上行互联打通双方路由实现业务互通及访问控制。
对于该省业支互联网出口域的改造，最为特别的需求是：每个Fabric都有多个出口，两个Fabric对称的两个出口是主备关系。正常情况下业务流量只走一边出口，当出口故障时流量切换到备用出口；同时为满足双出口资源均得到利用的要求，还要实现两个Fabric出口同方向出口间相互备份，两边均承载业务的效果；本章节主要对多出口和多出口间主备的方案设计及其原理进行介绍。
图4 单Fabric多出口资源规划示意图
如图4所示，该项目中，在单个Fabric中，去往Cmnet的防火墙和去往DCN的防火墙均连接在同一台Border设备上，故一个Fabric只能创建一个网关成员组，则出口资源的规划按如下思路配置。
图5 单Fabric多出口配置流程示意图
一个网关组成员对应一套IP地址池和一套VLAN池；
在该省业支互联网出口域改造中，为了区分不同出口，外部网络将规划为VLAN类型，故出口网关成员的IP地址池只需包含“虚拟设备管理网”和“租户承载防火墙内网”即可，无需“安全外网地址池”；
VLAN池只用于Border与FW间的租户承载网，故只配置一套租户承载网类型的VLAN池即可，外网出口所用的VLAN在添加外部网络时单独指定；
为该网关成员组同时添加两个FW资源池，分别对应去往Cmnet和MDCN的两台防火墙。
图6 单Fabric多出口内部逻辑示意图
如图6所示，单Fabric多出口逻辑设计如下：
在租户A下分别创建租户vRouter和MDCN vRouter，这两个vRouter使用同一个非default类型出口网关（即不自动下发默认路由，需单独下发灵活路由）；
分别创建Cmnet外部网络和MDCN外部网络，且均为VLAN类型外部网络，有各自的外部互联子网和VLAN；
在租户A下再创建两个服务资源fw-cmnet1和fw-mdcn1，并分别将这两个服务资源下发到两个出口防火墙上；
为租户vRouter绑定以下资源：租户业务子网、出口网关、服务资源fw-cmnet1、外部网络Cmnet；
为MDCN vRouter绑定以下资源：出口网关、服务资源fw-mdcn1、外部网络MDCN；
将租户vRouter和MDCN vRouter虚拟路由器连接Router-link；
在租户vRouter上配置默认路由指向Cmnet出口设备互联地址，在MDCN vRouter上配置明细路由指向Border上与MDCN FW上行口互联地址（MDCN出口防火墙旁挂Border）；
创建浮动IP，将其绑定在外部网络Cmnet上，并绑定外部网络Cmnet的子网作为NAT地址池。
按本章节所述设计完成相关配置后，并为传统网络增加相应的VPN、Context等配置后，单个Fabric多出口将实现图7所示效果。
图7 单Fabric多出口实现效果
Fabric-1完成搭建后，将第二个机房搭建为Fabric-2，并在SDN控制器上通过选择Border&ED设备完成Fabric连接，即可开始继续做主备出口的搭建。
图8 多Fabric主备多出口资源规划示意图
如图8所示，主备出口即是在SDN控制器上配置出口网关时，同时绑定两个出口网关成员，分别对应两个Fabric的出口网关组，然后通过调整不同业务vRouter中出口网关成员的优先级决定该业务的主备出口（网络分段的出口通过调整外部子网优先级实现），此时出口资源的规划如图9思路配置。
图9 多Fabric主备多出口配置流程示意图
单个Fabric多出口的配置思路不变，与“4.1单Fabric多出口资源规划”章节中所述一致；
重点在租户下，将两个Fabric多出口作为两个出口网关组成员，加入同一出口网关，在vRouter绑定出口网关时分别为两个成员调整优先级，以区分主备出口（配置了网络分段的出口网关通过调整外部子网优先级实现）；
不同业务（vRouter）可以对出口网关成员分别设置优先级，以实现整体上两Fabric出口互为主备的需求。
图10 多Fabric主备多出口原理示意图
当给出口网关成员设置不同的优先级后，SDN控制器给主备Border设备下发路由发布配置时会有差异：如图10所示，主出口Border发布路由时不改变路由属性，备出口Border发布路由时增加路由策略，调整BGP路由优先级，使得该vRouter下EBGP>IBGP>Local，同时增长发布路由的as-path属性长度，将默认的as-path 200更改为as-path 200 200，备出口控制器下发配置示例如图11所示。
bgp 200
#
ip vpn-instance业务A
#
address-family ipv4 unicast
default-route imported
balance 4
preference 20 30 255
import-route static
#
address-family ipv6 unicast
default-route imported
balance 4
preference 20 30 255
import-route static
#
route-policy SDN_POLICY_IPV4_业务A permit node 10000
apply as-path 200 200
#
ip vpn-instance 业务A
route-distinguisher 5:10092
description SDN_VRF_业务A
#
address-family ipv4
export route-policy SDN_POLICY_IPV4_业务A
vpn-target 0:10092 1:10092 import-extcommunity
vpn-target 1:10092 export-extcommunity
#
address-family ipv6
export route-policy SDN_POLICY_IPV4_业务A
vpn-target 0:10092 1:10092 import-extcommunity
vpn-target 1:10092 export-extcommunity
#
address-family evpn
vpn-target 0:10092 1:10092 import-extcommunity
vpn-target 1:10092 export-extcommunity
图11 备出口控制器下发配置示例
上文介绍了该项目方案中出方向路由主备选路的原理，对于进入资源池网络的流量，同样需要实现主备选路，且入路由和出路由需要相互对应，实现倒换联动。以MDCN出口为例，本章将介绍内外路由倒换联动的原理。
图12 主备多出口路由倒换逻辑示意图
防火墙上，当MDCN vRouter绑定了MDCN外部网络后，二者的VRF之间会通过跨VRF静态路由互指实现内外流量打通，此时可在外部网络VRF中将指向租户业务的静态路由通过动态路由发布出去，然后通过调整两个Fabric出口发布路由的优先级实现入网路由的主备。
防火墙上，MDCN VRF和MDCN外部网络VRF间通过跨VRF静态路由互指实现内外流量打通；Border与防火墙间，当租户绑定防火墙资源后，也会通过静态路由打通内外部路由，因静态路由天然缺少检测机制，则如图12所示的1和4接口任一故障后，内外部路由都无法联动倒换，导致来回路径不一致，因此需手工在防火墙和Border设备上增加端口联动机制，实现联动倒换：
防火墙上，将上行口1和下行口2绑定至同一接口联动组，配置如图13所示。
#创建接口联动组1
collaboration-group 1
#与外网相连接的上行口
interface Route-Aggregation12.200
port collaboration-group 1
#与Border相连接的下行口
interface Route-Aggregation11.2001
port collaboration-group 1
图13 防火墙上将上行口和下行口绑定至同一接口联动组的配置
当联动组内任一成员接口的状态变为DOWN时，联动组内的状态为UP的其它成员接口会被置为Collaboration-down状态，联动组的状态为DOWN，组内所有成员接口均不能传输报文。
Border设备上，将上行口3和下行口4通过Track及EAA策略相关联，配置如图14所示。
#创建track项关联与Spine相联接的下行口
track 1 interface Bridge-Aggregation 1
#通过EAA策略将下行口Track和与防火墙相连的上行口关联
rtm cli-policy test
event track 1 state negative
action 0 cli system-view
action 1 cli interface Bridge-Aggregation 11
action 2 cli shutdown
user-role network-admin
图14 Border设备上将上行口和下行口通过Track及EAA策略相关联的配置
当Track项中探测到上行接口DOWN时，EAA策略生效，将强制关闭所有下行接口；因此项目方案中，Border下行与Spine连接的口DOWN后防火墙无法感知路由切换，故Track探测下行口，EAA策略设置为联动关闭上行口。
新华三通过SDN技术网络功能虚拟化和网络控制集中化的优势，实现了以创新的网络结构对移动业务支撑资源池网络的资源整合，提高了现有网络资源利用率，降低维护复杂度，是H3C SDN技术在移动业支网络虚拟化改造的一次成功实践。
反馈。
支持
售前咨询
售后咨询
人工在线咨询
