当下,全球运营商正面临着互联网时代的猛烈冲击,4K/8K高清视频、VR/AR、云计算、大数据、物联网等新兴技术的推出,对通信网络的需求越来越高,运营商已经认识到变革的必要性,在发展策略和路标规划中已明确提出利用SDN/NFV等新技术对现有网络架构进行改变。
作为运营商城域网重要环节的BRAS设备,在这场变革大潮中也必须相机而动,以新技术新思路应对网络流量和需求变化带来的挑战。ADMAN(应用驱动城域网)转控分离方案正是在这样一个大背景下为运营商城域网应运而生的。
运营商网络主要包括传输承载系统,业务控制系统,以及OSS/BSS系统等,各系统中都有大量的专有硬件和私有接口,系统封闭且运营复杂。在网络建设初期,受限于当时的技术能力和业务需求,运营商建设了大量的CO(局端机房),这些CO分布在不同的地域,承载相当繁杂的业务,CO与CO之间也难以协同调度。在互联网时代的冲击下,这样的网络建设模式就暴露出来了一些核心问题:
网络刚性,网元封闭。网络由大量的专用设备构成,功能单一,价格昂贵,多厂商对接、维护都很困难。
业务烟囱,业务烟囱的根源在于大量CO分散部署,且在专用设备假设的网络基础上,多业务融合非常困难,新业务的开通也需要打通诸多关节。
在上面两点的基础上,运营商面临一个困境,那就是网络规模不断扩大的同时,运营收入却不能随之增长。首先,大量专用硬件需要建设大量的CO,导致网络建设成本增加;然后,不同厂商的设备需要运维人员学习,网络规模扩大后运维难度与日俱增,导致运营成本增加。同时,新技术需要迭代新产品,花费大量资金建设的网络设备,生命周期会越来越短。这三点原因造成了运营商目前的困境。
近年来,全球运营商都在努力引入新技术,以期缓解乃至解决上述问题。诸如Verizon、AT&T等国外运营商已在运营商网络重构领域卓有成效,国内三大运营商也相继在15/16年发布了网络重构白皮书。那他们重构的目的是什么呢,怎么做才能重构呢,答案就是CORD。我们引用OPENCORD组织对CORD的解释,CORD意为结合SDN、NFV和云的弹性,将数据中心的经济性和云的敏捷性引入运营商网络。从这里我们可以看到运营商网络重构的几个关键点,一是使用到SDN、NFV和云相关的技术,二是城域网DC化。下面我们就来详细看一下,运营商城域网重构的特点。
我们先来看看DC化。传统运营商城域网存在业务烟囱,CO按照行政区域分散在各地,业务难以跨CO调度。同时各个业务系统也是独立的,使用的都是专用硬件和专用接口,无法共享资源。为了消灭业务烟囱,我们提出城域网DC化的理念,将传统CO重构、改造为DC,把资源和业务管理集约化,在DC内、甚至DC间来协同管理网络资源和共享利用。因为运营商业务多种多样,我们提出了边缘DC、核心DC和区域DC这样的分层DC架构,对于边缘DC,我们希望部署一些时延敏感,流量大的业务,而对于区域DC和核心DC,建议部署一些时延不敏感,流量小,但会话数比较多的业务。同时,集中管控的软件可以放在区域DC或核心DC。这样的话,我们通过DC,把网络资源和业务资源收敛在DC内,再在DC内实现资源集约化和业务统一管理。那前面这一段的CO,里面放的基本上就是POP或者OLT这些简单的设备了。目前运营商网络提供业务的对象主要有三种,一个是Mobile,也就是3G、4G、5G等业务,对应了M-CORD业务场景;一个是企业用户,对应了E-CORD业务场景;一个是家庭用户,主要对应了R-CORD场景。本文所述ADMAN转控分离方案主要涉及到R-CORD场景,也就是面向家庭用户业务的场景。
图1 运营商网络重构- DC化
运营商将城域网DC化之后,在DC内做了什么事呢?第一就是图1 运营商网络重构-DC化引入了ETSI NFV架构。这个架构将NFV系统分为了三层,最底层的VIM层、中间的VNFM层和最上层的编排层。VIM层一般负责整合基础资源, 将标准硬件资源池化,这一层一般采用云计算相关技术来实现,如利用H3C CAS系统和H3CloudOS搭建X86服务器集群, 或利用OpenStack+KVM来承担VIM的功能;VNFM层一般负责VNF的创建、修改、回收、开机、关机等操作,VNF Manager(生命周期管理器)需要在VIM层提供的基础资源上执行VNF的生命周期管理;最上面的编排层用于在VNF上实现业务编排,该层一般由一个编排器负责,编排器往上还可能对接业务系统或更高层的编排器。
图2 运营商网络重构– ETSI NFV架构
ETSI NFV架构的核心功能就是搭建一套能自动创建VNF,并且自动给VNF下发业务配置的系统。我们利用这个系统将所有的VNF统一管理起来了,包括它的创建、删除,包括业务的下发和回收,包括业务流量引流。由此我们实现了城域网重构的另一个特点,那就是资源池化。
在传统的城域网中,配置非常复杂,各项业务混杂在一起,维护起来非常困难,对运维人员的要求很高,且牵一发而动全身,BRAS相关业务的变更也很困难。同时随着城域网的发展,对BRAS数量的要求也更大,而BRAS价格昂贵,且单台BRAS接口资源有限,无法承载更多的HJSW。依托于ETSI NFV架构重构城域网后,业务从HJSW就分流进不同的业务资源池,逻辑清晰,维护简洁,且不同资源池的变更不会相互影响,可以单个资源池升级或变更,实现资源的集约化管理和高效利用,并最终实现运营商的目标:降低设备成本(CAPEX)和运维成本(OPEX)。
图3 运营商网络重构–资源池化
资源池化后带来一个新的问题,那就是这么多业务该如何区分。在传统城域网中,一般采用VLAN或者QinQ来划分业务或者OLT的,但是在资源池化后,我们转而采用VXLAN来实现业务区分,在HJSW(POP),通过QinQ或VLAN,就将业务接入到不同的VXLAN处理,通过VXLAN将业务引流至不同的业务资源池,从而实现业务划分。引入VXLAN后,我们在运营商城域网实现了一跳入云,或者叫一跳入DC,不管POP与DC之间过了哪些设备,只需要VXLAN源目IP可达即可,从一定程度上屏蔽了运营商接入网络的复杂性。
图4 运营商网络重构–网络虚拟化(VXLAN)
最后一个特点,SDN化,大家都知道,早期的SDN有一个核心理念,那就是转发平面与控制平面分离,网络集中控制。在ADMAN方案中,我们同样引入了转控分离这个理念,原因有几点:
传统物理BRAS价格昂贵
传统物理BRAS不够灵活,业务上线慢,变更慢
vBRAS转发性能不够
vBRAS CPU和内存性能足够好,适合大会话小流量
采用转控分离,vBRAS做CP,转发性能好的物理设备做DP
新华三基于CORD的理念设计出来的城域网重构方案名为ADMAN解决方案。下图是ADMAN解决方案业务模型架构,在这个组网架构中,我们使用NFVO、VNFM、CloudOS和CAS,来组成整个ETSI NFV架构,从而实现了vBRAS资源池化,同时,这个组网中有POOLGW交换机,做为整个DC的出口,连接到不同的POP交换机,POP下挂OLT,业务报文从OLT携带VLAN或QinQ上到POP,POP通过VLAN标签匹配VXLAN,将报文通过VXLAN送入DC,DC内再按照不同的业务类型进入到不同的资源池进行处理。整个架构有两个最重要的地方,一是标准,基于ETSI NFV架构可以确保方案标准化;二是在标准的基础上,整体方案实现了开放性,也就是说整个架构内的组件是可替换的,包括VIM、NFVI、NFV甚至是POP。
图5 ADMAN解决方案业务模型架构
作为城域网主要业务之一的视频业务不断发展,从标清,高清到4K高清,随着4K产业链相关技术的成熟,4K视频业务已如火如荼的进入了商业化实用阶段,4K视频在给用户带来高品质视觉体验的同时,也给承载4K视频的基础网络,带来了前所未有的挑战:
更高的带宽。与普通高清和标清相比,4K带宽要求大幅上升
业务模型 | 4K高清 | 普通高清 | 标清 |
忙时平均流量(Mbps) | 20 | 6.2 | 2 |
忙时平均带宽(M) | 50 | 8 | 4 |
更小的时延和丢包率。4K点播业务要求用户到CDN边缘节点的网络时延不能高于21ms
业务模型 | 4K点播 | 普通高清 |
丢包率 | <2‰ | <1‰ |
时延 | 15~20ms | 20ms |
除了高带宽和更小时延的要求,IPTV视频业务具有如下特点:
视频点播业务基于IPoE认证
视频业务的规划基本基于PSPV。外层VLAN标识不同OLT设备,内层VLAN标识业务类型,对所有用户来说,视频业务类型的VLANID相同;通过将单个外层VLAN+单个内层VLAN与VXLAN建立对应关系,可以实现基于OLT为粒度的调度。此种情况下,现网VLAN规划和VLAN数目可满足要求
业务封闭,安全问题较弱。视频业务带宽要求基本固定,同时由于基本属于私网业务,安全危险系数较低
转发能力需求高,QoS需求弱。视频业务对带宽、时延、丢包、抖动敏感,但对基于用户的统计、CAR、HQoS需求较弱
由此可见,为了视频业务的快速发展,首先要解决的是带宽限制问题。按照常规思路,解决之道是对现有BRAS设备进行扩容。但BRAS设备扩容成本高,且传统BRAS硬件采用各种专用器件搭建,BRAS软件也由厂家以黑盒方式提供,扩容复杂度亦高;另一种思路是,使用当前的云化技术,由基于标准X86服务器硬件的vBRAS替代硬件BRAS升级,但vBRAS天然适合处理大session、小流量的业务,当前服务器的转发能力尚不能够与NP设备或ASIC交换机抗衡。
在此背景下,运营商希望利用SDN/NFV技术对城域网进行重构,将视频点播业务流量进行转发与控制分离。
目前ADMAN转控分离方案中,CP(控制平面)全部是vBRAS来做,DP(转发平面)根据硬件形态不同分为三种,NP、ASCI和X86,对应的是路由器、交换机和vBRAS。
vRBAS CP网元专注于控制功能,负责处理控制报文,以控制报文触发建立并维护用户会话表,并与远端AAA/DHCP系统交互。用户认证通过后,把用户信息和业务信息形成流表,通过OpenFlow接口由CP下发到DP,指导用户数据报文独立转发。
DP承担数据转发功能,不对控制报文进行任何解析,直接通过VXLAN隧道将其透传至vBRAS CP,认证完成并下发流表后,将流表转换为可指导转发的硬件表项,后续用户数据报文直接由DP处理,无需vBRAS参与。
UCM全称为统一配置管理(Unified Configuration & Management),作为配置入口呈现给用户,为保障可靠性要求部署于集群服务器上,主要用于统一图形化配置界面,配置分解后下发到CP和DP,实际上做为ETSI NFV架构的编排层存在。
图6 运营商网络重构– SDN化(转控分离)
BRAS CP池和BRAS DP间的接口标准是决定控制和转发耦合性大小的关键,站在运营商的角度,期望两者之间采用松耦合方式,交互尽量少,最终能够实现异厂家控制网元和转发网元的对接。因此,在设计两者间接口时,需采用标准格式,信息少而精。
图7 CP与DP的松耦合接口
CP和DP跨复杂的Underlay网络来交互PPPOE/IPOE控制报文,为保证控制面可通过二层信息提取终端用户特征,CP和DP交互时需保留原始二层头、且能够通过某种机制携带原始入接口到CP,因此构建Overlay网络常用的VXLAN标准是非常合理的选择。DP向CP传递报文前,需将入接口映射为VNI,通过VXLAN隧道头携带到远端CP。采用标准VXLAN封装的另一个考虑是,为降低成本,有可能采用可编程ASIC代替网络处理器作为DP转发核心器件,而一般的可编程ASIC支持标准VXLAN封装很容易,但支持非标的VXLAN封装则相当困难。
图8 VXLAN报文封装示意图
CP认证通过后,需向DP下发指导转发的用户会话表。同时,DP也需周期性把基于用户的会话统计向CP反馈。此类和转发强相关的信息交互适宜采用OpenFlow标准,通过定义清晰的属性名称、类型、长度等元素,有利于异厂家互通。
图9 OpenFlow报文封装示意图
UCM作为对外统一配置入口,接收用户输入后,解析配置并分解,分别下发给CP和DP节点。此接口采用业界下发配置常用的NETCONF标准,通过定义明确的YANG模型,有利于异厂家互通。
转控分离系统需保持与原有业务系统(Radius服务器、DHCP服务器、策略服务器、Portal服务器等)的交互,交互仍采用标准接口,如Radius协议、DHCP协议、Portal协议等。
BRAS CP和BRAS DP作为独立网元受网管EMS系统管理,接口遵循标准的SNMP。
UCM以Restful接口提供编程能力给MANO内部的编排器。MANO内部的VNFM与BRASCP网元间遵循ETS INFV标准中的Vn fm-Vn f接口,以实现CP网元的生命周期维护和弹性扩缩容。
新华三在运营商大规模部署高清视频业务的背景下,为运营商应对高清视频业务挑战,重构城域网,提出了视频点播业务转控分离方案,有两种组网方式:
POP点作为DP
DP资源池化
图10 POP做为DP方案组网图
该组网方案一般将vBRASCP部署在核心DC。由CP和AAA,DHCPServer进行交互。要求CP和DP之间直接建立控制VXLAN隧道,且VTEP地址源和目的地址和OpenFlow连接的源和目的地址一致。对于下行的业务报文,DP可以根据CP下发的OpenFlow流表为报文封装QinQ信息,适用于各种QinQ规划。适用于接入侧未部署边缘DC,DP位置同传统BRAS或汇聚交换机。优势在于转发路径短,现网机房无需改造。但由于DP分散部署,转发资源无法共享,转发资源使用率受限。
图11 DP资源池组网方案
该组网方案适用于已完成边缘DC改造的局点,DP以池化形态部署于边缘DC内,分流节点只具备VXLAN分流能力,将流量牵引至边缘DC,由边缘DC内前置的PoolGW设备做分流调度。优势在于转发资源池统一对外提供服务,资源使用率高,可解决用户流量潮汐问题。但需将现网CO改造为边缘DC,并且转发路径变长,在分流节点无专用链路到DC情形下会增加CR负载。
对于视频点播业务来说,大多采用的是IPoE协议。在转控分离架构中,需要用户侧的IPoE终端首先在CP上完成认证,认证成功后的视频业务流量由DP负责转发。其详细的业务转发流程:
图12 转控分离业务认证流程
用户的DHCP请求首先会送到POP DP,DP对用户侧报文区分控制报文和数据报文,将控制报文封装于VXLAN隧道送往CP;对于DP资源池的组网方式,用户的控制报文首先经过POP交换机将报文封装进VXLAN,发送给边缘DC的POOL-GW,POOLGW根据VXLAN ID,将报文发送给资源池DP处理,资源池DP收到报文,识别为控制报文,通过VXLAN发送给CP处理。
CP解VXLAN封装,对原始控制报文进行认证处理,其间需维护用户会话表项、与AAA交互。
AAA认证通过后,可使用AAA分配的地址,或在本地地址池中分配地址,也可由远端DHCP Server分配地址。
将用户二层信息,IP地址等信息组成流表,CP通过OpenFlow连接下发给DP。
DP根据OpenFlow流程生成本地主机路由表、ARP表等表项,并增加网段路由以对外发布。
后续数据报文按照上述表项在DP完成转发处理,CP无需参与。
运营商城域网正面临着时代的严峻考验,在SDN/NFV和云计算技术逐步走向成熟和大规模商用的背景下,城域网必然会迎来新生。