物联网时代的烟草数据中心- 新华三集团-H3C

物联网时代的烟草数据中心

【发布时间：2011-11-14】

烟草行业信息化建设正向着物联网迈进，但如何建设“不可替代的物流企业”呢？关键是掌控行业整个流程的全部信息，从一粒种子撒入农田到一支成品香烟化为灰烬，都能实现信息的收集，传送，分析提炼。尤其是最后对海量信息分析提炼，需要一个面向业务的，弹性、智能的数据加工分析体系，这就是物联网时代的烟草新一代数据中心。

1.1. 烟草物联网新一代数据中心

不论是工业还是商业都在走物联网之路，并且随着国家烟草行业集约经营，减少重复投资的总体思路逐渐铺开，在国家烟草专卖局的统一指导下，工商一体化的物联网信息反馈系统已经开始在上海、江苏等地实施，并且经过实践证明是科学的、合理的。

同时我们注意到，烟草物联网借助各种先进的信息技术如GIS、GPRS、RFID、INTERNET、BI构建一个全新的物物互联平台，实现各种数据的统一统计和分析。最终目的是各个环节单位，基于权限范读取提炼后的信息，使烟草生产企业、商业企业、零售户、消费者、烟农之间异地、远程、动态全天候进行信息交互，最终达到生产供给与需求之间的最佳平衡，保持产业链的健康持续发展，为烟草行业做大做强奠定基础。

从全局的角度看，烟草行业的物联模型如下图所示：

在感知层面：通过有线、无线等方式探知目标状态的改变，如烟田温度、湿度、土壤酸碱度；原料工业库房入库，成品打码，运输位置，商业入库、出库扫码，销售扫码等等。

在网络层面：采用行业内联网或互联网，传送上述感知到的一切变化信息。

在应用层面：建立统一的电子地图（GIS）和在途信息管理平台实现在途信息的跟踪、展示、查询、监控、调度和统计分析等功能。例如，通过实时传感采集和历史数据分析功能，建立一套烟叶生长仿生数据系统；通过智能分析与联动控制功能，及时精确地满足烟叶作物生长对温、湿、光、土壤的需求，达到高幅增产的目的；使烟叶作物完全遵循人工调节，达到高效、实用的农业生产效果。当然在工业领域拥有更多的工业控制、制造包装、仓储运输等信息化流程这里不在逐一而论。

显然应用层面汇聚了烟草作物农业生产，工业制造，商业销售，物流运输等所有数据。对如此庞杂海量数据的分析提炼需要一套先进的数据分析系统，同时烟草行业在向物联网迈进的进程中，新的业务应用会不断产生，数据中心如何满足快速部署新业务系统也变得尤为重要，当然高可靠性与可用性依然是数据中心不变的追求。

传统数据中心结构下，由于多种技术之间的孤立性(如LAN与SAN)，HPC(高性能计算)环境下的超低时延接口Infiniband。不仅使得数据中心布线复杂，不同的网络、接口形体造成的异构还直接增加了额外人员的运行维护、培训管理等高昂成本投入，特别是存储网络的低兼容性特点，使得数据中心的业务扩展往往存在约束。

另外传统应用对IT资源的独占性(如单个应用独占服务器)，使得数据中心的业务密度低，造成有限的物理空间难以满足业务快速发展要求，在烟草行业步入物联网的今天，IT资源利用效率低下，应用系统部署过程复杂、周期漫长，都难以满足烟草行业迈向物联网的灵活IT需求。为此，新一代数据中心必须能够解决成本、弹性、按需增长的业务要求，能够灵活的调整IT资源服务不同的应用请求。

因此：新一代数据中心必然要求一种动态、标准化、模块化的IT运行方式，在极大程度上降低新一代数据中心基础设施的单位建设成本。通过网络与IO的整合来消除数据中心的异构网络与接口环境，支持简化的布线与网络环境。总的来说烟草行业新一代数据中心的基本特征是标准、动态、弹性、融合，能将大量的计算、存储、网络资源灵活的组合起来，动态的支撑烟草行业的物物互联的信息发展需要。

1.2. 新一代数据中心网络规划思路

要达到上述新一代数据中心的目标，必然要有合理、科学的规划思路与新的技术支撑，规划理念上将采用先进的模块化设计思路，形成可以灵活组装的功能单元：

l 数据中心以应用群为单位整合成模块部件

l 根据数据中心不同业务区域性质设计安全模块要素

l 安全模块可集中部署数据中心访问控制策略

业务需求：以逻辑或数据中心物理区域进行业务规划，有助于企业多种业务的开展与管理

数据流：根据数据流特征进行分区规划，尽量使得数据中心业务流流向可控、同一区域相似性强、流量可监测

应用的逻辑功能：不同应用的部署方式有区别，对网络配置需求不同，按应用逻辑特点进行分区模块化，便于维护管理差异性应用

IT安全的需求：数据中心分区，有助于区域的统一安全要求标准化管理

其次采用标准化的设计方法

l 对数据中心模块设计规范化

l 相同架构要求的业务区采用同样的基础网络组件

l 扩展数据中心区域可直接进行模块复制

1.3. 新一代数据中心网络的技术支撑

有了良好的规划设计思路，还需要有将规划变为现实的技术支撑。面向业务的新一代数据中心网络技术包含：网络虚拟化技术，可靠无阻塞的高速交换，精细化的流量调度，超可用的体系设计，FC与Ethernet的融合，智能化的管理维护等等。

1.3.1. 虚拟化交换网络

虚拟化技术是新一代数据中心的关键技术之一，将一台物理服务器虚拟化成多台逻辑虚拟机（Virtual Machine），不仅可以大大提升数据中心计算资源的利用效率、节省能耗，同时虚拟化技术提供的动态迁移、资源调度，使得新一代数据中心服务的负载可以得到高效管理、扩展，新一代数据中心的服务更具有弹性和灵活性。虚拟化可以说是资源高效利用与业务快速部署的先决条件，烟草行业建设物联网所面临的业务上线种类繁多，频繁调整的问题，即可有了解决之道。

从网络角度看虚拟化的计算资源，一个VM完全等效于一台物理服务器在运行，而VM的动态机制，则与物理服务器的位置搬迁是完全不一样的，对于VM迁移带来的网络配置、统计、策略控制等复杂管理工作，使得当前网络运维难度增大，因此，网络虚拟化技术EVPA(IEEE 802.1Qbg)能够支持虚拟交换功能，对于虚拟交换网络范围内VM动态迁移、调度信息，网络总可以跟随VM的动态变化提供按需交换(配置、统计、监控、管理)，能够极大强化新一代数据中心的虚拟化服务功能。还可以通过LLDP扩展协议得到同步以简化运维，而不失效率。

EVPA技术实现了网络策略随VM服务器迁移的一致调配，能够按需扩展、灵活调度部署，计算资源，这由虚拟机的迁移功能实现。但VM服务器的迁移是有条件的，即只能在同一个二层网络范围内迁移（如图所示）。

图透明网络支持虚拟资源的调度迁移

在烟草物联网时代，业务的部署与调整将十分普遍，对虚拟机的迁移范围也提出更宽广的要求，如何实现二层网络横向扩展，就显得有为关键。

H3C的IRF2技术可以实现横向多虚一，解决大二层网络的需求，为虚拟机的动态迁移创造基础的网络环境。另外IRF2技术端到端虚拟化灵活支持汇聚、核心层多个网络节点虚拟化为一个节点，链路交织被捆绑成单条逻辑链路；消除复杂VLAN+MSTP/VRRP；数据中心网络范围内路由&VLAN规划极大简化；单个物理节点、链路的故障不影响上层路由，并有效实现链路级与设备级的容余保护。如下图

传统网络 H3C IRF2网络

图 H3C IRF2数据中心网络实施效果

1.3.2. 可靠完全无阻塞交换

在烟草行业物联网时代，接入网络的终端数量与种类将急剧增加，烟田的温度、湿度感应数据，库房的烟雾、火灾报警系统，车辆运输的位置信息，产品的出入库条码记录等等，使得数据中心接收的原始数据倍增。在这样的背景下，负责最终信息分析提炼的数据中心网络必须具备不间断的转发能力，一方面是设备本身架构先进合理，另一方面则是数据中心网络规划合理科学。

l 无阻塞的数据中心交换机

烟草物联网下的新一代数据中心应用部署密度比之传统数据中心高得多，流量情况更为复杂，数据性能要求更为严格，如果交换平台核心不能满足完全无阻塞的交换条件，瞬时引起的阻塞必然会导致网络流量异常，即使是理论上小概率的瞬时阻塞，也可能在新一代数据中心网络中反复出现。这对物联网来说，是存在隐患的，因为不断增长的业务和流量可能因为核心平台的隐患而有所限制(如莫名其妙的情况下发现网络偶然不畅)，这种潜在问题有时是无法分析清楚的。因此，完全意义上的无阻塞交换，是新一代数据中心核心交换平台的关键且跟本的要求。

新一代交换架构采用三级CLOS&CELL交换，可支持完全无阻塞交换，是完全遵循复杂业务流要求的，能够将大规模密集流量在交换系统内部均匀交换，避免了阻塞带来的性能恶化与严重下降。其实现基本原理如下图所示，在交换机系统内部采用动态选路方式(线卡、交换网保存内部数据转发路径信息，如果出现路径不可用或网板、线卡故障，选路信息动态改变，这一切操作由硬件系统内完成)，业务线卡接收到的数据包文，进行等长切片处理形成定长信元，每个信元加载动态选路的标记头(长度不够的信元会进行内部填充)。最后在出端口进行信元重组，还原出报文的原始面貌。

图 H3C新一代CLOS架构&Cell交换实现模型

l 如何构造无阻塞交换网络

单台设备无论如何难以支撑烟草行业新一代数据中心无阻塞交换的需求，必须通过合理网络设计，实现大量服务器的协同计算，因此新一代数据中心网络必须规划为无阻塞网络。

下图是一种新的无阻塞网络模型，也被称为CLOS组网结构。在接入层，每台交换机当前可提供48个千兆端口，无阻塞上行5个万兆到5台高密万兆核心设备，则整个集群规模可支持到240台单端口服务器,120台双端口服务器；当服务器规模需要扩展时，则增加接入交换机与对应的核心设备万兆端口数量，平滑扩展数据中心服务器规模，并实现服务器间绝对无阻塞交换。网络规划上将二层终结在接入层，使用等价路由将接入交换机的上行链路带宽进行负载分担，从而可以实现整个网络的无阻塞交换，任意服务器端口之间可以具有千兆线速的能力，完全消除了新一代数据中心集群内部的网络带宽限制因素。

图大规模无阻塞集群网络

消除了带宽限制的无阻塞集群，应用内部交换数据变得足够灵活，数据访问不再受限于服务器的物理位置，将使得数据中心的流量在大范围内流动。以无阻塞网络构建的大规模计算群，更有利于烟草行业物联网下新一代数据中心性能的充分发挥。反过来也要求数据中心网络不断提升自身带宽，以承载更大的数据交互需求，这也云数据中心网络的发展方向。

在建设烟草行业新一代数据中心时，要用发展的眼光看问题，网络规划即不能捉襟见肘，也不可盲目超前，新一代数据中心网络的规划，可以以上述无阻塞网络为最终目标兼顾业务流量发展进度，分步实施。

1.3.3. 精细的流量调度

在新一代数据中心环境下，转发性能无疑是最为关注的核心要素，但是，有了超高速的交换性能，不一定表示网络时时刻刻都能够达到理想的效果，极个别的时间因为突发流量造成网络的瞬时拥塞，甚至丢失数据包。

这种现象在烟草行业物联网时代将变的比较普遍，如多台入库条码服务器同时访问一台数据存储设备，为多对一的访问模型，此时被访问端口很容易拥塞；再如，在烟草物联网时代，物流监控等海量视频资料存放在媒体服务器上，客户端的请求因为交换网络的延迟、抖动将造成图象断帧、模糊。再者，虚拟机的迁移，以及新业务的部署上线都会改变数据中心网络的流量模型，导致拥塞的产生。

从上述分析可以看出烟草物联网环境下数据中心的突发流量，比之一般网络的突发更为严峻，新一代数据中心网络一旦发生拥塞丢包，所需要处理的数据量比常规条件下大得多。因此网络的突发吸收能力与流量调度能力决定了新一代数据中心密集顺畅数据吞吐、交互、处理能力。

应对突发流量，交换机采用缓存技术，但技术实现也有优劣之分：传统技术实现多以出端口缓存为主，这种机制使得所有数据流的突发在出端口处被缓存，缓存的大小即是网络最大可能的突发值。

新一代向业务的物联网数据中心的核心交换平台一般采用入端口缓存（如图所示），一般结合虚拟输出队列(VoQ)技术，在每个入端口方向配置大容量缓存，在出端口配置较小缓存，使用专用流量管理器件TM(traffic manager)进行内部流量管理，并采用credit来控制每个端口入方向的数据向出端口的突发，每个出端口向其它入端口分配credit数量，当出端口在线速向外转发数据时，如果入方向过来的数据速度较快，在达到或超过出端口设定的突发门限时，出端口不再为入端口分配credit，从而使得入端口的数据缓存在本地的大容量buffer中，当出端口(保持线速对外转发)的排队下降到门限以下，继续向入端口分配credit，使得缓存的数据得以继续转发。

图入端口缓存

因此入端口缓存机制下，各端口的数据在出端口拥塞时都能在本地缓存，因而缓存容量是与入端口数成正比的线性关系。这种线性比例的缓存能力，能够自适应于新一代数据中心的不定向突发流量，交换缓存架构能够自动调节不同方向的瞬时流量拥塞压力，是当前新一代数据中心网络的主要应用技术。

设备具备应对突发流量的能力，H3C数据中心网络设备具备分布式超高缓存能力，为每个10GE接口分配256M的缓存空间，可以保证10GE端口线速转发缓存200ms的数据包，能很好的解决数据中心多服务器访问一台存储，或高速端口访问低速端口时的流量溢出，避免造成数据丢失的问题。

1.3.4. 高可靠与可用性

新一带数据中心承载着烟草物联网核心的信息资产，网络的可靠与可用性无庸置疑。新一代数据中心关键网络设备采用控制与转发分离的体系，控制引擎倒换与热插拔不会对交换网造成任何影响，从而实现绝对零丢包。同时采用CLOS多级交换机架构，多块交换网板之间实现容余保护，完全消除交换引擎故障引起的转发中断或者性能陡降现象。另外采用CLOS多级交换架构，实现流量转发分布式精细调度，完全避免系统内部头阻塞出现。并且设备采用竖插板设计，使得整个设备的散热效率提高30%-50%，维持设备稳定运行的同时大大提高器件使用寿命；系统的可靠性从根本得到保证。链路层面：为了防止网络环路出现，采用IRF2技术，使得网络规划可以屏弃MSTP、VRRP等繁杂的二层环路技术与三层IP路由备份技术。支持众多安全与流量分析模块，利用FW/IPS/AFC/NETSTREAM等模块可以达到安全事件的最终期望：事前防范、事中阻断、事后审计。

统一交换架构作为新一代数据中心发展的方向，还有一些相关的技术在逐步完善中，如FCoE，DCB等，这里不再详细阐述。至于维护管理，新一代数据中心必须全面考虑如何统一维护管理计算、存储、网络三种资源，H3C的iMC针对这种融合趋势，推出了APM、SOM等管理组件，可以实现数据中心的统一维护管理。

1.4. 物联网时代数据中心网络规划

按照扁平化、模块化、一体化的规划思路烟草新一代数据中心网络的典型规划如下图所示。分为7个功能区，内、外联网区是安全的重点规划区域，服务器区则是最为关键的区域，主要承载大量流量交互，涉及流量互访控制等。测试区则是供烟草新业务上线前兼容性测试的区，办公区域则是烟草员工办公接入区，主要考虑访问权限等。

1.5. 数据中心容灾与备份

数据集中后，风险随之增大，必须要考虑数据中心的灾备设计。根据主数据中心与灾备中心的位置分布划分，有三种建设模式：

同城灾备中心

生产中心和灾难中心位于同城，通常采用DWDM或光纤互联，易于实现数据的同步镜像，可以保证数据完整性和数据零丢失。业务备份通常通过二层集群等技术实现，容灾半径较小。

异地两中心

生产中心和备份中心跨城域，距离通常在几百公里，互联采用高速专线，如155/622M SDH 通过异步镜像/复制备份数据，无法保证数据零丢失。容灾半径较大，对人员要求较高。

两地三中心：

结合‘同城＋异地’的优点，抗风险与灾难能力强，投资与维护成本高。在异地备份中心具有完整的灾难接管能力的情况下，建立同城备份站点，可使同城灾备中心具有应用接管能力。通常把同城灾备中心只作为同步数据镜像站点。如下图：

根据业务重要性与RTO、RPO选择上述容灾与备份手段。

不论上述哪种灾备方式都属于多中心架构，需要综合考虑主用数据中心与灾备中心的互联关系、备份机制、路由协议与收敛过程、链路备份关系与优先级等内容，实现网络互联的高可用，支持烟草行业多业务承载与持续发展：

l 高可用保障业务连续：不仅考虑关键设备的冗余设计与虚拟化支持，同时考虑全局的高可用部署，骨干网路由器部署BFD与NQA，使得网络的故障检测和切换恢复时间做到毫秒级，为烟草行业的业务连续和平稳运行提供支撑；

l 骨干网容错能力与路由快速收敛：骨干网路由器，如H3C SR8800系列产品，采用创新的硬件设计，通过独立的控制引擎、检测引擎、维护引擎，为骨干网链路提供强大的控制能力和50ms的快速切换；在路由协议的选择上，也已形成成熟的模型：一级网路由协议选择采用：BGP；二级网路由协议选择采用：OSPF。

l 多链路分流与多业务承载： 结合烟草销售地、市分公司的多链路使用状况，规划多业务发展需求，确保实现网络智能管理、对流量的精细化调度；通常情况下，可以生产业务走主链路，非生产业务（OA/视频）走备用链路；突发流量调度：对于主业务，默认情况下通过主链路；业务突发流量超过链路带宽时，由另一条备用路径继续转发。烟草分支部门连接双中心模式时，同时实现了链路资源的充分使用，避免专线链路资源和租赁资源的浪费，降低广域链路的投入成本。