当前,我们正处在一个信息爆炸的时代,数据的存储量已经不仅仅是用KB、MB、GB甚至TB来计算,在不远的将来,人们所谈论的将PB(1petabyte=1,000terabytes)甚至EB(1exabyte=1,000petabytes)。
在企业的IT基础架构中,数据中心是数据及业务应用的总控中心。数据中心汇聚了最昂贵的服务器和存储及网络设备,担负着数据存储、访问的艰巨任务。数据中心的建设要面向企业业务的发展,并为企业提供全面的业务支撑。这种支撑涵盖了客户、企业业务、企业数据和决策支持等层面。
随着数据中心高密度刀片式服务器及存储设备数量的增多,数据中心面临着网络性能、散热、空间、能耗等一系列严峻的挑战。根据全球最大的独立技术研究公司GartnerResearch发布的研究资料显示,由于缺乏灵活、高性能的综合布线规划,在2016年之前建立的数据中心中,半数需要在2022年前升级或者淘汰。因此,建设一个完整的、符合现在及将来要求的高标准的新一代的数据中心需要达到以下几点要求:
高可靠性 基于标准的开放系统,预先经过测试,确保系统7*24小时稳定可靠。
高性能 满足目前的网络传输需求,支持至少25G或50G甚至更高速率传输。
高密度 节省空间,方便设备散热。
可维护性 美观大方,适应频繁的需求变化,方便MAC维护。
可扩展性 充分考虑未来业务增长,支持未来扩容需求。
设计应从先进性、可靠性、实用性的原则出发,以满足目前用户的应用需求为基础,充分考虑到今后技术的发展趋势及可能出现的需求。为用户提供具有长远效益的全面解决方案。
二、设计标准
TIA-942数据中心机房通信设施标准
GB/T50311-2007建筑与建筑群综合布线系统工程设计规范
GB/T50312-2007建筑与建筑群综合布线系统工程验收规范
ISO/IEC11801国际综合布线标准
TIA/EIA569北美建筑通讯线路间距标准
TIA/EIA606北美商用建筑通讯基础结构管理规范
TIA/EIATSB67非屏蔽双绞线布线测试标准
TIA/EIA607北美商用建筑通讯接地要求
BN50173欧洲综合布线系统标准
其它国家和行业标准规范。
三、TIA-942数据中心机房通信设施标准
2005年4月美国通信工业委员会TIA发布了数据中心机房通信设施标准,该标准正对数据中心的设计、安装提供了规范和建议,内容包括:建筑结构、空间布局、安全、节能,接地、机械及防火保护。
1.数据中心区域划分根据该标准,典型的数据中心应包括以下基本的区域:
1)ER,提供数据中心与外部网络的互联,服务供应商(SP)的连接首先进入到ER。在许多数据中心里,ER被直接放置到计算机机房内(CR),为了安全起见,接入机房(ER)最好跟计算机机房分离。
2)MDA,是数据中心的核心管理区域,一般位于CR中心的位置,MDA包含核心路由器、核心交换机、PBX、IMux、机柜/机架等。根据标准的建议,光纤配线架和铜缆配线架应该安装到不同的机柜/架。MDA应尽量设计在计算机机房中心位置,以免超过90米的布线距离要求。
3)MDA区域配线架可以安装到机柜或机架,机柜的好处是安全及美观,机架的好处是散热及方便管理。
4)HDA,是数据中心的水平管理区域,一般位于机房(CR)中心的位置,HDA包含局域网交换机,水平配线架等,一个HDA管理的信息点一般不超过2000个,同MDA,HDA光纤配线架和铜缆配线架应该分开。信息点超过2000个,需要设置多个HDA。
5)EDA,用来存放设备的区域,包括网络设备,通信设备。为了方便散热EDA区域内的机柜/架根据通风走廊(coolaisle)和不通风走廊(hotaisle)合理放置。
6)ZDA,位于EDA和HAD中间位置,ZDA适用于设备经常移动或变化的区域,ZDA可以采用机柜或机架,也可以是集合点箱(安装于立柱、地板下或可移动地板)。
2.数据中心等级
TIA-942根据数据中心重要性分为4个等级(tier):Tier1:最基本的配置,无须冗余设计及空调设施,允许最大28.8小时/每年的宕机时间Tier4:最昂贵的配置,必须有UPS及空调设施,允许最大0.4小时/每年的宕机时间,另外必须采用生物识别技术门禁系统,必须配备气体灭火系统,多个备用布线管槽,主干必须冗余。
对于一般企业的数据中心Tier1、Tier2已经足够,Tier3,Tier4适合政府、金融机构,对于IDC由于存在大量的主机托管业务,必须遵循Tier4等级。
3.数据中心布线考虑
TIA/EIA942标准对数据中心布线给出很多的建议:
充分考虑未来的增长需求,预留充分的扩展备用空间
采用单模或OM3多模光纤(10GBase-SR300米)
采用Cat6(10GBase-T37米)或Cat6A铜缆或Cat6A类屏蔽铜缆(10GBase-T100米)
采用高密度,模块化布线系统(如MPO,MRJ21)数据中心属于 强制通风 区域,布线建议采用CMP/OFNP防火等级线缆。
基于管理方便考虑,光纤、双绞线、同轴电缆采用不同的机柜/机架
应考虑设备散热和空气对流,机柜/机架的放置根据通风区域(coolaisle)和非通风区域(hotaisle)合理布置
建议采用交叉连接(CrossConnect)方式(参见图)。交叉连接只需通过跳线完成MAC,降低管理维护时间,可靠性及可用性高。传统直连方式(Directconnect)不可靠,MAC(移动、增加、改变)需重新布线,TIA/EIA942不推荐。
数据中心设备散热及空气对流对于网络稳定性十分重要,根据地板能否通风,数据中心分为不通风走廊(HotAisle)及通风走廊(coldaisle)。
通风走廊(coldaisle)内,机柜/架面对面摆放,冷空气从地板下吹出,从机柜/架前方进入,然后从后部排出。
不通风走廊(HotAisle),机柜/架背对背摆放,冷空气从前面吹进,从后面吹出。此外,为了增加空气对流,防静电地板应该尽量高一些。
四、方案设计
1.数据中心机房综合布线系统
按照4级中心机房进行规划(参见图)
具体设计如下:
(1)综合布线系统采用星型拓扑结构,分为主配线区(MDA)、水平配线区(HAD)、和设备区(EDA),水平配线区(HAD)位于每一列机柜的第一个机柜内。
(2)机房主配线区(MDA)和水平配线区(HDA)之间采用8芯室内OM3多模光纤,支持10G万兆以太网达300米及1000Base-SX达550米距离,同时向下兼容目前的1G,100Mbps,10Mbps以太网应用。主配线区(MDA)机柜内安装48芯LC光纤配线架,室内光缆采用LC尾纤熔接的方式进行现场熔接,LC-LC光纤跳线光纤跳线数量按照光纤芯数4:1比例配备。
(3)水平配线区(HDA)和设备区(EDA)之间采用超六类屏蔽双绞线相互连接,Cat6A屏蔽双绞线支持诸如万兆以太网10GBase-T、千兆以太网1000Base-T、100BASE-Tx等网络应用的性能要求。每个水平配线区(HDA)机柜内安装一个12芯LC光纤配线架,室内光缆采用LC尾纤熔接的方式进行现场熔接,LC-LC光纤跳线光纤跳线数量按照光纤芯数4:1比例配备。水平配线区(HDA)机柜内铜缆配线架采用两个超六类配线架交叉连接的方式,其中一个配线架用来与设备区(EDA)的配线架互连,另外一个用来与交换机互连。
(4)设备区(EDA)每个机柜按照15个服务器进行预留,安装一个24口超六类配线架,采用RJ45跳线连接至服务器。
2.主配线区(MDA)设计说明:
主配线区(MDA)到各个水平配线区(HAD)的互连选用8芯OM3万兆多模室内光缆。OM3万兆多模光缆采用独特的增强型50 m纤芯,以解决高速数据传输时不会导致数码重叠和误码,支持激光或发光二极管(LED)光源,支持850nm或1300nm两种波长,在工作波长为850nm时可以支持10G万兆以太网10GBase-SR达300米及支持1000Base-SX达900米距离,同时向下兼容目前的100Mbps,10Mbps以太网应用。
由于850nm窗口下光网络设备(如1000Base-SX)可使用垂直腔面发射激光(VCSEL)作为光源而非激光光源,垂直腔面发射激光的是一种高性能、低成本的光收发器,光学性能接近于激光光源,而成本只有激光光源的十分之一。
因此采用OM3光纤是具有高性价比的万兆网络布线解决方案,能够使万兆网络设备的投资大大下降,使得整个网络系统的整体投资更为经济。
3.园区主干
室内光缆采用紧套管结构,套管紧紧环绕在光纤外围,提供机械保护,结构干燥没有凝胶,易于处理,重量轻,无金属材料,可以安装在桥架、管道里或悬装于架空缆上。
4.水平配线区(HDA)设计说明
为了提高数据中心机房内网络设备的稳定性,尽可能减少网络设备跳线的插拔,水平配线区(HDA)的水平配线机柜采用两个配线架相互交叉连接,其中一个配线架采用RJ45-110方式连接交换机,另外一个配线架采用超六类屏蔽双绞线以110-110方式与设备区(EDA)服务器机柜内的六类配线架相互连接。
超六类配线架采用模块化设计,便于安装和维护,每个模块都可以独立更换。超六类配线架采用耐火,耐腐蚀材料,提供25年性能保证。配线架信息插座安装快速可靠,一次安装8根线,保持线对间的相互纽绞,提供更好的串绕性能,降低现场安装人工成本。配线架信息插座后部带保护套,保证安装可靠,防止维护过程中造成的接触松动。
为了使跳线便于管理及保持机柜内整洁美观,按照与配线架1:1比例配置1U高度水平理线架。
5.设备区(EDA)设计说明
设备区(EDA)的每个机柜内预装一个六类24口非屏蔽配线架,用来管理设备机柜内的网络设备,设备区(EDA)的设备机柜采用2米长度的六类原厂装跳线,跳线的数量按照2:1的比例配备。
6.机柜
数据中心机房全部采用19英寸密封式机柜,配标准电源插座和散热风扇,用于放置配线设备和网络设备。机柜材料选用金属喷塑,并配有网络设备专用配电电源端接位置,可将网络设备同放置其中。
7.机房接地设计
数据中心机房内有大量的电子设备,为了保护设备和人身的安全,数据中心机房内所有的带金属外壳的设备包括管道、桥架、水管、机柜必须进行接地。
沿数据中心机房内墙,安装配线间总接地排(TMGB),金属桥、电缆梯、水管、防静电地板的静电泄漏接地排(TGB)等通过直径为6mm2带绝缘层的铜线以并联方式联接到于此;数据中心机房内地板下布设由绝缘子固定于地面的网状铜汇集排(TGB)提供电子设备接地;采用直径为4mm2带绝缘层的铜线将设备、机柜就近连接在汇集排上(参见图)。
接地直流电阻要求小于3.5欧姆接地电压小于1VR.M.S。
编辑:Harris