开放x86架构 为中石化掘金数据分析提速

2016-11-09 15:29:00 作者:互联网 分类 : 比特网

  石油是现代工业文明的动力之源。对于中国这样一个高速发展的经济体,每年消耗的石油超过5亿吨。这些石油从哪来?如何炼化成工业所使用的不同标号的汽油、柴油和煤油?它们又是怎样销售的?在这个复杂的体系中,中国石化集团在其中的作用不言而喻。

  中石化在全国拥有超过3万个加油站,年营收超过2万亿人民币,每年向市场销售上亿吨各类油品,同时每年也会生产上千万吨乙烯及合成树脂等化工原料。与此同时,中石化还涉及石油勘探、开采等大量其他业务。可以说中石化是一家名副其实的超级企业

  而对于这样一家上市企业,每月、每季、每年的财务、销售情况都需要进行详细的统计以便发布财报和审计之用,这家超级企业是如何完成这一看似不可能的任务的?

  中石化:数据分析压力拷问IT基础架构

  对于中石化这样体量的企业来说,想要用人工完成销售额的统计和汇总工作依然不可能,信息化是唯一的出路。而另一方面,随着公司经营理念的发展,企业管理层在经营决策时也更加依赖业务数据报表以及相关的预测数据,让任何决策都能够有理有据,保证国有资产及能够造福人民、保障国计民生又能够在经营过程中实现保值增值。由此产生的数据分析需求更是对IT系统造成了难以想象的压力。

  其实早在2005年,中石化就开始基于SAP的Business Warehouse工具构建自己的数据仓库系统。而经过几年的运行之后,这一数据仓库已经积累了超过60TB的业务数据。这些数据主要服务于油气勘探和开采、炼油业务、石化产品、成品油分销、财务部、物装部等各个部门,整套系统的总用户数超过19000个。就如同中石化本身一样,这套SAP的BW数据仓库同样也是个超级工程。

  中石化积累的这60TB数据既是生产销售过程的忠实记录,同时也是企业最宝贵的财富,任何关于企业业务的深层次洞察皆来自于对这些数据的分析。因此,如何更快获得销售数据统计以及根据所作出的分析报告就成为了中石化积极应对市场变化,提高企业管理经营效率的关键所在。

  新需求带来的IT转型

  2014年之前,中石化采用的是2008年采购IBM P595,这几乎是当时中国能够买到的最高端的小型机系统,其稳定性和单机性能在当时都处于顶尖水平。

  在实际的业务运行过程中,中石化的数据仓库系统需要在白天收集全国各个部门汇总来的实时供销数据,然后利用晚上的时间对这些数据进行汇总和分析,以便管理层能够在第二天一早得到第一手报告。

  但随着中石化业务线的扩展以及数据总量的增加,IBM高端小型机系统已经无法处理海量的数据,其结果就是数据报表的推迟和业务决策的滞后,本应在第二天一早拿到的报表被拖延到了第二天下午三点。而在月底结算期间,系统压力更大,进程更加拖延。

  于是,中石化开始尝试应用SAP HANA内存数据库来提升数据分析的效率。通过将所有数据放在系统内存中进行计算和分析,整个系统的运行效率将获得极大的提升,彻底消除瓶颈。运行这一系统的最佳平台已不再是过去的小型机,而是拥有海量内存和先进RAS特性的新一代x86系统。

  为此,石化盈科(中石化与电讯盈科合资成立的IT服务企业,主要承接中石化的信息化工程)、SAP(软件提供商)、华为(设备提供商)和英特尔需要合力为中石化的数据仓库系统来一次RISC to IA的大升级。而升级之后,中石化也将摆脱过去的系统性能瓶颈,并获得新的数据分析能力。这次升级必须成功。

  借力数据分析一体机重塑IT底层架构

  在这场不能失败的系统升级中,基于x86架构的华为Fusion Cube大数据融合一体机大显身手。而在这套融合基础架构中担任核心位置的便是华为FusionServer RH5885H服务器

  通过采用新一代英特尔至强E7处理器,FusionServer RH5885H服务器不仅具有更强的计算能力,更获得了海量的内存支持和强大的横向扩展能力。这些特性使得IT系统可以通过简单的横向扩展来应对更大的业务需求。

  在实际部署过程中,为了完成对中石化庞大数据库的加载,每台FusionServer RH5885H服务器配备了2TB内存,而SAP也对这一超级系统做了现场认证工作。这是SAP HANA软件首次运行在单节点2TB内存的系统之上。整套系统包含9个2TB节点,采用8+1的冗余配置。除此之外,中石化还采用同样配置部署了一套3+1的开发测试环境。所有系统均采用计算和存储集群物理分离的方式部署,降低了部署难度,提高了灵活性。

  同时,由于采用了英特尔至强E7处理器和华为开发的RAS2.0分析引擎,在FusionServer RH5885H服务器中实现了53项RAS特性,内存失效率降低了97%,CPU失效率降低了94%。

  经过一系列升级改造,中石化的新系统大大提升了运行效率,整体性能提升达到了3-5倍。

  过去,所有数据分析工作中只有20%能够在1分钟之内完成,而现在,这一比例提升到了90%以上。同时,在所有分析工作中仅有1%的任务需耗时3分钟以上,而过去,这一比例是25%。

  借助新系统,中石化管理团队可以更快的获得销售数据汇总并以更高的速度产生基于数据的洞察,使企业管理和策略调整更接近实时,提升企业竞争力。而这种竞争力的提升更多的是源自英特尔至强E7处理器的强大能力。

最近更新
科普

科普图集
带着朋友和机器人上月亮散步

带着朋友和机器人上月亮散步>>详情

比食人鱼更恐怖:长着人类牙齿的鱼

比食人鱼更恐怖:长着人类牙齿的鱼>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。