中科曙光发布国内首个科学大数据引擎

2016-10-27 22:20:00 作者:比特网 分类 : 比特网

  10月27日,2016年全国高性能计算学术年会(HPC China 2016)在西安举行。国内领先的信息系统综合服务商中科曙光在会上发布了国内首个“科学大数据引擎”,旨在帮助政府部门、科研院所、教育机构、行业技术创新中心、大型企业研发部门等用户向大数据研究方面转型,促进数据密集型计算架构在各行业领域的创新发展和深入应用。曙光公司总裁历军说,科学大数据引擎集成了曙光在高性能计算、海量数据存储和大数据处理分析技术等领域的优势资源,以积极应对科学大数据发展对传统HPC系统提出的挑战。

  “科学大数据的时代已经来临。”曙光公司总裁历军介绍说,数字化进程正在引发不同行业领域的群体性技术革命,已经深入到IT互联网、科学研究、工业制造、现代农业、服务业等各个应用场景,有力地带动了产业升级和技术革新。而大数据技术给科学研究带来的影响更为深远——科学发现将越来越依赖数据密集型计算来驱动。今天,大数据研究已经成为继理论、实验和计算模拟之后的第四种科学范式,在新型材料、生物基因、精准医学、地球科学、生态环境、卫星遥感、天文、空间地理、高能物理、现代农业等诸多领域受到广大科研人员的高度重视。

  面向科学大数据应时而动

  “科学研究正变成一个又一个的大数据问题。”曙光公司高性能产品事业部总经理曹振南举例说,“千人基因组计划”每月产生1万亿条碱基序列信息,我国30多个在轨民用航天平台每年有超过3PB遥感卫星数据,FAST 射电望远镜的数据产出速度是6000亿条记录/年,大型强子对撞机实验每年产生15PB原始数据……“未来,基于对科学大数据的处理和分析将成为发现新知识的基本特征。”

  科学大数据的海量、多源、异构、高维等特征,向传统HPC系统发起了全新的挑战。“多数科研项目的数据量非常巨大并快速变化,且往往是分布、异构的,传统的数据库管理系统已不能满足需要;此外对科学大数据的‘计算’包括了从数据获取、管理到分析、可视化的全过程,传统的高性能计算亟需将服务向外延拓展。”曹振南解释说。

  作为诞生于科研国家队、多年服务于科研领域的HPC领军企业,中科曙光敏锐地洞察到科学大数据的未来前景及其对“计算-存储-分析”架构提出的更高要求,率先将“大力发展科学大数据”列入公司“数据中国加速计划”战略,为科学大数据引擎的进一步开发和提高水平提供了有力的保障。

  走向融合的计算模式

  针对科学大数据的行业应用特征,曙光公司认为,科学大数据引擎将实现计算存储分析一体化,充当连接数据源和业务应用的“黑匣子”,完成对数据的清洗转换、存储与管理、数据处理与挖掘、数据分析及可视化等工作,架起从科学数据到科学发现的桥梁。

  据曹振南介绍,在科学大数据引擎的“黑匣子”里,部署着曙光全系列数据计算技术及服务产品,主要由5个引擎组件构成,分别是:针对海量非结构化数据的曙光ParaStor并行存储系统、类型丰富的曙光高性能计算平台、最大化提升系统整体效能的曙光深度学习计算平台、高效敏捷的曙光XData大数据处理平台以及能覆盖科学大数据中心全生命周期的曙光 EasyOP运维管理平台。

  “科学大数据引擎融合了高性能计算、云计算、认知计算、大数据分析计算等多种模式,是高性能计算与数据分析挖掘的有机结合,可为科研工作者提供一个实现科学数据存储、分析和管理的一体化解决方案。”曹振南评价说。 曙光的科学大数据引擎拥有以下六个亮点特征:

  1)专为科学数据处理流程进行优化,提供“计算、存储、分析、运维”一体化强劲性能;

  2)基于曙光独特的超融合架构,灵活支持高性能计算、大数据计算、深度学习计算等多种计算模式;

  3)超强弹性设计,最高支持E级超算系统立体扩展;

  4)可构建EB级单一存储空间,是经过验证的国内最大存储系统;

  5)支持PB级数据处理能力,可实现亿级数据库毫秒级极速查询分析;

  6)可为上万节点提供7*24小时在线、移动、实时自动监控服务。

  打造科学大数据社区

  中科曙光“科学大数据引擎”虽然刚刚发布,但曙光在多年的HPC技术服务工作中已经形成了一套全流程、一体化数据处理技术体系,目前已经在多个大科学项目上开展了应用。

  部署在贵州黔东南地区的世界最大口径单体射电望远镜FAST,每天要产生5TB左右的数据,数据需要保留10年以上。曙光部署的超算系统就将承担起海量天文数据整合分析、天体分析和挖掘、天文大数据的可视化等工作,推动天文科学研究和探索由假设驱动向数据驱动转变。

  此外,曙光于去年与中科院大气物理所联合部署的“地球数值模拟装置”原型系统,也将为地球科学大数据充当“计算处理引擎”;今年还携手中科星图、中科三清等分别发展空天大数据应用和生态环境大数据应用。

  目前来看,科学大数据在中国的应用发展还处于起步阶段,在推动大科学研究、促进各行业领域科学发现和技术创新方面有着非常大的潜力,但同时也面临诸多挑战需要应对。比如我国的科学数据资源还相对分散,还没有形成一批在国际上有强大影响力的科学数据中心,针对科学数据资源管理和开放共享的法律法规及相关技术标准还不够完善,高水平的复合型数据科学家人才队伍还存在缺失。

  对此,曙光公司大数据总经理宋怀明博士谈到,作为一家已经为上千家科研教育机构用户提供了近20年服务的高性能计算和信息系统服务商,曙光有责任、也有能力提供更好的解决方案来帮助提升科研创新能力,同时,我们也呼吁更多的机构和厂商加盟进来,共同发展适合中国的科学大数据开放社区,帮助中国的科研机构借助各领域大数据发展机遇实现转型与变革,共建创新型国家。更多曙光相关资讯,欢迎搜索微信公众号“中科曙光/sugoncn”,关注曙光公司官方微信。

最近更新
科普

科普图集
互联网+升级到智能+,开启万物智联新时代

互联网+升级到智能+,开启万物智联新时代>>详情

中国互联网消费市场,发展潜力一片大好

中国互联网消费市场,发展潜力一片大好>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。