NVIDIA在推理方面取得突破 从云端到边缘实现更智能对话式AI

作者:贾桂鹏 来源:原创 2021-07-20

  7月20日消息,NVIDIA发布第八代AI软件TensorRT 8。该软件将语言查询推理时间缩短了一半,使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。

NVIDIA在推理方面取得突破 从云端到边缘实现更智能对话式AI

  据悉,TensorRT 8的各项优化为语言应用带来了创纪录的速度,能够在1.2毫秒内运行BERT-Large——全球最广为采用的基于transformer的模型之一。过去,企业不得不缩减模型大小,而这会导致结果出现大幅偏差。现在有了TensorRT 8,企业可以将其模型扩大一倍或两倍,从而大幅提高精度。

  NVIDIA开发者计划副总裁Greg Estes表示:“AI模型正以指数级的速度增长。全世界对AI实时应用的使用需求正在激增。这使企业必须部署最先进的推理解决方案。最新版本的TensorRT引入了多项新功能,使企业能够以前所未有的质量和响应速度向其客户提供对话式AI应用。”

  五年来,医疗、汽车、金融和零售等各个领域27,500家企业的超35万名开发者下载TensorRT近250万次。TensorRT可部署于超大规模数据中心、嵌入式或汽车产品平台。

  除了针对transformer的优化之外,TensorRT 8还通过其他两项关键特性,实现了AI推理方面的突破。

  其一是稀疏性,这是助力推动NVIDIA Ampere架构GPU性能提升的一项全新技术;其二是量化感知训练,开发者能够使用训练好的模型。

  现在已经有不少企业将Tensor RT用于他们在对话式AI和其他各个领域的深度学习推理应用。

  其中,主攻开源AI技术的Hugging Face,其客户包括全球多个行业领域的大规模AI服务提供商。该公司正与NVIDIA开展密切合作,推出能够助力实现大规模文本分析、神经搜索和对话式应用的开创性AI服务。

  另外,全球领先的医疗技术、诊断和数字解决方案创新者GE医疗正在使用TensorRT,助力加速早期检测疾病的关键工具,超声波计算机视觉应用,使临床医生能够通过其智能医疗解决方案提供最高质量的护理。

  目前,TensorRT 8现已全面上市,并免费向NVIDIA开发者计划成员提供。用户还可从TensorRT GitHub库中获得最新版本插件、解析器和样本的开放源代码。

发布
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录