速度比GPU快10倍,初创公司Groq推出的LPU火出圈

作者:潇冷 来源:原创 2024-02-21

  如今,AI芯片市场主要由英伟达主导,H100也公认是训练大语言模型最需要的GPU。

  然而,AI市场在被看好的同时,微软、谷歌、AMD、英特尔等巨头也纷纷发力AI芯片业务。

  就在大家纷纷发力AI芯片业务的时候,初创公司Groq推出新型的自研芯片的消息,更是赚足了眼球。

  据悉,这款LPU(Language Processing Unit)自研芯片主要用于大模型推理加速,而Groq是一家由谷歌TPU团队的成立的初创公司。

  LPU芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500 tokens,碾压ChatGPT-3.5大约40 tokens/秒的速度。

  根据Anyscale的LLMPerf排行显示,在Groq LPU推理引擎上运行的Llama 2 70B,输出tokens吞吐量快了18倍,优于其他所有云推理供应商。

  同时,根据Anyscale的LLMPerf排行显示,在Groq LPU推理引擎上运行的Llama 2 70B,输出tokens吞吐量快了18倍,优于其他所有云推理供应商。

发布
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录

企业俱乐部