但是，这些图形处理器芯片在从零开始创建强大的人工智能系统方面如此有效，但它们在将人工智能产品投入使用方面的效率却很低。
这为人工智能芯片行业打开了大门，竞争对手认为他们可以在销售所谓的人工智能推理芯片方面与Nvidia竞争，这些芯片更适合人工智能工具的日常运行，旨在降低生成式人工智能的部分巨额计算成本。
这些公司看到了这种专用硬件的商机。这些模型采用的范围越广，推理所需的计算量就越大，对推理芯片的需求也就越大。
制作一个人工智能聊天机器人需要大量的计算能力。首先要进行训练或预训练，即ChatGPT，这涉及人工智能系统从大量数据中学习模式。GPU很擅长这项工作，因为它们可以在相互通信的设备网络上同时运行许多计算。
不过，生成式人工智能工具在经过训练后，仍需要芯片来完成工作，比如当你要求聊天机器人撰写文档或生成图像时。这就是推理的用武之地。训练有素的人工智能模型必须接收新信息，并根据已有知识进行推理，从而做出响应。
这促使Cerebras、Groq和d-Matrix等初创公司以及Nvidia的传统芯片竞争对手推出更多推理友好型芯片，因为Nvidia正专注于满足大型科技公司对其高端硬件的巨大需求。
D-Matrix本周将推出首款产品，公司成立于2019年，首席执行官SidSheth最近在公司位于加利福尼亚州圣克拉拉的总部接受采访时解释说，在人工智能芯片领域，公司成立得有点晚。
名为海盗船的产品由两块芯片组成，每块芯片有四个芯片单元，由台湾半导体制造公司生产，Nvidia的大部分芯片也是由该公司生产的。
芯片在圣克拉拉设计，在台湾组装，然后在加州测试。测试是一个漫长的过程，可能需要六个月的时间，如果有任何问题，都可能被送回台湾。
D-Matrix的工作人员在参观一个实验室时，正在对芯片进行最后的测试，实验室里有蓝色的金属桌子，上面布满了电缆、主板和电脑，隔壁是一个冰冷的服务器机房。
当亚马逊、谷歌、Meta和微软等科技巨头在人工智能开发领域竞相超越对方，吞并昂贵的GPU供应时，人工智能推理芯片制造商正瞄准更广泛的客户群。
包括财富500强企业，它们希望利用新的生成式人工智能技术，而无需建立自己的人工智能基础设施。预计人们会对人工智能视频生成技术产生浓厚的兴趣。
对于很多企业公司来说，人工智能的梦想就是可以使用自己的企业数据。购买应该比购买英伟达等公司的终极GPU便宜。但我认为在整合方面会有一个学习曲线。
与以训练为重点的芯片不同，人工智能推理工作优先考虑的是人获得聊天机器人响应的速度。还有一大批公司正在开发用于推理的人工智能硬件，这些硬件不仅可以在大型数据中心运行，还可以在本地的台式电脑、笔记本电脑和手机上运行。
设计更好的芯片可以降低企业运行人工智能的巨额成本。这也会影响其他人的环境和能源成本。
人工智能何时能达到人工通用智能的程度，目前还很模糊，预测的时间从几年到几十年不等。但是，只有少数几家科技巨头正在进行这一探索。
