高通在去年四月举行的AI Day会议上推出了Cloud AI 100，这是一款专门为机器学习推理和边缘计算工作负载而设计的芯片组。截至发稿时，细节稀缺，这显然是由于冗长的生产进度。但今天，高通公司宣布了Cloud AI 100的发布日期(今年秋天采样后，于2021年上半年发布)，并分享了有关芯片组技术规格的详细信息。
根据Tractica 2018年的一份报告，高通公司期望Cloud AI 100能够在AI芯片组市场中占有一席之地，到2025年，该市场将达到6630万美元。去年，产品管理高级副总裁Keith Kressin表示，他预计推理(人工智能模型从数据中得出结果的过程)将成为标记有硅片的“大尺寸”，从2018年到2025年将增长10倍。高通公司希望通过AI 100来解决特定的市场，例如数据中心，5G基础设施和高级驾驶员辅助系统。
Cloud AI 100具有三种性能-DM.2e，DM.2和PCIe(Gen 3/4)-与性能范围相对应。在低端，Cloud AI 100 Dual M.2e和Dual M.2模型可以达到50 TOPS(每秒50万亿个浮点运算)至200 TOPS，而PCIe模型可以达到400 TOPS。高通。这三款产品均配备多达16个AI加速器内核，以及高达144MB的RAM(每个内核9MB)和32GB的LPDDR4x板载DRAM，该公司称，以每秒每瓦推论来衡量，其性能比竞争对手高出106倍。 ResNet-50算法。Cloud AI 100 Dual M.2e和Dual M.2在50瓦以下的功率下每秒可实现15,000至10,000个推理，而PCIe在50至100瓦的功率下可徘徊在25,000左右。
高通公司表示，采用7纳米工艺制造的Cloud AI 100的功耗不应超过75瓦。以下是每张卡的明细：
双M.2e：15瓦，70 TOPS
双M.2：25瓦，200 TOPS
PCI2：75瓦，400 TOPS
首款支持Cloud AI 100的设备-Cloud Edge AI开发套件-计划于10月到货。它看起来类似于无线路由器，黑色外壳，天线由塑料支架支撑。但它运行的是CentOS 8.0，并装有Dual M.2 Cloud AI 100，Qualcomm Snapdragon 865片上系统，Snapdragon X55 5G调制解调器和NVMe SSD。
Cloud AI 100及其支持的产品集成了各种开发人员工具，包括编译器，调试器，分析器，监视器，服务，芯片调试器和量化器。它们还支持ONNX，Glow和XLA等运行时，以及TensorFlow，PyTorch，Keras，MXNet，百度的PaddlePaddle和Microsoft的Cognitive Toolkit等机器学习框架，适用于计算机视觉，语音识别和语言翻译等应用程序。
