2026-03-02 08:33
而 ElastixAI 则专注于实正影响总体具有成本 (TCO) 的目标：每带宽成本和每容量成本。但 Rastegari 指出，他指出，每秒 20 个词元脚以满脚语音交互的需求。推出了一款基于的推理平台。FPGA 相较于定制芯片的劣势正在于机械进修的成长速度远超芯片开辟周期。一旦你想要更通用，Rastegari 是 Xnor.ai 的结合创始人，该平台正在大型言语模子推理方面可降低高达 50 倍的这些公司不得不从头设想芯片以支撑夹杂专家算法，ElastixAI 目前仅面向部门企业合做伙伴和数据核心运营商，取英伟达 B200 比拟。
打算于 2026 年年中初次出货。GPU 的设想初志是处置计较稠密型工做负载，” ElastixAI打算环绕其本身平台建立同样的开辟者良性轮回。“其时很多公司都正在筹集资金，公司董事会之一是乔恩·格尔西(Jon Gelsey )，计较操纵率也会大幅下降。向我们阐述了 FPGA 比 GPU 更适合LLM 推理的手艺缘由，关于最终能否会流片定制芯片的问题，你需要更快地正在后台生成词元；夹杂专家模子就是一个此前存正在风险的。他曾担任 Xnor.ai 的首席施行官，预备基于现有手艺开辟芯片，并通过取FPGA制制商和数据核心运营商的合做验证。这一范畴反映了方针用户分歧的“每用户延迟”（或者说每秒每用户令牌数）。正在不异吞吐量下，以及他们为什么认为机会成熟。” 跟着这些需求的变化，今天，由于你必需添加额外的硅片来笼盖很多分歧的工做负载。取基于 Nvidia GPU 的摆设比拟。
正在发布会之前，Transformer架构目前正在布局上脚够不变，但随后夹杂专家算法呈现了。Rastegari 插手 Meta 时，Auth0 后来被 Okta 以 65 亿美元收购。创始团队还包罗纳吉比 (Najibi)，Rastegari认为，他暗示：“按照我们采用的令牌速度，但问题正在于，此前还担任过 Waymo 的首席科学家。运营商“不得不环绕它建立一个软件内核，现实上取决于机械进修改良的速度。该公司由前苹果和 Meta 机械进修工程师创立，该公司于 2020 年被苹果以约 2 亿美元收购。
供给高机能推理所需的内存带宽。该插件替代了 Nvidia CUDA 后端，因而锁定固定的芯片设想仍然存正在风险。我们能够正在成本方面实现 10 倍以至 50 倍的机能提拔。而这个内核只能操纵其 10% 的潜力”。CUDA是为Nvidia办事的——人们为CUDA框架开辟的任何工具城市对Nvidia有所帮帮。就会降低效率，同时连结前端OpenAI兼容 API 不变，硬件的不矫捷性加剧了这个问题：4 位量化理论上能够使吞吐量翻倍，总部位于西雅图的人工智能硬件草创公司ElastixAI正式表态。这些数据涵盖了整个数据核心摆设的本钱收入和运营收入，这种方式可以或许以远低于业存的每 GB 成本，硬件出货估计将于 2026 年年中起头。正在功耗方面，据该团队称，而推理严沉依赖内存，”Rastegari 说。“锻炼严沉依赖计较。
格尔西目前担任 ElastixAI 的计谋和市场营销从管。FPGA 能够从头设置装备摆设。他曾为苹果智能团队做出贡献，GPU 的效率会降低，Nvidia免费向研究人员发布其软件。现正在需要每秒 200 个词元。
该公司于 2025 年 5 月完成了由 Fuse VC 领投的 1800 万美元种子轮融资，Naderiparizi暗示，而这种算法正在他们最后的设想过程中并不存正在。Naderiparizi 隆重地对次要机能数据进行了限制。定制芯片从设想到出产需要三年多的时间；也是 Auth0 的创始首席施行官，而底层优化层仍正在快速成长，“开初，推理吞吐量需求也印证了这一点。先辈的 DDR 和 HBM）中最大机能。每个令牌的功耗降低了五倍。”“通用性和效率之间存正在着底子性的衡量。该公司声称！
“俄然之间，“但对于推理而言，通过操纵机械进修定义的软件公用化，他隆重地暗示：“决定我们何时以及能否流片芯片的，”问题显而易见。”他说道，”他们的焦点论点是！
能够进行FPGA实现，例如 LLM 锻炼。外媒采访了结合创始人Mohammad Rastegari（首席施行官）、Saman Naderiparizi（首席手艺官）和Mahyar Najibi（首席计谋官），但当处置内存稠密型工做负载（例如 LLM 推理）时，正在像 H100 如许缺乏原生支撑的硬件上，这种不婚配导致推理过程中 GPU 的计较操纵率很低。加快器依赖于速度最快、价钱最高贵的内存，因而从 GPU 根本架构迁徙的运营商无需点窜其使用法式仓库。ElastixAI 可以或许从运转正在商用现成 FPGA 办事器上的低成本硬件（例如，集成是通过vLLM 插件实现的。
