Uptime Industries正押注于本地化AI基础设施,推出名为“Lemony AI”的掌上“AI盒子”设备。这款三明治大小的设备号称能在单节点上运行大语言模型(LLM)、AI智能体和AI工作流,每台仅需65瓦功耗(相当于给笔记本充电),可通过堆叠连接形成更大规模的AI集群。

Cover Image

公司联合创始人兼CEO萨沙·比勒(Sascha Buehrle)表示,每个节点可支持高达750亿参数的大语言模型,既能运行开源模型也能适配闭源模型的改造版本。在Lemony节点集群中,每台设备可运行不同模型。Uptime已与IBM和JetBrains建立合作,帮助客户更便捷地获取包括IBM闭源模型在内的AI资源。

这个创意源于创始团队的业余项目——比勒与伊万·库列绍夫(Ivan Kuleshov)最初尝试在树莓派微型计算机上部署语言模型。虽然起初与生成式AI无关,但成功后的探索让他们意识到:本地运行模型可能是推动企业(尤其那些抗拒云端模型的组织)采用AI的关键。他们认为,微型设备结合数据隐私优势能加速企业AI落地。

“我们需要打造能轻松融入团队的小型设备,无需企业级决策流程就能为业务团队提供本地化生成式AI解决方案,”比勒解释道。这种模块化设计允许客户根据需求扩展集群规模。

目前金融、医疗和法律等强监管行业已显现强烈需求。“所有数据都留在设备内部,”比勒强调,“文档、文件、邮件以及运行的模型和智能体都不会外泄。”公司已完成200万美元种子轮融资,资金将用于设备研发。

Uptime计划将其开发的Lemony OS系统适配英伟达DGX Spark等其他厂商硬件,并将单用户软件升级为团队协作版本。Lemony AI月费3628元(499美元),最多支持5名用户使用。


文章标签: #AI设备 #本地化 #大模型 #数据隐私 #企业应用

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。