紧凑型AI设备已日益成为主流，但一家新创公司打破了壁垒，推出了号称全球最小的AI超级计算机，从纸面参数来看，其性能似乎相当强大。
Tiiny AI的新品AI Pocket Lab内置了最新的ARM v9.2核心，带来了足以部署1200亿参数大语言模型（LLM）的强大能力。
边缘AI已成为计算行业的新兴领域，这主要是因为在本机部署开源模型可以实现更个性化的工作负载处理。然而，这通常也需要昂贵的硬件支持。像英伟达（NVIDIA）的DGX Spark这类设备价格可能高达4000美元，这对普通消费者而言并不可行。一家名为Tiiny AI的初创公司计划弥合这一差距，不仅提供更具成本效益的解决方案，还推出了一款号称“全球最小”的超级计算机设备，名为Tiiny AI Pocket Lab。
有趣的是，该设备尺寸仅为14.2 × 8 × 2.53 厘米，重量300克，但Tiiny AI声称这款超级计算机能够成功部署1200亿参数的模型，这是一项独一无二的成就。据称，该机器可运行的大语言模型非常适合“博士级推理、多步骤分析和深度上下文理解”。凭借其端侧能力，AI Pocket Lab不仅对消费者来说是理想选择，对于那些希望尝试本地大语言模型部署的用户也同样适用。
根据Tiiny AI披露的信息，AI Pocket Lab支持来自GPT-OSS、Llama、Qwen、DeepSeek、Mistral和Phi的模型。AI Pocket Lab最令人印象深刻的方面之一是其板载独立NPU可提供高达190 TOPS的算力。借助板载的80 GB LPDDR5X内存，用户可以进行激进的量化操作，使得1200亿参数的模型能在本地环境中无缝运行。此外，Tiiny AI表示，公司采用了两种技术，使得运行1200亿参数模型接口变得切实可行：
TurboSparse，一种神经元级别的稀疏激活技术，在保持模型完整智能的同时，显著提高了推理效率。
PowerInfer，一个在GitHub上拥有超过8000星标的开源异构推理引擎，通过在CPU和NPU之间动态分配计算来加速繁重的大语言模型工作负载，从而以远低于传统功耗的水平实现服务器级的性能。这些技术共同使得Tiiny AI Pocket Lab能够提供以往需要价值数千美元的专业GPU才能实现的能力。
该设备计划在2026年国际消费电子展（CES 2026）上亮相。尽管公司尚未披露具体的发布日期和零售信息，但AI Pocket Lab无疑是一款前景广阔的设备。它在行业中的首次亮相将如何发展，值得期待。
