出品｜虎嗅科技组
作者｜韦雯
编辑｜苗正卿
头图｜Tiiny AI提供
“我们没想到端侧AI会火的这么快。”
3月末，Tiiny AI副总裁兼商业化负责人Eco Lee向虎嗅复盘了这款在Kickstarter上迅速爆火的项目时感慨道。
3月中旬，Tiiny AI Pocket Lab小盒子在Kickstarter上线，售价1399美金起，上线仅5小时众筹突破100万美元。上一次在该平台跑出同等速度的，还是2022年的拓竹Bambu Lab X1。短短四年间，拓竹已经是营收百亿的独角兽公司。截至发稿日，Tiiny AI项目已经众筹295万美元，拥有2093名支持者。
有意思的点是，AI PC市场尚未成熟之前，这个外接盒子先火了。
笔者认为用户买单的核心原因是，针对搭建本地AI助手的需求，Tiiny AI Pocket Lab给了一个简单、直接的解决办法。当用户认为额外单独买一台AI PC太贵，部署大模型太麻烦，依赖云端不够私密，算力又需要每月计算token的时候。它不负责用户的日常办公、不负责娱乐，只是一个负责AI需求的外接盒子。
这有些类似，当于我们的电脑、手机内存不够，额外买一个移动硬盘的逻辑。Tiiny AI这款产品不做通用计算，只做100B级别模型本地推理，解决了用户离线隐私、一键部署、本地算力的三个最重要的需求。但这个答案究竟是新品类，还是当下时代的补丁产品，现在还不能下定论。
想拥有Jarvis，却找不到合适的硬件
众筹火爆之下，Eco几乎每周都能收到20家投资机构邀约。
虎嗅获悉，Tiiny AI背后公司国内主体为本智激活，孵化自并行与分布式系统研究所（IPADS）。2025年完成数千万人民币种子轮融资，由光启资本领投、BV百度风投、光源L2F创业者基金跟投。团队2024年在GitHub上的PowerInfer（推理加速引擎）开源项目得到了9100个star。Tiiny AI项目正是从这个明星项目孵化而来。
为什么Tiiny AI Pocket Lab会在这个时间节点火爆？不得不提及的是近期的“龙虾热”。OpenClaw等开源项目的火爆，Ollama下载量的暴增，都在表明，火爆的Jarvis需求和消费者能买到的合适的硬件产品中间，存在着一条市场缝隙。
在漫威电影《钢铁侠》中，托尼·斯塔克有一个无所不能的AI助手Jarvis。它能对话，控制整栋别墅的设备，处理海量信息，还能辅助完成最复杂的技术工作。现在来看，无论是企业级用户，还是极客玩家、专业用户，甚至部分大众用户，都在搭建属于自己的“Jarvis”。
Eco Lee向虎嗅表示，TiinyAI的团队看到了这一需求（Local AI）的爆发，所以决定下场做一款硬件产品。
具体而言，这款硬件产品猜中三个重要的市场缝隙，并同时指向共同的用户痛点：云端成本和隐私焦虑；少折腾、低成本的本地AI入口。
首先，云端API足够方便，但长期成本和隐私是问题。许多的金融、法律、科研从业者等职业用户的隐私和敏感数据无法上云。他们强依赖网络环境，但Agent连续工作场景不稳定，因此对Local AI的需求十分强烈。
其次，AI PC越来越普及，但并不是专门服务本地大模型的设备。
比方说极客用户需求已经出现，但现有方案太别扭。他们已经有一台高性能电脑，既要处理日常任务又要运行大模型。电脑的内存和算力被大量占用，即便搭载了AMD锐龙AI Max 395处理器、64GB内存（国内售价14999-17499元），如果运行了大模型，打开网页都是一件困难的事情。他们需要额外一台专门为本地大模型推理服务的设备，让主力电脑回归自己的主业。
再者，树莓派和Jetson虽然也能跑起来，但是离消费级体验还有一段距离。
譬如一些已经依赖AI助手的用户关注持续token消耗能力以及长本文积累能力，已经尝试了树莓派，但是算力严重不足，能跑卷积模型（主要用于图像识别等任务的神经网络模型），但跑大模型基本不可用；使用过专为边缘计算设计的NVIDIA Jetson系列，但高性能如64GB版的AGX Orin，开发板本身在美国市场官方定价为1999美元，国内商城报价约17599元人民币，还需要自己额外买SSD存储，价格十分高昂。
综合来看，具备一定的算力和内存、一键部署本地模型、还需要有性价比的Agent Box，才能满足当下用户群体的急切需求。
因此，Tiiny AI做了减法，Eco Lee向虎嗅表示，Pocket Lab只运行本地LLM，系统完全为AI推理服务，不去预装任何macOS、Linux或Windows等传统操作系统。但同时，在算力上做加法，Pocket Lab的参数能够媲美AI PC。官方参数190TOPS（INT8）AI 峰值算力，已达到当前主流桌面级专业 AI 显卡的性能水平。
在操作简易性方面，Tiiny AI Pocket Lab能够一键下载并运行100B以下所有主流开源模型及各类开源AI应用。无论手头的电脑是Mac、Windows还是自组台式机，只需插入Tiiny设备，下载Tiiny OS客户端就可以使用。
换句话说，Tiiny AI的这款产品并不与与AI PC、Mac mini等产品直接竞争。它抢到的是产品类目的真空地带，它不是电脑，仅提供了一个类似移动硬盘的外接接口，先针对性高敏感数据用户和高频Agent玩家的本地AI需求。这更像是一个个人AI工作站（类Jarvis）的早期雏形。
Tiiny AI用软件弥补硬件
Tiiny AI这款产品聪明之处在于，它将一个AI算力硬件包装成了消费级产品。让用户好理解，100B，即插即用。也因此，让用户减少购买决策时间。
在这背后，Tiiny AI团队在技术上的核心思考是：什么样的模型能力才能真正满足这些核心用户的使用场景？
10B以下的模型价值有限，最多做本地信息检索、短字符汇总，能力大致相当于初高中生水平；30B-70B模型（如Llama-3-70B、Qwen-30B）能胜任每日数据分析汇总，甚至简单代码生成；70B级别模型能力介于大学生与研究生之间，可进行长文本创作、深度调查，并且已经具备了逻辑推理，工具调用的能力，可执行24小时不间断运行的Agent任务。而300B以上模型，目前仍需依赖云端算力。
所以Tiiny AI选择了“让100B级别的模型在本地运行”为这款产品的核心目标。主要原因是，100B参数参考了GPT-OS 120B，这是OpenAI推出的第一款开源权重模型，其benchmark表现与闭源的GPT-4o相当。行业普遍认为，GPT-4o开始，AI才真正具备了解决实际问题的能力。
从商业化角度考虑，没有那么多用户有预算购买4090或5090这类售价高达几万块的高端显卡。因此，Tiiny AI需要用价格尽可能低的硬件资源，运行这样大的模型。
解法并非直接采购Nvidia或AMD的芯片适配已有的infra生态。这涉及到Tiiny AI最核心的技术PowerInfer，一个面向端侧异构算力的推理加速引擎。
简单来说。PowerInfer技术是在大模型推理过程中，将不同的参数用不同的芯片存储、调用。参数激活模式会分为两类：“热激活参数”（每次与模型交互都会调用的核心参数，约占20%）和“冷激活参数”（仅在用户问到医学、法律等特定领域问题时激活）。这种冷热激活的特性，恰好适合在端侧异构算力架构下优化分配。
其中，GPU（图形处理器）算力强、速度快，但成本高、功耗大；而CPU（即系统级芯片SoC中的通用计算单元）算力相对较弱，但功耗和硬件要求更低。Tiiny的策略是将冷激活参数放在SoC（Armv9.2 CPU+NPU 30TOPS）中处理，将热激活参数放在dNPU（160TOPS）中处理。Tiiny AI采用的dNPU是专门为Transformer架构设计的ASIC（专用集成电路），去除了图形渲染等无关电路，专为大模型推理优化。
虎嗅获悉一组实测数据：120B模型下，prefill（预填充阶段，即AI“思考”）速度可达300 tokens/s，decoding （解码输出阶段，即AI“说话”）跑到20tokens/s；35B模型下，prefill约2000 tokens/s，decoding可达45 tokens/s。作为参照，人类阅读速度仅8-12token/s。从参数表现来看，这套方案已能媲美高端AI工作站的运行效率。
这套方案的核心逻辑是软件调度优于硬件堆料，聪明的软件，能够弥补硬件的不足。Eco Lee解释，这些属于AI Infra层面的技术积累。从芯片层到Agent调度层，再到模型训练层，都需要深厚的knowhow支撑。相比软件实力，硬件在这个赛道已经不算门槛。
当功耗变小，它的体积自然变小。但是30W的TDP对于300g的金属机身来说，通常需要小型风扇进行主动散热；如果是纯被动散热，表面温度可能会超过60℃，导致长期使用烫手。对此，Tiiny AI在众筹界面解释，专门定制了薄至1.0mm VC 125*45mm + 双胞胎风扇，其FIN与FAN是搭接一体化设计，更利于解决局域化散热，静音（35db以内）。
从下图可以看到Tiiny这款产品中增加了匀热片配合散热模组一同进行风冷散热。不过目前虎嗅也尚未接触产品实物，尚不清楚其具体表现。
一些质疑声
在这些参数背后，笔者注意到，海外行业观察者从传统dense模型和单一算力指标的角度提出疑问：
例如，Tiiny宣传“120B大模型”，但该模型实际为MoE架构，每个token仅激活约51亿参数。严格来说，这与“运行1200亿参数模型”的技术含义存在距离；其次，关于算力宣传，190TOPS的AI算力，可能是将NPU、GPU等不同计算单元的理论峰值简单相加得出的，不同架构的算力不宜直接累加对外宣传。
当然，这些问题仅仅涉及MoE、异构计算的市场营销表述层面，这类表述已经成为行业惯例，并非否定Tiiny的技术价值。在两个月前的美国CES展，Tiiny AI团队已经展现出技术实力，将Pocket Lab通过USB-C接口，连接到一台2011年生产的老旧电脑。完全离线的情况下，在这台“电子古董”的屏幕上，GPT-OSS-120B（int4）以20tokens/s的速度跑起来了。
再者，关于内存配置。80GB内存分布在dNPU和SoC两个不同芯片上，并非全部可用于模型推理的统一内存池。主要原因是，质疑者认为，80GB内存分布在两个芯片上，受PCIe带宽限制会影响性能。
对此，Tiiny AI在Kickstarter上进行了回复：针对“内存带宽可能成为性能瓶颈”的质疑，Tiiny AI解释，将热激活参数（运行在NPU）与冷激活参数（运行在SoC）进行合并的过程，并不受PCIe带宽的限制。
通俗来讲，PCIe相当于芯片之间传输数据的“高速公路”，PCIe Gen4 x4这条“路”的限速约为8 GB/s。但Tiiny指出，这个限速只适用于大批量数据传输的场景。而冷热激活参数的合并，实际传输的数据量极小。Tiiny AI以GPT-OSS-120B为例解释，这个模型每次需要跨PCIe传输的数据仅约5.625 KB，传输耗时只有毫秒级的一小部分。由于数据量远低于带宽上限，PCIe链路并不会成为合并过程的瓶颈。
另外的质疑声来自交付时间。关于为何在8月才能交付，Eco Lee向虎嗅解释，从有Tiiny的想法到3月众筹上线，已经研发了13个月了，等众筹结束后马上能进入量产状态；其次，在这期间公司还有一道“认证”的坎要过。比如美国一定要配备的认证FCC ，加拿大的ISED、欧洲的CE以及RoHS、REACH等认证。公司从1月起就在筹备TIiny的认证和合规，预估在6月底前能完全具备产品交付的合规资质。
在生产制造环节， Tiiny AI的合作伙伴是全球PC制造头部厂商LCFC，今年 5 月会在越南LCFC生产。Tiiny AI向虎嗅介绍，LCFC 认可 Tiiny 的产品形态及其代表的端侧 AI 设备发展方向，也正因为有他们成熟的品控和制造能力在，才能稳稳保证Tiiny产品的交付质量。
总的来看，Tiiny AI这个小盒子证实了个人AI工作站的真实需求，也摸清了用户场景，本地AI不会先成为大众硬件，而是先成为专业用户的生产工具；AgentBox或许只是窗口期品类，但已经切中了高敏感数据用户和高频Agent玩家的迫切需要，成为今年AI硬件行业的确定性趋势。
本文来自虎嗅，原文链接：https://www.huxiu.com/article/4848076.html?f=wyxwapp
富灯网提示：文章来自网络，不代表本站观点。
