谷歌发布了一款没人要求但每个人都想尝试的新应用。
悄然于5月31日推出的AI Edge Gallery，直接将人工智能放在你的智能手机上——无需云端、无需互联网，也不会与大型科技公司的服务器共享数据。
这款在Apache 2.0许可下发布的实验性应用——允许任何人几乎可以用于任何用途——现已在GitHub上提供，目前支持Android平台。iOS版本即将推出。
它可以完全离线运行Google的Gemma 3n等模型，仅使用手机硬件处理从图像分析到代码编写的各种任务。
而且出奇地好用。
这款目前似乎针对开发者的应用包含三个主要功能：AI聊天用于对话、Ask Image用于视觉分析，以及Prompt Lab用于单次任务，如文本重写。
用户可以从Hugging Face等平台下载模型，尽管目前可选模型仍然有限，如Gemma-3n-E2B和Qwen2.5-1.5 B等格式。
Reddit用户立即质疑了该应用的新颖性，将其与现有解决方案如PocketPal进行比较。
一些人提出了安全性担忧，但该应用托管在Google官方GitHub上，可以反驳冒充声明。目前尚未发现任何恶意软件证据。
我们在三星Galaxy S24 Ultra上测试了该应用，下载了可用的最大和最小的Gemma 3模型。
每个AI模型都是一个独立文件，包含其所有"知识"——可以理解为下载了模型在训练期间学习的所有内容的压缩快照，而不是像本地维基百科应用那样的庞大事实数据库。应用内可用的最大Gemma 3模型约为4.4 GB，最小的约为554 MB。
下载后，不需要任何额外数据——模型完全在你的设备上运行，仅使用其发布前学习的内容来回答问题和执行任务。
即使在低速CPU推理下，体验也与GPT-3.5发布时相当：对于大型模型不是超快，但绝对可用。
较小的Gemma 3 1B模型每秒可达20多个标记，在监督下提供流畅且可靠的准确性。
当你离线或处理不想与Google或OpenAI的训练算法共享的敏感数据时，这一点尤为重要，除非你选择退出，否则这些算法默认会使用你的数据。
在最小的Gemma模型上，GPU推理提供了超过105个标记/秒的令人印象深刻的预填充速度，而CPU推理达到了39个标记/秒。标记输出——模型思考后生成响应的速度——在GPU上平均约为10个标记/秒，在CPU上约为7个标记/秒。
多模态功能在测试中表现良好。
此外，似乎在较小模型上CPU推理比GPU推理能产生更好的结果，尽管这可能只是个别现象；然而，这已在多次测试中得到观察。
例如，在视觉任务中，CPU推理模型在测试照片中准确猜测了我和妻子的年龄：我接近40岁，妻子接近30岁。
据说更好的GPU推理错误地猜测我在20多岁（不过我很乐意接受这个"信息"）。
Google的模型带有严格的审查，但可以通过最小的努力实现基本的越狱。
与会因规避尝试而封禁用户的中心化服务不同，本地模型不会回传你的提示，因此使用越狱技术而不会冒失去订阅的风险，或询问审查版本不会提供的信息是个好做法。
第三方模型支持是可用的，但有些有限。
该应用仅接受.task文件，不支持像Ollama这样的竞争对手广泛采用的.safetensor格式。
这极大地限制了可用模型，尽管有方法将.safetensor文件转换为.task，但并非人人都能做到。
代码处理工作尚可，尽管像Codestral这样的专业模型会比Gemma 3更有效地处理编程任务。同样，它必须有.task版本，但可以是非常有效的替代方案。
对于重新措辞、总结和解释概念等基本任务，这些模型无需发送数据到三星或Google的服务器就能出色完成。
因此，用户无需授予大型科技公司访问其输入、键盘或剪贴板的权限，因为他们自己的硬件正在处理所有必要的工作。
4096个标记的上下文窗口在2025年标准下感觉有限，但与两年前的常态相符。
在这些约束内，对话自然流畅。这可能是定义这种体验的最佳方式。
考虑到你在智能手机上运行AI模型，这款应用将提供与早期ChatGPT类似的体验，无论是速度还是文本准确性——并具有多模态和代码处理等一些优势。
但为什么要在手机上运行一个较慢、功能较弱的你喜欢的AI版本，占用大量存储空间，并使事情比直接输入ChatGPT.com更复杂呢？
隐私仍然是杀手级功能。例如，处理患者数据的医疗工作者、现场记者或任何处理机密信息的人现在可以在不离开设备的情况下访问AI功能。
"无需互联网"意味着该技术可在偏远地区或旅行时使用，所有响应仅由模型在训练时已有的知识生成。
成本节省很快就会累积。云AI服务按使用收费，而本地模型只需要手机的处理能力。小型企业和爱好者可以在没有持续开支的情况下进行实验。如果你在本地运行模型，你可以无限制地与之交互，无需消耗配额、积分或订阅，且无需产生任何费用。
延迟改进感觉明显。没有服务器往返意味着实时应用（如聊天机器人或图像分析）响应更快。这也意味着你的聊天机器人永远不会宕机。
总的来说，对于基本任务，这可能对任何用户来说绰绰有余，免费版的ChatGPT、Claude、Gemini、Meta、Reka和Mistral在需要更重的计算时可以提供良好的备用选择。
当然，这不会很快成为你最喜欢的联网聊天机器人的替代品。存在一些早期采用的挑战。
电池耗尽的担忧仍然存在，尤其是对于大型模型；设置复杂性可能会阻碍非技术用户；模型种类与云服务相比相形见绌，Google决定不支持.safetensor模型（占互联网上几乎100%的大语言模型）令人失望。
然而，Google的实验性发布标志着AI部署理念的转变。该公司不再迫使用户在强大的AI和隐私之间选择，而是同时提供两者，即使体验尚未完全成熟。
AI Edge Gallery为一个Alpha版本提供了出奇精良的体验。Google的优化展示了可能是运行本地AI模型最佳用户界面的创建。
增加.safetensor支持将解锁现有模型的庞大生态系统，将一个不错的应用转变为面向注重隐私的AI用户的必备工具。
由Josh Quittner和Sebastian Sinclair编辑
文章声明：以上内容(如有图片或视频亦包括在内)除非注明，否则均为谈天说币原创文章，转载或复制请以超链接形式并注明出处。