2024年，AI PC成了最火的概念之一。

各大厂商都在推AI PC，英特尔、AMD、高通都推出了带NPU的处理器，微软也在Windows 11里加入了Copilot+ PC的概念。宣传上说，AI PC能本地运行大模型，能实时翻译、能智能修图、能自动总结文档，听起来很美好。

我作为一个喜欢折腾的技术人，当然也忍不住入手了一台号称"AI PC"的笔记本，想体验一下本地AI的魅力。结果折腾了一个月，踩了无数的坑，熬了好几个夜，才把这台机器的AI功能勉强用起来。

这篇文章就来记录一下我折腾AI PC的踩坑经历，给想入手AI PC的朋友一些参考。

什么是AI PC

先简单说说什么是AI PC。

AI PC，简单来说就是带有专门的AI加速硬件（主要是NPU，神经网络处理单元）的个人电脑。NPU专门用来运行AI模型，比CPU和GPU更高效、更省电。

AI PC的核心卖点是"本地AI"——AI模型直接在电脑上运行，不需要联网，不需要调用云端API。这样的好处是：速度快、隐私好（数据不出本地）、不需要付费调用API、没有网络也能用。

目前的AI PC主要有几个平台：

  • 英特尔酷睿Ultra系列，自带NPU（英特尔叫它AI Boost）
  • AMD Ryzen AI系列，自带XDNA NPU
  • 高通骁龙X系列，自带Hexagon NPU
  • 苹果M系列芯片，自带Neural Engine（虽然苹果不叫AI PC，但本质上也是）

这些平台的NPU算力从几十TOPS到几十TOPS不等，理论上能跑一些中等大小的AI模型。

我买的是一台英特尔酷睿Ultra的笔记本，宣传说NPU算力有13TOPS，能本地运行7B参数的大模型。听起来很美好，实际用起来嘛……坑很多。

坑一：NPU驱动和软件支持

第一个坑就是NPU的驱动和软件支持。

我拿到电脑之后，第一件事就是想试试NPU的性能。结果发现，Windows里根本看不到NPU的存在，设备管理器里也没有。查了半天资料才知道，需要安装专门的NPU驱动和运行时。

英特尔的NPU驱动叫"英特尔AI Boost驱动"，要去英特尔官网下载。安装的时候还要求Windows版本是特定的，我的系统版本不够，又花了半天升级Windows。

装完驱动之后，还要装推理框架。英特尔用的是OpenVINO，一个开源的AI推理框架。OpenVINO的安装也不简单，要配置环境变量，要装Python依赖，要下载模型，折腾了好久才跑通第一个demo。

更坑的是，不同厂商的NPU用的是不同的推理框架：英特尔用OpenVINO，AMD用ROCm，高通用QNN。你在英特尔NPU上跑的模型，不能直接放到AMD NPU上跑，要重新转换和优化。这就导致AI PC的软件生态非常碎片化，没有一个统一的标准。

而且，大部分常用软件根本不支持NPU加速。你买了AI PC，但日常用的浏览器、Office、Photoshop这些软件，都不会调用NPU。只有少数专门为AI PC开发的应用（比如微软的Copilot+功能、一些AI修图软件）才能用到NPU。

所以，买了AI PC之后，你会发现NPU大部分时间是闲置的，因为没有软件用它。

坑二：模型部署和转换

第二个坑是AI模型的部署和转换。

我本来以为，AI PC就像手机上的AI功能一样，下载个APP就能用。结果发现，要在NPU上跑AI模型，需要自己做模型转换和优化。

大模型一般是PyTorch或TensorFlow格式的，NPU不能直接运行，需要转换成NPU支持的格式（比如OpenVINO的IR格式）。转换的过程中，可能会遇到算子不支持、精度损失、性能下降等问题。

我第一次尝试把一个7B的大模型转换成OpenVINO格式，就遇到了很多问题。

第一个问题是模型太大。7B的模型，即使是量化成INT4，也有差不多4GB。我的笔记本内存是16GB，NPU的显存是共享内存的，模型加载进去之后，剩下的内存就不多了，系统开始卡顿。

第二个问题是转换失败。模型里有一些算子OpenVINO不支持，转换的时候报错。查了半天资料，发现需要把不支持的算子放到CPU上运行，这就涉及到异构计算，配置起来很复杂。

第三个问题是推理速度慢。好不容易转换成功了，跑起来发现速度很慢，每秒只能生成几个token，比云端API慢多了。宣传说能跑7B模型，实际跑起来的速度根本没法用。

后来我换了一个小一点的模型（3B参数），速度才勉强能用，但效果比7B差了不少。

而且，模型转换是一次性的工作吗？不是。每次模型更新，或者推理框架更新，都可能需要重新转换和测试。这个过程非常耗时耗力。

坑三：性能和预期差距大

第三个坑是实际性能和宣传的差距太大。

宣传上说，AI PC能本地运行大模型，能实时语音翻译，能智能修图，能自动总结文档。听起来很美好，实际用起来差强人意。

我测试了几个场景。

第一个是本地大模型对话。用3B的模型，速度还可以（每秒10个token左右），但回答的质量一般，经常答非所问，逻辑也不太对。7B的模型质量好一些，但速度太慢，等一个回答要等半天。和ChatGPT、Claude这些云端模型比起来，差距很明显。

第二个是实时语音翻译。这个功能听起来很酷，开会的时候实时翻译。但实际用起来，延迟很高，翻译的准确率也一般，特别是有口音或者专业术语的时候，翻译错误很多。而且NPU跑语音模型的时候，电脑风扇狂转，发热严重。

第三个是AI修图。一些AI修图软件支持NPU加速，比如抠图、降噪、超分辨率。这些功能用起来还可以，速度比纯CPU快一些，但和GPU加速比起来，还是慢不少。而且支持NPU的修图软件很少，选择有限。

第四个是文档总结。一些AI办公软件支持本地总结文档，但总结的质量一般，经常漏掉重点，或者总结得很笼统。和云端的AI总结比起来，差距不小。

总的来说，AI PC的NPU能做一些轻量级的AI任务，但和云端的大模型比起来，性能和效果都有不小的差距。宣传中的"替代云端AI"，目前还做不到。

坑四：发热和续航

第四个坑是发热和续航。

NPU虽然比GPU省电，但跑AI模型的时候，还是会产生大量的热量。我用NPU跑大模型的时候，电脑的风扇立刻就狂转起来，键盘表面温度也明显升高，特别是键盘中间区域，烫得有点不舒服。

而且，跑AI模型的时候，CPU和内存也在工作，整个系统的功耗很高。笔记本的电池续航明显下降，本来能撑6个小时的，跑AI的时候只能撑2个多小时。

这就很尴尬了。AI PC的卖点之一是"本地AI，随时随地能用"，但跑AI的时候发热严重、续航短，实际上并不适合在移动场景下长时间使用。

而且，发热会导致降频。电脑温度高了之后，NPU和CPU都会降频，AI推理的速度会进一步下降。我测试的时候，刚开始跑速度还可以，跑了几分钟之后，速度就明显下降了，因为温度太高降频了。

坑五：软件生态不成熟

第五个坑是软件生态不成熟。

AI PC是一个新的概念，软件生态还很不完善。

第一，支持NPU加速的软件很少。大部分常用软件都不支持NPU，只有少数厂商的少数应用支持。你买了AI PC，但日常用的软件都用不上NPU，NPU就成了一个摆设。

第二，AI应用的质量参差不齐。一些为AI PC开发的应用，功能很简单，效果也一般，更多的是为了蹭AI PC的热度，而不是真正实用的工具。

第三，开发者工具不完善。对于开发者来说，AI PC的开发工具还很初级。文档不全，示例很少，调试困难。想开发一个支持NPU的应用，门槛很高。

第四，不同平台之间不兼容。前面提到了，英特尔、AMD、高通的NPU用的是不同的推理框架，应用要适配每个平台，开发成本很高。这导致很多开发者不愿意为AI PC开发应用，进一步导致软件生态不完善。

软件生态的不成熟，是AI PC目前最大的问题。硬件有了，但没有软件能用，AI PC就和普通PC没什么区别。

坑六：隐私和安全

第六个坑是隐私和安全。

AI PC的卖点之一是"本地AI，隐私安全"，因为数据不出本地。但实际上，本地AI也有隐私和安全的问题。

第一，本地大模型可能会被攻击。如果模型存在安全漏洞，攻击者可能通过特定的输入来获取模型的信息，或者让模型生成有害的内容。

第二，本地AI的内容审核更难。云端AI有内容审核机制，能过滤有害内容。本地AI没有统一的审核，用户可以用本地模型生成任何内容，包括有害的、违法的内容。这带来了安全隐患。

第三，模型本身可能泄露隐私。如果模型是在用户数据上微调的，模型里可能包含用户的隐私信息。攻击者可能通过模型反演等技术，从模型中提取出用户的隐私数据。

第四，AI PC的管理更难。企业环境下，IT部门很难管理员工电脑上的本地AI模型，不知道员工在用AI做什么，也无法统一更新和管控。

这些隐私和安全问题，目前还没有很好的解决方案。随着AI PC的普及，这些问题会越来越突出。

那AI PC值得买吗

踩了这么多坑，你可能会问：AI PC到底值不值得买？

我的回答是：看你的需求。

如果你是以下情况，AI PC可能值得买：

  • 你是开发者，想学习和开发本地AI应用
  • 你有特定的本地AI需求（比如处理敏感数据，不能用云端AI）
  • 你喜欢折腾新技术，愿意花时间踩坑
  • 你本来就要买新电脑，加一点预算就能买到带NPU的型号

如果你是以下情况，AI PC可能不值得买：

  • 你只是日常办公、上网、看视频，NPU对你来说没用
  • 你期望AI PC能替代云端大模型，目前还做不到
  • 你不想折腾，希望买回来就能用
  • 你预算有限，AI PC比普通PC贵不少

目前来说，AI PC还处于早期阶段，硬件有了，但软件和生态还跟不上。它更像是一个"未来可期"的产品，而不是一个"现在就很好用"的产品。

如果你现在要买电脑，我建议把NPU当成一个加分项，而不是决定项。重点还是看CPU、GPU、屏幕、键盘、续航这些传统的电脑指标。如果在这些指标都满意的基础上，刚好有NPU，那挺好的；但如果为了NPU牺牲了其他方面，就不值得了。

一些建议

如果你已经买了AI PC，或者打算买，我有几个建议。

第一，降低预期。不要期望AI PC能替代云端大模型，目前的本地AI还比较初级。把它当成一个辅助工具，而不是主力工具。

第二，从小模型开始用。不要一开始就跑7B、13B的大模型，先从1B、3B的小模型开始，速度和体验会好很多。等以后NPU算力更强了，再用大模型。

第三，关注软件更新。AI PC的软件和驱动更新很快，每隔一段时间就有新功能和性能优化。定期更新驱动和软件，体验会越来越好。

第四，加入社区。AI PC的开发者社区和用户社区正在形成，遇到问题可以在社区里求助，也能学到很多实用的技巧。

第五，耐心等待。AI PC还在快速发展中，每年的NPU算力都会提升，软件生态也会越来越好。现在的坑，未来可能都会被填平。给这个新事物一点时间。

写在最后

AI PC是一个很有前景的方向，本地AI确实有很多优势：速度快、隐私好、成本低、离线可用。但目前来说，它还处于早期阶段，有很多坑要踩，有很多问题要解决。

我折腾了一个月，踩了无数的坑，熬了好几个夜，最终的体验是：能用，但不好用；有潜力，但还需要时间。

如果你是一个喜欢折腾的技术人，AI PC会给你带来很多乐趣，也能让你学到很多东西。如果你只是一个普通用户，建议再等等，等软件生态更成熟了再入手。

技术的发展总是这样，早期总是充满了坑和问题，但随着时间的推移，会越来越成熟、越来越好用。AI PC也是一样。我相信，几年之后，本地AI会成为电脑的标配，就像现在的GPU一样。

到那时候，我们回头看现在的踩坑经历，会觉得很值得。因为正是这些早期的踩坑者，推动了技术的进步。

愿每个折腾新技术的人，都能在踩坑中成长，在探索中收获。