作者 | 雨林下

头图 | 视觉中国

荣耀、OPPO、VIVO、小米各大厂商都相继开始支持大模型在手机端的应用，联想也刚发布了全球首款AI PC。

相比云端，在终端运行AI究竟能带来哪些直观价值？作为消费者，我们又可以期待些什么？

12月28日，虎嗅智库举办了502线上同行主题研讨活动，来自上海人工智能技术协会首席咨询顾问尹智、亚马逊云科技资深解决方案架构师贺杨、中科创达物联网事业群副总裁杨新辉、亿智电子AI研究院院长孔文海、启英泰伦芯片技术总监王书娟，就端侧AI的产业生态进行了前沿观点分享。

以下为嘉宾的部分观点摘要：

应用驱动发展，端侧AI逐步刚需

● 目前来看，不论国内国外端侧AI都还没有形成一个固定的生态和框架，现在所看到的这些所谓开源和推理，都还没有统一的集大成者出现。

● 端侧AI的需求是由应用驱动的，选择云还是端侧AI，主要取决于用户的选择，比如交通领域，需要做一些人流分析，包括人脸识别，这种对延迟性要求高的场景就会有比较刚性的需求。另外，从成本和传输方面也是考量因素，毕竟全视频流在带宽和流量上都有一定压力，如果端侧AI能够分担一部分云端压力，价值是很真实的。

● 云端有云端的优势，它可以快速的去做模型迭代和收敛，而且它的算力强，数据收集和训练都很方便，但云端也有一些劣势，比如云端识别要依赖于网络，如果网络不稳定，信号覆盖不到或者信号质量差，服务器处理能力不行的情况下，它的识别会非常不稳定。其次就是云端无法保证用户的隐私安全，存在泄漏风险。再就是云端的运行成本非常高，因为它要搭建，涉及到搭建服务器、升级、维护，包括便利和传输数据的传输，这无形当中都会带来非常大的成本,虽然现在互联网厂商在承担这个成本，但长期来看，会转嫁到用户身上去。而这些问题，也会制约一些智能终端设备的发展和升级。

● 对应的，采用端侧AI的刚需性也是这几个方面，第一是延迟，像自动驾驶这种特殊场景如果通过云端反馈过来，直接就会出安全问题；第二成本也很重要，用手机端的算力跑AI可以极大节约成本；第三是隐私安全可以得到保障。

● 以家具家电这类功能性比较强的设备为例，我们经常用到的空调，烟机，微波炉，风扇，跑步机，这些不需要联网就能在终端做指令的唤醒和识别，这对用户来说是端侧AI带来的便利。包括像一些语音识别的场景，会议系统的纪要DEMO自动生成、会议摘要的快速整理之类，虽然云端也可以完成这件事情，但本地端显然可以更敏捷高效的解决这些需求。

● 运行在汽车端时，端侧AI可以实现多任务下发，联动一系列指令，比如我说“请帮我打开车窗，并且导航到北京西站，然后播放一首刘德华的音乐”，这样的长指令在以前是很难实现的，虽然现在云端和端侧都可以实现，但从用户体验的一致性来说，他会期待无论车走到什么地方，即使进入隧道或不能联网时，也能有这样的丝滑感，所以基于这样的需求，就只能靠端侧AI，而且随着它的能力边界越来越清晰，也会越来越好用。

AI芯片在场景中做衍生，混合AI是趋势

● 从现在那些算法的演进来看，大部分都是在英伟达的CUDA生态上去做加速或者训练，所以算法的发展进程比端侧AI芯片要早得多。

● 端侧AI芯片具体要设计成什么样，跟不同公司和不同业务场景相关，正常一个周期在一年左右，快的半年。一般芯片出来之后，算法还会去做衍生，切入不同应用场景，可能是做车、做机器人、做物联网设备等等。未来需要平衡的是成本和性能，并最终由市场来定义性价比。目前从半导体的成熟度看，还需要比较长的时间周期来使端侧AI这个产品成熟和广泛利用。

● 混合AI，就是说除了云端，端测和边测上的AI也会发展起来，这个背景实际上是产业链分工的问题。AI大模型这么大的发展势头，做端侧芯片的厂商不可能不去参与，大家都做，就推动了半导体产业的进步。现在除了手机以外，AIPC也在成为热点，就是加载这种AI处理能力的笔记本形态的产品在不断出来。

● 对于不同场景的不同需求，怎么精细定义AI能力边界的识别问题，这是一个很难的工作，比如到底3B，20B，70B还是130B的模型，每一个模型在不同的场景下，到底有多好用，这是目前业内都在寻找边界的工作。但实际上，我们看起来现在从3B到7B的模型，尽管它的模型能力在参数小的情况下很有限，但已经远比以前没有大模型时代的能力要大幅提升了。

● 现在行业整体还很早期，有很多创新的可能，而且我们看到半导体厂商和模型厂商提供了这些基础技术能力后，可能会有成千上万或者上百万的这样的AI原生应用爆发式出现，相应的也就会产生新的开发者生态，也就会有更多的人会去思考，基于边缘端AI或者端侧AI到底能做什么样的技术创新，到时候场景的想象空间会更大。

... ...

本次活动中，线上参会观众汇集了来自深圳市人工智能与机器人研究院、阿里巴巴、美团、商汤科技、智谱AI、美的集团、比亚迪等知名公司的人工智能相关从业者，大家在互动区进行了热烈的提问，对于“目前端侧大模型的在 AI PC 上的能力，与参数较多的云端大模型有多大的差距？这些差距主要体现在用户体验的什么方面？”等问题，嘉宾给出了精彩回复，也圆满结束了本次502线上同行研讨活动。

关于虎嗅智库：

虎嗅智库致力于推动产业数字化以及以“双碳”转型为代表的可持续发展，为参与这个进程的中国企业高管、政府相关决策服务。我们主要的服务手段主要为：研究型内容（报告、分析文章、调研评选）、数据库、线上线下活动与社群、定制型项目等。

我们提供的核心价值：

及时与优质的洞察，了解技术、了解行业、了解同行与对手；

为决策者技术与产品战略决策、产业规划、解决方案选型提供重要参考；

帮助市场全面了解前沿科技及所影响产业的发展状况，还有未来趋势。