在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题
时间:2023-08-22 22:21:48来源:搜狐数码

不管被动还是主动,大模型,AIGC,ChatGPT,Stable Diffusion,MidJourney 等等名词在大家的新闻列表里狂轰滥炸,经历了上半年的惊喜、恐慌、期待和担忧之后,AIGC 现今已不是天降福音或者天网再临,人们开始正视它,理解它,适度利用它。

当然,这一轮 AIGC 浪潮主要发生在云端,无论是 ChatGPT,还是文心一言,通义千问这类大语言模型应用,亦或是 MidJourney 这类 AI 生成图片的应用,还有不少像 Runway 这样 AI 生成视频的应用,都需要联网,因为 AI 计算都发生在千里之外的云端服务器上。


(相关资料图)

毕竟一般而言,服务器端能够提供的算力和存储,要远大于电脑端和手机端,但情况也并非绝对,响应快,无需联网的端侧 AI 毫无疑问是另一个趋势,和云端 AI 能够相互互补。

在前不久的小米年度演讲中,小米创始人雷军表示,小米 AI 大模型最新一个 13 亿参数大模型已经成功在手机本地跑通,部分场景可以媲美 60 亿参数模型在云端运行结果。

虽然参数量不太大,但说明了大模型在端侧的可行性和潜力。

在算力大得多的 PC 端,是否也有端侧大模型等 AIGC 运用的可行性和潜力呢?8 月 18 日,英特尔举办了一场技术分享会,着重分享了 2 个方面的信息:英特尔锐炫显卡 DX11 性能更新,并推出全新英特尔 PresentMon Beta 工具,以及展示英特尔在 AIGC 领域的进展。

去年英特尔锐炫台式机产品发布时,就承诺过英特尔锐炫显卡会持续优化升级,带来更出色的体验。

通过最新 Game On 驱动的发布,英特尔锐炫显卡在运行一系列 DX11 游戏的时候,能够获得 19% 的帧率提升,以及平均约 20% 的 99th Percentile 帧率流畅度提升(相较于首个驱动版本)。此前购买使用过英特尔锐炫 A750 显卡的用户,可以直接下载最新驱动,在《守望先锋 2》、《DOTA 2》、《Apex Legends》等游戏中获得体验升级。

对于在显卡选择上有点犹豫的用户来说,1700 元档位上的锐炫 A750 显卡也成为了颇有竞争力的选择。

PresentMon Beta 则是英特尔推出的图形性能分析工具,提供了 Overlay(叠加视图)等功能,可以在运行游戏时在屏幕上显示性能数据,帮助玩家实时遥测 GPU 的电压和温度等,实时分析大量信息。同时也可以查看 99th Percentile 帧时间与 GPU 占用率图表。

另外,PresentMon Beta 也带来了名为「GPU Busy」的全新指标。这里可以解释一下,用户通过它可以看到 GPU 实际使用了多少时间进行实际渲染而不是处于等待状态,或者在运行游戏的 PC 是否处于 CPU 和 GPU 平衡。

游戏是 PC 永恒的主题,而 AI 则是新晋的主题。

实际上,这一轮 AIGC 浪潮发生的主阵地设备,就是 PC,无论是 ChatGPT,还是 MidJourney,或者 Stable Diffusion 等等应用,包括基于大模型的微软 Office Copilot,亦或是金山办公的 WPS AI,都是在 PC 上才可以获得更好的体验。

但 PC 相较于其他设备,诸如手机,平板和优势,不仅在于屏幕更大,交互输入更高效,还在于芯片性能。

在英特尔谈 PC 上的 AIGC 之前,我们关注到 PC 端侧跑 AIGC,往往就是用高性能游戏本去跑图,但轻薄本往往被排除在外。

现在,英特尔明确表示了,基于英特尔处理器的轻薄本能跑大模型,也可以跑大模型和 Stable Diffusion。

英特尔基于 OpenVINO PyTorch(英特尔推出的一个开放源码工具包,旨在优化深度学习模型的推理性能,并将其部署到不同的硬件平台上)后端的方案,通过 Pytorch API 让社区开源模型能够很好地运行在英特尔的客户端处理器、集成显卡、独立显卡和专用 AI 引擎上。

比如开源的图像生成模型 Stable Diffusion(具体讲,是 Automatic1111 WebUI)就可以通过这种方式,在英特尔 CPU 和 GPU(包括集成显卡和独立显卡)上运行 FP16 精度的模型,用户实现文字生成图片、图片生成图片以及局部修复等功能。

▲ 图片来自:爱极物

比如这张 512×512 分辨率的蜂蜜薄饼图在英特尔处理器轻薄本(只用 i7-13700H 的核显)上,只需要十几秒就可以生成出来。

这主要得益于 13 代酷睿处理器在核心数、性能、功耗比还有图形性能上的进步,以 14 核心 20 线程的 i7-13700H 处理器为例,它的 TDP 达到了 45W,集成的 Intel Iris Xe Graphics (96EU) 显卡也不容小觑。

作为目前最高规格的核显之一,Intel Iris Xe Graphics (96EU) 相较于 Iris Plus 核显最高 64EU,基本规格提升明显,FP16、FP32 浮点性能提升幅度高达 84%,还引入了 INT8 整数计算能力 ,这些都加强了它的 AI 图形计算能力,也是英特尔轻薄本能够很好支持 Stable Diffusion 的主要原因。

在以往,TDP 45W 左右的英特尔处理器很难装进轻薄本,不过到了 13 代酷睿,已经出现了一大批在 1.4KG 左右的轻薄本把 14 核心 20 线程的 i7-13700H 处理器乃至性能更高的 i7-13900H 处理器塞了进去,所以,在笔记本上跑 Stable Diffusion 快速出图已经不是高性能独显游戏本的专属,今后轻薄本同样能够胜任这项工作。

当然,Stable Diffusion 本身主要跑在本地,轻薄本通过芯片性能的提升和优化来运行合乎逻辑,不过本地的端侧大模型则属于较为新生的事物。

通过通过模型优化,降低了模型对硬件资源的需求,进而提升了模型的推理速度,英特尔让一些社区开源模型能够很好地运行在个人电脑上。

以大语言模型为例,英特尔通过第 13 代英特尔酷睿处理器 XPU 的加速、low-bit 量化以及其它软件层面的优化,让最高达 160 亿参数的大语言模型,通过 BigDL-LLM 框架运行在 16GB 及以上内存容量的个人电脑上。

虽然离 ChatGPT3.5 的 1750 亿参数有量级差距,但毕竟 ChatGPT3.5 是跑在一万颗英伟达 V100 芯片构建的 AGI 网络集群上。而这通过 BigDL-LLM 框架运行 160 亿参数大模型是跑在英特尔酷睿 i7-13700H 或 i7-13900H 这样为高性能轻薄本打造的处理器上。

不过这里也可以看到,PC 端侧的大语言模型,也比手机端侧的大语言模型高一个量级。

出现了数十年的 PC,并非运行云端大模型的工具人,得益于硬件进步,英特尔处理器支持的 PC 已经能够快速对接新兴模型,兼容 HuggingFace 上的 Transformers 模型,目前已经验证过的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper 等。

▲ 图片来自:爱极物

在技术分享会现场,英特尔演示了基于酷睿 i7-13700H 设备跑大模型的表现:ChatGLM-6b 可以做到首个 token 生成 first latency 241.7ms,后续 token 平均生成率为 55.63ms/token。在在自然语言处理领域,「token」是指文本中的一个基本单元,可以是一个单词、一个字、一个子词(subword)、一个标点符号,或者其他可以进行语义处理的最小单元。可以看到,这个处理器速度相当不错。

目前还可以得到的消息是,英特尔的下一代处理器 Meteor Lake 具备独特的分离式模块架构的优势,更好地为 AI 服务,包括像 Adobe Premiere Pro 中的自动重新构图和场景编辑检测等多媒体功能,并实现更有效的机器学习加速。

虽然 AIGC 是 2023 年的一个关键词,但是 AI 并不新鲜,而且也是英特尔这几年来经常挂在嘴边的关键词。

更早之前的 AI 视频通话降噪,AI 视频通话背景降噪等等,其实都是 AI 的应用。

可以看到,未来处理器的竞争力,将不局限于核心数、线程数、主频这些,能否更好地驱动 AI 功能,将成为愈发重要的维度,也会是今后消费者选购产品会考虑的因素之一。

在命运的塑料大棚里,每棵被喷了过多农药的白菜心中,都曾经有一个成为无公害有机蔬菜的梦想。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

| · ·

责任编辑:

标签:

最新
  • 给自己的生日快乐祝福语

    给自己的生日快乐祝福语(通用6篇)给自己的生日快乐祝福语篇11、亲爱

  • 分享毛呢大衣在家的正确洗法 ,不用水洗和晾晒,像干洗店一样干净

    首先准备一盆温水,再准备食盐倒入温水里,一勺的量就可以了。然后再倒

  • 体型大的手办很贵,逼真的手办更贵,肥宅:不贵,可以当老婆 世界动态

    买手办的粉丝越来越多,但是大部分粉丝买的手办都比较普通,真正让人惊

  • 为期三个月 2023海峡两岸郑成功文化节正式启动 全球微动态

    鼓声激荡、乐声悠扬。昨日上午,2023海峡两岸郑成功文化节开幕式暨颂典

  • 鹤峰夏日好风光:红李芬芳漫山村

    鹤峰夏日好风光:红李芬芳漫山村---湖北日报客户端(通讯员陈平章)端

  • 端午 | 丢粽子进长江后,会发生什么?

    点击图片开启水下之旅审核:康耀方 邓国辉 苏逸冰策划:冯雨晴制

  • 武大靖:我的下一站,期待米兰再见!

    6月23日是国际奥林匹克日,新华社记者张扬采访了中国短道速滑奥运冠军

  • 用美白产品为什么还是黑?是因为成分不对吗?

    美白产品火热销售,但有不少人发现用了半天还是黑,这是为什么呢?是因

  • 股价“狂飙”,初创期AI业务比重较小,鸿博股份遭监管提醒:不得“蹭热点”

    股价“狂飙”,初创期AI业务比重较小,鸿博股份遭监管提醒:不得“蹭热

  • 全球信息:2023年硚口区中小学多校划片摇号报名入口

    2023年硚口区中小学多校划片报名入口2023年,武汉市十一初级中学崇仁校

  • 世界快看点丨广州地铁3号线要“上市”?最新回应:不实 未纳入基础设施REITs

    6月21日消息,近日有消息称广州地铁3号线已取得行政主管部门出具的《关

  • 绝招?传奇CFO蔡崇信重回阿里C位!马云摊牌:财务当家 全球视讯

    阿里巴巴集团将在今年9月10日迎来继马云、张勇之后的第三任董事会主席

  • 海口综保区中央大道已开始通车试运行 南北贯通南海大道与椰海大道 速读

    改造后的中央大道从原属于园区管理的内部道路,升级为南北分别连接南海

  • 我国经济运行保持恢复态势 重点在六方面发力

    央视网消息:国家发展改革委6月16日举行新闻发布会,介绍当前经济形势

  • 纳斯达克中国金龙指数跌超1% 热门中概股多数转跌 消息

    每经AI快讯,6月16日,纳斯达克中国金龙指数跌超1%,热门中概股多数转

  • 传甲骨文(ORCL.US)裁员数百人 并裁减医疗部门空缺职位_当前热闻

    甲骨文(ORCL US)周四裁员数百人,撤回部分聘用合同并裁减医疗部门的空

  • 旅游
    • 汤姆猫:公司海外团队也在测试Google的Bard模型

    • 这个夏天,1400名新徐工人共赴一场青春盛会!

    • 国家疾控局:汛期来临,保持这些健康卫生习惯

    • 择期宣判!郭刚堂儿子被拐案一审庭审结束,人贩子拒不认罪