English 中文

新闻资讯

了解最新消息 掌握最新动态

乐鱼体育-支持160亿参数大语言模型 英特尔让轻薄本也能玩转AIGC

2024-06-11

  【天极网条记本频道】跟着Chat GPT的年夜热,AIGC成为当下人工智能畛域最抢手的倒退标的目的,基于AI年夜模子的训练,行使现有的数据、算法以及算力,天生更少数据或进行创作等等。但不论是各人熟知的Chat GPT,仍是baidu的文心一言,都是需求弱小的云端算力所撑持能力完成。而与那些依托悠远的云端算力没有同,英特尔则努力于让天生式AI正在集体电脑上落地,经过内陆设施的算力来完成这些。

  正在往年早些时分的一次手艺分享会上,英特尔曾展现过基于OpenVINO,AI画图开源模子Stable Diffusion能够应用开源图片编纂软件GIMP,正在英特尔锐炫A750、A770等显卡下流畅运转,经过输出简略的文字,仅需很短的工夫变能够完成创意画图,协助用户晋升效率。

  而比来的手艺分享会上,英特尔愈加具体的展现了它们正在端侧AIGC的规划以及效果,它们提供了从硬件到软件的片面支持。起首是硬件层面,以今朝第12代、第13代英特尔酷睿解决器以及英特尔锐炫A系列显卡为代表的英特尔多款客户端芯片,均可以餍足天生式AI(AIGC)关于高算力的需要。同时,英特尔还经过软件生态的构建以及模子优化,进一步推进新兴的天生式AI场景正在集体电脑的落地,宽泛笼罩轻浮本、万能本、游戏本等集体PC设施上。

 支持160亿参数的大语言模型 英特尔让轻薄本也能玩转AIGC

  英特尔基于OpenVINO PyTorch后真个计划,经过Pytorch API让社区开源模子可以很好地运转正在英特尔的客户端解决器、集成显卡、自力显卡以及公用AI引擎上。像刚刚提到的Stable Diffusion,曾经能经过上述形式,正在英特尔客户端平台的CPU以及GPU(包罗集成显卡以及自力显卡)上运转FP16精度的模子,用户能够正在文字天生图片、图片天生图片和部分修复等性能上取得精良的应用体验。

 支持160亿参数的大语言模型 英特尔让轻薄本也能玩转AIGC

  除了此以外,英特尔还经过模子优化,升高了模子对硬件资本的需要,进而晋升了模子的推理速率,让社区开源模子可以很好地运转正在集体电脑上。英特尔经过第13代英特尔酷睿解决器XPU的减速、low-bit量化和其它软件层面的优化,让最高达160亿参数的年夜言语模子,经过BigDL-LLM框架运转正在16GB及以上内存容量的集体电脑上,这点实属不容易了。虽然相比于GPT-3高达1750亿的参数目另有着数目级的差距,但究竟结果它靠的只是一台集体电脑,而GPT-3的面前可是上万颗英伟达V100芯片。

  英特尔顺应了当下疾速倒退的年夜言语模子,兼容今朝HuggingFace上的Transformers模子。曾经验证过的模子包罗但没有限于:LLAMA/LLAMA二、ChatGLM/ChatGLM二、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等。别的,英特尔还提供了易用的API接口(Transformers、LangChain),并支持Windows、Linux的操作零碎。

  正在流动现场,笔者看到了依托PC端侧算力的一些AIGC的演示案例,比方正在一台搭载酷睿i7-13700K+Arc A750显卡的台式机上(抉择ChatGLM2-6b模子),就能够完成十分丰厚的性能,像谈天助手、感情剖析、故事创作等,天生文字答复的速度都比拟理想。正在谈天助手性能下,它做到了首个token first latency工夫为215.3ms,后续After latency为55.63ms/token,天生的速率齐全能够追上一般人的浏览速率,体验仍是OK的。之后还测试了感情剖析性能,first latency工夫为249.8ms,After latency 56.01ms/token,天生速率一样蛮快的。而正在Stable Diffusion的图片天生这块,512x512分辩率的一张图耗时正在2秒阁下。

 支持160亿参数的大语言模型 英特尔让轻薄本也能玩转AIGC

  前段工夫,Tom's Hardware还应用Automatic1111 WebUI OpenVINO测试了Arc A770 16GB以及Arc A750的AI功能。与5月份相比,两款显卡8月份的测试后果发作了很年夜的变动,与以前均后进于RTX 4060没有同,现在它们均完成了肯定幅度的超过,并且Arc A770 16GB曾经靠近RTX 4060Ti了。二者正在硬件功能这块是一定没有如RTX 4060的,而AI功能的抢先应该要患上益于英特尔正在软件层面的继续优化。

 支持160亿参数的大语言模型 英特尔让轻薄本也能玩转AIGC

  当然,除了了搭载独显的台式机可以玩AIGC外,轻浮本同样是OK的,现场这台设施搭载了酷睿i7-13700H解决器,领有96EU的Iris Xe核显,一样可以经过基于AI画图开源模子Stable Diffusion应用开源图片编纂软件天生图片,一张512x512分辩率的图片天生破费的工夫为17秒阁下,相比于Arc A770独显的2秒算没有上快,复杂的形容则需求期待更长的工夫。我感觉根本正在可用的这个级别上,关于这样一台轻浮原本说曾经十分不易了。

 支持160亿参数的大语言模型 英特尔让轻薄本也能玩转AIGC

  值患上一提的是,英特尔的下一代解决器Meteor Lake具有共同的别离式模块架构的劣势,为PC用户提供了以AI驱动的新性能,像Adobe Premiere Pro中的主动从新构图以及场景编纂检测等多媒体性能,并完成更无效的机械学习减速。它们会以及工业协作同伴一同向着规模化使用AI减速转型的标的目的前行,后续几代产物也将持续拓展AI才能,让更多享用到AI所带来的体验晋级。

  写正在最初

  今朝来看,英特尔正在终端侧AIGC这块曾经进行了十分多的规划,努力于推进天生式AI正在集体PC上的落地,它们不只提供了弱小的硬件根底,还经过模子优化升高硬件资本的需要,让更多开源模子可以运转正在集体PC上,13代酷睿解决器曾经可以支持高达160亿参数的年夜言语模子。从现场的演示能够看出,我感觉今朝端侧的AIGC曾经具有了肯定的可用性以及使用场景,下一步则需求去落实到详细的使用以及性能上,正在实际的场景中施展作用。英特尔也示意,今朝正与PC工业泛滥协作同伴共同努力,努力于让宽广用户正在一样平常生存以及工作中,经过AI的辅佐来进步效率,进而带来给改造性的PC体验,各人能够等待一下。

-乐鱼体育