问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

英特尔开源NPU加速库:酷睿Ultra处理器如何支持AI推理?

发布网友 发布时间:2024-07-13 10:51

我来回答

1个回答

热心网友 时间:2024-08-04 01:14

英特尔向AI技术迈出重要一步:集成NPU的微型架构开源

Intel近期在GitHub上发布了其NPU加速库,标志着该公司正在积极投身于AI领域的开发。这款开源库专门为酷睿Ultra处理器设计,这类AI增强的PC现在能够运行诸如TinyLlama、Gemma-2b等轻型大语言模型,展现出强大的AI推理能力。


酷睿Ultra处理器首次集成NPU AI引擎,它专为处理轻量级AI任务而生,能够协同CPU和GPU,共同应对多样化的AI工作。这个开源库是为开发者精心打造的工具,即便是有一定编程基础的用户,也能借此探索AI的可能性。


英特尔软件架构师Tony Mongkolsmai通过实际演示,展示了一台配备了微星尊爵14 AI Evo笔记本,成功地运用拥有11亿参数的TinyLlama模型进行AI聊天,其性能得到了Windows任务管理器的确认,NPU的激活证实了其在实际应用中的价值。


然而,目前的开源NPU加速库尚存在局限,支持8位量化和FP16精度,但暂不支持4位量化、BF16精度以及NPU与GPU的混合计算。文档也还不尽完善。不过,Intel已明确表示,他们将逐步增强库的功能,并计划将其数量翻倍,预示着未来更多AI潜能的释放。

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
福建南安都有哪些市场 端午节去南安旅行的线路有哪些值得分享? 南安有哪些特色商业街 把一个棱长是10厘米的正方体铁块熔铸成一个底面积是20厘米的圆锥形铁块... 把一块棱长10厘米的正方体铁块熔铸成一个底面直径是20厘米的圆柱形零件... 0x0438ef0指令引用的0x0438ef0内存.该内存不能为“read”的错误提示... SONY 索尼 DSC-RX100M5A 1英寸数码相机 黑色(8.8-25.7mm、F1.8) Vl... SONY 索尼 DSC-RX100M5A 1英寸数码相机 黑色(24-70mm、F1.8-F2.8)-购... 索尼RX100 M5A数码相机 索尼RX100 M5A数码相机:小巧便携,成像卓越 二倍力气缸的特点有哪些 我是出租司机,双班有个违章时间太长了扣6分不知道是谁的了,我们俩可以... 请问南京火车站到苏果的黄金海岸购物广场和清凉门购物中心怎么走? 友谊河路到清凉门苏果怎么走 从南京师范大学到清凉门大街苏果超市怎么走? 南京相子桥到清凉门苏果超市有多远6 燕江园社区到华润苏果(清凉门大街)怎么走 word2007如何双面打印让背面倒序打word双面打印时背面怎么是倒着的 word2007怎么设置双面打印文档? 莆田市荔城区新力船务有限公司怎么样 莆田新力电子有限公司怎么样? 威远客运站到威远县疾控中心有多远,打的士大概多少钱 高钾血症的原因 钾片吃多了有什么副作用 2020幼儿园感恩教育活动总结 感恩节主题活动总结 捷德奥特曼能和撒加奥特曼,雷杰多奥特曼融合吗? 描写边声的诗句。 又有景色描写又有声音的诗句 金线莲是吃叶子还是连颈部一起吃 冈底斯壁挂炉要什么价格? 女主短头发黑发男主平头的日本动漫 经典小说有哪些? 为何餐馆多使用橄榄油做菜? 吃播催吐用的是什么药? 学吉他的app学吉他的app 塑胶地板多少钱1平米 1800平方米等于多少平分厘米 柠檬茶店名字 有创意196个 太原五中和五育的关系 太原上四大名校地理、生物考试等级受影响吗 2016年太原市中考580左右能上哪些高中呢 胸口像有气憋着疼,像针扎的一样,疼到嗓子眼,还直打嗝。请问这是什_百度... 胸口经常会像针扎一样痛一下,是怎么了? 中成药治疗高胆固醇有用吗 胎心监测监测时间 "何当共剪西窗烛,却话巴山夜雨时?" 梦见全家人来学校找我 房屋问题,风水学。农村正方形三层楼房,屋后有一块空地,想在一楼和... 我想在农村建一栋三层楼房,一层给父母住,二,三楼楼梯从外面上,怎样设计...