微软推出Phi-3-mini迷你模型:苹果iPhone端侧就能运行,38亿参数规模就媲美GPT-3.5性能
Llama 3发布刚几天,微软就出手截胡了。
当地时间4月22日,微软推出了 Phi-3-Mini,这是一个在 3.3 万亿个代币的广泛数据集上训练的 38 亿参数规模的微型大模型。尽管体积小巧,但 Phi-3-Mini 的性能水平可与 Mixtral 8x7B 和 GPT-3.5 等等型号相媲美的大语言模型。
刚刚发布的Phi-3系列小模型技术报告,引起AI圈热议。
其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B。
为了方便开源社区使用,还特意设计成了与Llama系列兼容的结构。
微软这次打出“手机就能直接跑的小模型”的旗号,4bit量化后的Phi-3-mini在iPhone 14 Pro和iPhone 15搭载的苹果A16芯片上跑出了每秒12 Tokens的数据。
这意味着,现在手机上能本地运行的最佳开源模型,已经做到ChatGPT(GPT-3.5)的水平。
在技术报告中还玩了一把花活,让Phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。
除了mini“迷你杯”之外,小杯中杯也一并发布:
Phi-3-small,7B参数,为支持多语言换用了Token分词器,并额外增加10%多语种数据。Phi-3-medium,14B参数,在更多数据上训练,多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。据悉,大杯Phi-3他们目前不打算做。
作者阵容一看也不简单,一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。
那么,Phi-3系列到底有什么独特之处呢?
根据技术报告中披露,其核心秘诀就在于数据。
去年团队就发现,单纯堆砌参数量并不是提升模型性能的唯一路径。
反而是精心设计训练数据,尤其是利用大语言模型本身去生成合成数据,配合严格过滤的高质量数据,反而能让中小模型的能力大幅跃升。
也就是训练阶段只接触教科书级别的高质量数据,Textbooks are all you need。
Phi-3也延续了这一思路,这次他们更是下了血本:
投喂了多达3.3万亿Token的训练数据(medium中杯是4.8万亿)大幅强化了数据的”教育水平”过滤更多样化的合成数据,涵盖逻辑推理、知识问答等多种技能独特的指令微调和RLHF训练,大幅提升对话和安全性举个例子,比如某一天足球比赛的结果可能对于大模型是良好的训练数据,但微软团队删除了这些加强知识的数据,留下更多能提高模型推理能力的数据。
这样一来,对比Llama-2系列,就可以用更小的参数获得更高的MMLU测试分数了。
不过小模型毕竟是小模型,也不可避免存在一些弱点。
微软透露,模型本身参数中没能力存储太多事实和知识,这一点也可以从TriviaQA测试分数低看出来。
缓解办法就是联网接入搜索引擎增强。
总之,微软研究院团队是铁了心了要在小模型+数据工程这条路上走下去,未来还打算继续增强小模型的多语言能力、安全性等指标。
对于开源小模型超过ChatGPT这回事,不少网友都认为压力现在给到OpenAI这边,需要赶快推出GPT-3.5的继任者了。
-
微软推出Phi-3-mini迷你模型:苹果iPhone端侧就能运行,38亿参数规模就媲美GPT-3.5性能
Llama 3发布刚几天,微软就出手截胡,发布的Phi-3系列小模型,手机上能本地运行的最佳开源模型,已经做到ChatGPT(GPT-3 5)的水平。
2025-01-31 19:29:08 -
ChatGPT Plus全面上线「记忆」功能丨小红书内测自研大模型「小地瓜」丨Sora被指宣传效果误导大众
【AI奇点网2024年4月30日早报】本站每日播报AI业界最新资讯,触摸时代脉搏,掌握未来科技动向。事不宜迟,点击查看今日AI资讯早餐。
2025-01-31 18:37:36 -
30万音乐人的创作辅助选择:“灵动音”DeepMusic发布「和弦派」2.0:重塑AI音乐创作范式
国内领先的人工智能音乐服务商DeepMusic发布自主研发的AI音乐工作站——“和弦派”2 0正式版。贯穿歌词构思、旋律构建、编曲设计、虚拟演唱直至后期混音的全过程
2025-01-31 18:08:58 -
开源大模型王座再易主,通义千问1100亿参数拿下SOTA,3个月已推出8款模型
开源大模型,已经开启大卷特卷模式。全球范围,太平洋两岸,双雄格局正在呼之欲出。Llama 3中杯大杯刚惊艳亮相,国内通义千问就直接开源千亿级参数模型Qwen1 5-110B,一把火上Hacker News榜首。
2025-01-31 17:41:30 -
支付宝APP灰度测试AI智能助理机器人,我们实际测了一下:面向公共社会服务办事的个人AI助理
支付宝推出了首个AI功能的产品!不同于对话交流、辅助创作的常见大模型,支付宝智能AI助理更偏向服务办事型的AI助手。
2025-01-31 17:12:03 -
生数科技×清华团队自研国产纯血「Sora级」AI视频大模型火了:16秒时长,画质对标Sora,还能理解物理世界
Sora席卷世界,也掀起了全球竞逐AI视频生成的热潮。近日,国内一支短片引发关注,视频来自生数科技联合清华大学最新发布的视频大模型「Vidu」。
2025-01-31 16:22:00
-
商汤AI视频生成器如影使用方法_如影使用教程_AI视频生成测评
国内知名人工智能软件公司商汤科技近日宣布,“商汤如影SenseAvatar”数字人视频生成平台正式上线,产品愿景是“让每个人都可以轻松制作视频”,非常的直抒胸臆呀。
2024-12-17 03:24:28 -
怎么快速给模特换装_怎么用stable diffusion给模特换装
本篇教程主要运用StableDiffusion这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用StableDiffusion来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中
2024-12-23 13:57:15 -
万万没想到,兵马俑都开始跳「科目三」:阿里云通义千问APP打造“全民舞王”视频创作工具,实测效果大赞
兵马俑跳《科目三》,是我万万没想到的。有人借助了阿里云之前走红的AI视频生成技术——「Animate Anyone」,生成出来了这个舞蹈片段。
2024-12-13 16:46:26 -
AIGC落地实践!四招帮你快速搞定运营设计
回顾这一年,随着 AIGC 浪潮的爆发,在掌握AI工具已经成为设计师必备技能。今天这篇文章,通过三个案例流程拆解带大家从新时代设计工作流,到必备「四大招式」,到图标设计六大方向,到训练专属模型,再到全流程手把手拆解设计项目,绝对干货满满
2024-12-18 16:57:17 -
stable diffusion初识_stable diffusion跟其他工具有什么区别]
关于Stable Diffusion的内容很多,在本篇教程里,我会先为你介绍Stable Diffusion模型的运行原理、发展历程和相较于其他AI绘图应用的区别。
2024-12-24 13:45:31 -
如何使用 ChatGPT 调试代码
当您的代码出现问题时,您可以向 ChatGPT 提供故障代码和问题描述。AI 工具将尝试识别并纠正问题。
2024-12-31 12:01:41 -
stable SR脚本安装_stable diffusion脚本网站
上节课我们讲的4xUltraSharp是不是觉得已经很强了! 那么如果我拿出Stable SR脚本你应该如何应对呢?
2024-12-31 13:49:18 -
怎么设置关键词权重_怎么设置Multi Prompts
AI 绘画,顾名思义就是利用人工智能进行绘画,是人工智能生成内容(AIGC)的一个应用场景。其主要原理简单来说就是收集大量已有作品数据,通过算法对它们进行解析,最后再生成新作品,Midjourney是一个由同名研究实验室开发的人工智能程序。
2025-01-03 10:00:57 -
零基础2天速成!白嫖「秋叶」官方AI绘画课程,卷死同事
和「秋叶」一起学AI绘画,掌握Stable Diffusion、Midjourney的使用方法,开展AI绘画副业,搞钱!?
2024-12-17 12:53:01 -
openpose如何自定义角色_个性化角色姿势怎么定制_Controlnet深度解析
在设计角色姿势时,如何使用openpose进行姿势自定义,以及如何通过拍摄照片或使用第三方后期软件?同时,虚幻引擎对于角色姿势的编辑也很重要,本视频就并展示了如何使用优异商城中的免费资源来创建人物角色。
2024-12-19 11:43:51