华为|AI大模型开源生态及大模型平台实践
今天分享的是AI大模型系列深度研究报告:《2023年AI大模型开源生态及大模型平台实践》。(报告出品方:智源研究院)
报告内容
1. 生态基石:AI大模型开源生态发展洞察分析
2. 模型底座:华为AI大模型全景架构及应用案例
3. 平台架构:大模型平台技术架构及技术分析
生态基石:AI大模型开源生态发展洞察分析
AI螺旋上升式发展、重大变革机会,从感知理解世界到生成创造世界,AI增长新曲线。大规模语言模型(LLM)所涌现出来的能力超出预期,使得LLM成为技术演进方向。ChatGPT:大算力+大数据=大模型,人工反馈强化学习增强模型效果。
ChatGPT成功关键:庞大算力支持+RLHF使模型更对齐人类语境+高质量数据持续训练
高质量的垂直领域人工标注数据:GPT-3->InstructGPT至少需要10万条高质量标注数据,ChatGPT则需要更多。未来GPT模型注入企业内部领域知识则需要构建额外的高质量标注数据。高素质领域专家参与数据标注和增强工作。
ChatGPT国内商业化落地,对算力集群软硬件提出全新挑战
模型训练、推理的技术挑战:全栈技术难:ChatGPT大模型+大数据持续学习、基于人类反馈强化学习和微调、多机多卡/单卡推理等全栈全流程技术要求;行业结合难:优质模型+专业知识投入+厂商AI技术支撑,是大模型可以产业落地的关键。
上下游各赛道百花齐放,商业模式持续探索
以ChatGPT为代表的AIGC行业,上游主要包括数据供给方、算法/模型机构、创作者生态以及底层配合工具等中游主要包括文字、图像、音频、视频等数字内容的处理加工方,下游主要是各类数字内容分发平台、消费方及相关服务机构等。
基于异思社区开源:紫东太初2.0-3.8B
基于异腾异思的紫东太初2.0-3.8B模型,开源图像-文本多模态部分。相比紫东太初1.0,支持更细粒度的图像识别、更具知识的视觉问答、更丰富的图像描述。
整份报告PPT有40页,我已经下载整理到网盘,
有需要的话可以关注微信公众号:AI技术星球 发送暗号:211 领取
还有100G入门到进阶AI资源包+论文指导/kaggle组队/就业指导+技术问题答疑
资料包包含:
1、超详细的人工智能学习路线
2、OpenCV、Pytorch、YOLO等教程附课件源码
3、人工智能快速入门视频教程合集(Python基础、数学基础、NLP)附源码课件数据
4、机器学习算法+深度学习神经网络基础教程
5、人工智能必看书籍(花书、西瓜书、蜥蜴书等)
6、上千篇CVPR、ICCV顶会论文
7、人工智能行业报告
AI技术星球 暗号:211