开源大模型与Open4IGPT系大模型能力对比-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

开源大模型与Open4IGPT系大模型能力对比

研究报告节选:

“同行评议”,GPT 系大模型“风华绝代”。当前,OpenAI GPT 系的超大模型拥有着强大的能力和广泛的应用,在处理自然语言任务时具有高准确性和强大的表达能力,其在文本生成、问答系统、机器翻译等多个领域都取得了出色效果,成为了当前自然语言处理领域的标杆之一,被各类大模型当作比较基准。复现 ChatGPT 的门槛并没有降低,开源大模型大部分仅在某些方面有较好的表现,整体质量与 ChatGPT 仍不可比,尚需观望。
最后更新: 2023-05-31

相关行业研究图表


部分开源大摸型的预鸿练摸型开源与两用情况
部分开源大摸型的预鸿练摸型开源与两用情况-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
部分开源大模型微调成本
部分开源大模型微调成本-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
衣5.:L门X到带人种节一品有天L门节悟
衣5.:L门X到带人种节一品有天L门节悟-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
大模型训练和推理的一殷流程
大模型训练和推理的一殷流程-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
ChatGPT RLHF三步骤
ChatGPT RLHF三步骤-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
2021年,中国服务器操作系统市场,Lux装机量市占率远超Un心
2021年,中国服务器操作系统市场,Lux装机量市占率远超Un心-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

相关行业研究报告


图表内容


图表11:开源大模型与Open4IGPT系大模型能力对比
模型名称
与GPT系大模型能力比较结果
Alpaca
由5名学生盲评text-davinci-003和Alpaca7B
内容包括电子邮件写作、社交媒体和生产力
工具,90:89获胜。
Vicuna
部分任务上,达到92%GPT4的效果
Koala
在“羊驼”和“考拉”测试集上,在60%情况下,人类满意度不低于ChatGPT。
GPT4all
对于基准真相(Ground Truth)的模型困惑度*表现不如GPT4。
OpenAssistant
偏好测试略优于GPT-3.5-turb0(51.7%对48.3%)。