Stability AI开源StableLM-7B语言模型 后续将推出15~65B模型
2023-4-20 16:0:45 Author: www.landiannews.com(查看原文) 阅读量:14 收藏

人工智能图像生成开源项目 Stable Diffusion 的开发商 Stability AI 今天开源了新模型 --- StableLM。

StableLM-alpha 即初始版本提供 3B 和 7B 参数的版本,后续将陆续推出 15B、30B、65B 模型,计划中的还有 175B 模型。

Stability AI开源StableLM-7B大型语言模型 后续将推出15~65B模型

StableLM-alpha 基于 The Pile 构建的新数据集上训练,该数据集包含 1.5 万亿个令牌,模型上下文长度为 4096 个 tokens,Stability AI 即将发布技术报告说明模型规格核训练设置等。

作为概念验证 Stability AI 还使用 Stanford Alpaca 对模型进行微调,目前 demo 已经在 Hugging Face 上线,不过蓝点网测试效果好像一般,中文对话略微有些混乱,可能还需要更多迭代。

项目地址:https://github.com/stability-AI/stableLM

官方博客:https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models

在线测试:https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

版权声明:感谢您的阅读,除非文中已注明来源网站名称或链接,否则均为蓝点网原创内容。转载时请务必注明:来源于蓝点网、标注作者及本文完整链接,谢谢理解。


文章来源: https://www.landiannews.com/archives/98446.html
如有侵权请联系:admin#unsafe.sh