IBM 和 NASA 合作使用科学文献训练大模型促进科学知识的可及性。模型是基于 Transformer 架构，可用于分类到实体抽取（entity extraction）到问答和信息检索等不同应用。IBM-NASA 模型使用了天体物理学、行星科学、地球科学、太阳物理学以及生物和物理科学数据集的 600 亿个令牌进行训练，在评估生物医学任务表现的 BLURB 基准测试中的得分比开源模型 RoBERTa 高 5%。两个模型都开源发布在 Hugging Face 上。

https://research.ibm.com/blog/science-expert-LLM
https://huggingface.co/nasa-impact/nasa-smd-ibm-v0.1
https://huggingface.co/nasa-impact/nasa-smd-ibm-st