根据发表在预印本平台 bioRxiv 上的一篇论文，科学家也无法分辨 ChatGPT 生成的论文摘要。OpenAI 的聊天机器人 ChatGPT 能根据用户提示生成逼真的、乍一看充满智慧的文本。在这项研究中，研究人员让 ChatGPT 根据 JAMA、The New England Journal of Medicine、The BMJ、The Lancet 和 Nature Medicine 期刊上挑选的医学论文撰写 50 篇摘要，然后让一群医学研究人员区分 AI 生成的摘要和原始论文摘要。ChatGPT 的摘要通过了抄袭程序的检查，认为全部是原创没有发现抄袭。而人类审稿人只识别出 68% 的 AI 生成摘要和 86% 的原始摘要，也就是错误认为 32% 的 AI 生成摘要是真实的，14% 的真实摘要是 AI 生成的。部分科学家对此现象表达了担忧，但普林斯顿大学的计算机科学家 Arvind Narayanan 指出，AI 生成内容的准确性是受质疑的，因此任何严肃的科学家不太可能使用 AI 去生成摘要，所以能否检测出来是无关紧要的。

https://www.nature.com/articles/d41586-023-00056-7