与国防部和拜登政府有关的最后一个项目之一已经成功结束。美国国防部首席数字和人工智能办公室（CDAO）已完成众包人工智能红队（凯特）保证计划试点。该倡议旨在将人工智能聊天机器人整合到军事医疗服务中 ；

大型语言模型（LLM）聊天机器人在CAIRT程序中实现。另外，CAIRT协助国防部制定去中心化、众包的人工智能风险缓解和人工智能保证战略。

200多名临床服务提供者和医疗保健分析师为识别军事医疗应用中使用人工智能聊天机器人的潜在漏洞做出了贡献。值得注意的是，正如国防部所报告的那样，飞行员发现了数百个潜在问题。

为此，国防部表示，“这项工作将通过开发基准数据集产生可重复和可扩展的输出，这些数据集可用于评估未来的供应商和工具，以符合绩效预期。”；

CAIRT项目幕后

据美国国防部称，一家非营利性人道主义情报机构进行了CAIRT LLM试点。它与国防卫生局（DHA）和国防医疗管理系统项目执行办公室（PEO DHMS）合作实现了这一目标。

此外，人道主义情报部门使用红队方法来识别具体的系统问题。这涉及使用对抗技术对系统弹性进行内部测试 ；

此外，红队吸引了有兴趣与新兴技术互动并成为潜在未来受益者的参与者。他们有机会为加强这些系统做出贡献。

在这个项目中，人道主义情报部门使用众包红队来解决军事医学中的两个潜在应用：临床记录摘要和医疗咨询聊天机器人。

虽然发现了漏洞，但国防部强调，“这些发现将在制定国防部负责任使用生成型人工智能（GenAI），最终改善军事医疗。如果在部署时，这些潜在用例包括OMB M-24-10中定义的涵盖AI，它们将遵守所有要求的风险管理实践。”

尽管如此，国防部表示，CAIRT保证计划将继续测试LLM和AI系统。这将加快CDAO的人工智能快速能力单元，使GenAI目标更加有效，并有助于在所有国防部用例中建立信任。

CDAO的负责人Matthew Johnson博士也表示：，“由于在国防部内部将GenAI应用于此类目的还处于试点和实验的早期阶段，因此该计划是生成大量测试数据、提出考虑领域和验证缓解方案的重要开拓者，这些方案将影响未来可能部署的GenAI系统的未来研究、开发和保证，”

预计即将上任的政府将继续这些项目。特朗普的团队对人工智能持开放态度，即使它希望与中国竞争。

人工智能在医疗领域有多安全 ；

尽管人工智能对医学科学有着巨大的有益影响，但随之而来的是一些重大风险和危险。

对于状态，人工智能系统使用需要大量数据集来提高准确性的特定算法。这种方法使敏感的患者数据面临安全、隐私和保密的风险。目前由于制药和保险公司对这种数据集感兴趣，黑客攻击已经大大扩展医疗文件黑客攻击也可能是政府网络攻击的一部分。

此外，数据中毒，即故意修改医疗数据以在医疗保健中引起错误或偏见，是医疗数据滥用的另一个主要风险。这损害了医疗建议的准确性和可靠性。人工智能使用不同的流行病学数据模型，如新冠肺炎大流行，可能会产生不同的结果。

另一个问题是有缺陷的医学算法。这可能是由于算法测试不足，因为没有既定的标准来测试其有效性。例如，双盲试验是证明治疗有效的最有效方法 ；

尽管如此，谁应该为这样的错误负责——私人医生、医院、设备提供商还是算法开发人员？因此，机器故障造成的医疗错误引发了严重的法律问题。

AI聊天机器人扮演医生？