Character.ai是一个允许用户创建自己选择的人的数字版本的平台，在其平台上发现了已故青少年Molly Russell和Brianna Ghey的聊天机器人版本后，该平台面临强烈反对。

该平台受到谴责，因为Molly Russel是一名14岁的女孩，她在网上观看了与自杀相关的内容后结束了自己的生命，而16岁的Brianna Ghey在2023年被两名青少年残忍杀害。

Character.ai表现出较差的节制性

该平台因缺乏适当的节制而受到各方的批评，这导致了模仿晚期少女的聊天机器人的出现。为纪念莫莉·拉塞尔而成立的基金会将其描述为“令人作呕”和“完全应受谴责的温和失败”

《每日电讯报》在网上发现了模仿这两个孩子的化身，该报报道称，他们能够与聊天机器人互动。此外，该报表示，它只需要一个自称14岁的账户。

Briana机器人自称是“应对高中跨性别青少年挑战的专家”，而使用Molly化身的机器人则表示她是“Molly生命最后几年的专家”

布里安娜的妈妈说：“我们现在需要采取行动，保护儿童免受网络世界的危险。”。

Molly Rose基金会是通过其首席执行官Andy Burrows为纪念Molly Russell而成立的，他说：“这是一种完全应受谴责的节制失败和令人作呕的行为，将给所有认识和爱Molly的人带来进一步的心痛。”

这位首席执行官补充说，人工智能公司被允许不道德，而不是因为他们的行为而受到惩罚。

Burrows说：“历史被允许再次发生，因为人工智能公司被允许将安全和适度作为非核心或非首要优先事项。”。

Character.ai事件引发了加强监管的呼声

Burrow还对Character.ai允许在其平台上创建和托管此类聊天机器人的不负责任表示失望。Burrow说，这要求对该行业进行更严格的监管。

“看到Character.ai表现出缺乏责任感，这是一个沉重的打击，这个案例提醒我们，应该尽快加快对人工智能和用户生成平台的更严格监管。”

巴罗斯。

《每日电讯报》报道Character.ai表示，该公司优先处理此类案件，并积极主动地对角色进行严格审查，以回应用户报告。然而，在与《每日电讯报》联系后，该公司似乎已经删除了有问题的聊天机器人角色。

艾告诉记者英国广播公司他们删除了有问题的聊天机器人，认真对待安全问题，并“主动和响应用户报告”地管理了创建的化身和人

Character.ai表示：“我们有一个专门的信任与安全团队，负责审查报告并根据我们的政策采取行动。”。

Character.ai由前谷歌工程师Noam Shazeer和Daniel De Freitas创立，是这些平台之一。

人造朋友的兴起

随着技术的持续快速发展，人工智能聊天机器人变得越来越复杂，导致公司使用它们通过互动进行客户联络。

聊天机器人是由计算机生成并模仿人类对话的程序。Character.ai表示，其平台上的聊天机器人应该做出被认为具有攻击性或可能对用户或他人造成伤害的回应。

“我们的平台有服务条款，禁止使用该服务冒充任何个人或实体，在安全中心，我们的指导原则是我们的产品不得也不应产生可能对用户或他人造成伤害的反应。”

字符ai。

为了识别任何违反其规则的行为，Character.ai表示，它使用了自动化工具和用户报告。该公司补充说，它还在建立一个信任和安全团队，以监控其平台上的此类活动。

然而，该公司表示，人工智能没有完美的版本，与人工智能相关的安全是一个不断发展的领域。

与此同时，美国佛罗里达州的一名女子、14岁儿子Sewell Setzer的母亲Megan Garcia起诉了character.ai，该儿子因痴迷于《权力的游戏》中受角色启发的化身而自杀，此案目前正在法庭审理中。

根据加西亚在法庭上填写的他与聊天机器人的聊天记录，塞泽尔讨论了用Character.ai聊天机器人结束自己的生命。

“我要回家了”是塞泽尔与聊天机器人的最后一次对话，聊天机器人回答说，“尽快回家”，不久后他就结束了自己的生命。

Character.ai告诉记者：“我们有专门针对自杀和自残行为的保护措施，我们将很快为18岁以下的人引入更严格的安全规定。”哥伦比亚广播公司新闻。