人工智能刚刚有了一个新的参与者，而且它是完全开源的。Aria由总部位于东京的Rhymes AI开发的多模式LLM能够在单一架构内处理文本、代码、图像和视频。

不过，应该引起你注意的不仅仅是它的多功能性，还有它的效率。它不像其多模式对应物那样是一个巨大的模型，这意味着它对能源和硬件更友好。

Rhymes AI通过使用专家混合框架这种架构类似于拥有一个由专业迷你专家组成的团队，每个专家都经过培训，在特定领域或任务中表现出色。

当向模型提供新的输入时，只有相关专家（或子集）被激活，而不是使用整个模型。这样，只运行模型的特定部分意味着它比运行一个试图处理一切的完整的无所不知实体要轻。

这使得Aria更高效，因为与为每个任务激活所有参数的传统模型不同，Aria每个令牌只选择性地使用249亿个参数中的35亿个，从而减少了计算负载并提高了特定任务的性能。

它还允许更好的可扩展性，因为可以添加新的专家来处理专门的任务，而不会使系统过载。

值得注意的是，Aria是开源竞技场中第一个多模式MoE。已经有一些MoE（如Mixtral-8x7B）和一些多模式LLM（如Pixtral），但Aria是唯一可以结合这两种架构的模型。

Aria在综合基准测试中击败了竞争对手

在基准测试中，Aria击败了Pixtral 12B和Llama 3.2-11B等开源巨头。

更令人惊讶的是，它为GPT-4o和Gemini-1 Pro或Claude 3.5 Sonnet等专有模型提供了资金，显示出与OpenAI的创意相当的多模态性能。

Rhymes AI已经在Apache 2.0许可证下发布了Aria，允许开发人员和研究人员适应和构建该模型。

它也是Meta和Mistral领导的开源人工智能模型池的一个非常强大的补充，这些模型的性能与更受欢迎和采用的闭源模型相似。

Aria的多才多艺也适用于各种任务。

在研究论文中，该团队解释了他们如何为模型提供完整的财务报告，它能够进行准确的分析，可以从报告中提取数据，计算利润率，并提供详细的细分。

当负责天气数据可视化时，Aria不仅提取了相关信息，还生成了Python代码来创建图形，并完成了格式细节。

该模型的视频处理能力似乎也很有前景。在一次评估中，Aria剖析了一个关于米开朗基罗的大卫的长达一小时的视频，确定了19个不同的场景，包括开始和结束时间、标题和描述。这不是简单的关键字匹配，而是上下文驱动理解的演示。

编码是Aria擅长的另一个领域。它可以观看视频教程，提取代码片段，甚至调试它们。在一个实例中，Aria发现并纠正了一个涉及嵌套循环的代码片段中的逻辑缺陷，展示了其对编程概念的深刻理解。

测试模型

Aria是一个强大的253亿参数模型，至少需要一个A100（80GB）GPU才能以半精度运行推理，所以你无法在笔记本电脑上运行和微调它。然而，我们对其进行了测试Rhyme AI演示页面，提供限量版。

文本分析和处理

首先，我们测试了它在分析文档、为其提供研究论文以及要求其简单解释其内容方面的表现。

这个模型非常简洁但准确。它没有产生幻觉，保持了对话，显示出良好的检索能力。

它以连续的长段落显示其回复，这可能会让喜欢较短段落的用户感到疲惫。

与ChatGPT相比，OpenAI的模型在提供的信息方面显示了类似的答案，但格式更结构化，更容易阅读。

除此之外，Rhyme的演示网站限制上传到只有五页的PDF。ChatGPT能够处理200多页的文档。

相比之下，Claude 3.5 Sonnet允许小于30MB的文档，前提是它们不超过其令牌限制。

编码和图像理解

然后，我们混合了两个指令，要求模型分析CoinMarketCap的屏幕截图，显示前10个代币的价格表现，然后使用代码提供一些信息。

我们的提示是：

根据过去24小时内的最佳表现组织名单。

编写一段Python代码，绘制每种硬币的每日和每周表现的条形图，并绘制比特币价格的折线图，显示其当前价格以及昨天和上周的价格，同时考虑过去24小时和过去7天的表现信息。

Aria未能根据每日表现组织硬币，出于某种原因，它知道Tron在价格下跌时表现良好。该图表将每周表现添加到每日柱状图旁边。它的条线也有缺陷：它没有在X轴上正确排序时间。

ChatGPT更能理解如何正确绘制时间线，但并没有真正根据硬币的性能对其进行排序。这也是一个TRX先令，显示出积极的日常表现。

视频理解

Aria也能够充分理解视频。我们上传了一个女人移动的短视频。在视频中，这名女子没有说话。

我们要求模特描述场景，并询问这位女士在说什么，试图看看模特是否产生了幻觉。

Aria能够理解这项任务，描述元素，并恰当地提到这名女子没有改变她的外表，也没有对着镜头说话。

ChatGPT无法理解视频，因此无法处理此提示。

创意文本

这次测试可能是最令人愉快的惊喜。Aria的故事比Grok-2或Claude 3.5 Sonnet提供的输出更具想象力，后者一直是我们主观分析的领导者。

我们的提示是：写一篇关于一个名叫何塞·兰兹的人的短篇小说，他穿越时空，使用生动的描述性语言，并将故事改编成他的文化背景和表型——无论你想到什么。他来自2150年，回到了1000年。这个故事应该强调时间旅行悖论，以及试图解决过去的问题（或发明一个问题）以改变他当前的时间线是毫无意义的。未来之所以存在，仅仅是因为他影响了1000年的事件，而这些事件是为了塑造2150年的当前特征而必须发生的——直到他回到自己的时间线，他才意识到这一点。

Aria关于2150年的时间旅行历史学家Jose Lanz的故事将一些科幻阴谋与历史和哲学元素融为一体。这个故事的结局并不像其他模特所讲述的那样突然，尽管它没有人类所写的那么有创意，但它产生的结果类似于情节转折，而不是仓促的结局。

总的来说，Aria呈现了一个引人入胜、连贯的故事，在不同的主题上比其更强大的竞争对手更全面、更有影响力。它有点身临其境，但由于代币限制而匆忙。对于长篇故事来说，Longwriter是迄今为止最好的模特。

你可以通过以下方式阅读所有故事单击此链接.

总体而言，Aria是一个坚实的竞争对手，由于其架构、开放性和可扩展性，它似乎很有前景。如果您仍然想尝试或训练模型，可以在以下网址免费获得拥抱的脸请记住，您需要至少80GB的VRAM、一个强大的GPU或三个RTX 4090协同工作。它仍然是新的，所以没有量化版本（精度较低但效率较高）可用。

尽管存在这些硬件限制，但开源领域的新发展是实现拥有一个完全开放的ChatGPT竞争对手的梦想的重要一步，人们可以在家运行并根据自己的特定需求进行改进。让我们看看他们接下来会去哪里。

编辑人塞巴斯蒂安·辛克莱以及奎特纳