UC伯克利研究人员提出新AI技术RingAttention,可降低Transformer内存需求
币界网报道:据站长之家报道,UC 伯克利研究人员提出了一项名为 RingAttention 的新方法,以解决深度学习模型中内存需求的挑战。在最新的研究中,研究人员探讨了 Transformer 模型在处理长序列时面临的问题,特别是由于自注意力机制引发的内存需求。RingAttention 通过将自注意力和前馈网络计算块块地分布在多个设备上,实现了内存高效,允许训练超过 500 倍长度的序列。研究人员的实验证明,RingAttention 可以将 Transformer 模型的内存需求降低,使其能够训练比以前的内存高效方法长 500 倍以上的序列,而不需要对注意力机制进行近似。此外,RingAttention 还允许处理长度超过 1 亿的序列,为处理大规模数据提供了可能性。
上一篇:
币安将上线RIF1-50倍U本位永续合约
推荐专栏
热门币种
更多
币种
美元价格
24H涨跌幅
热搜币种
更多
币种
美元价格
24H涨跌幅
最新快讯
更多
2024-05-15 19:17:33
2024-05-15 19:16:44
2024-05-15 19:12:08
2024-05-15 19:06:19
2024-05-15 19:05:05
2024-05-15 19:04:14
2024-05-15 19:04:09