AI资讯新闻榜单内容搜索-模型训练

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: RNN,Transformer,RWKV,多头矩阵值状态,模型训练

不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。

关键词: LoRA,PiSSA,微调,模型训练

随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。

关键词: LLM,集成LLM,模型训练,GPT-4,AI学术

在实践中，人类预测的准确性依赖于「群体智慧」（wisdom of the crowd）效应，即通过聚集一群个体预测者，对未来事件的预测准确率会显著提高

关键词: 大模型,强化学习,LLM,大模型训练

大语言模型（LLM），通过在海量数据集上的训练，展现了超强的多任务学习、通用世界知识目标规划以及推理能力

关键词: 大模型,时序预测,LLM,模型训练,模型框架

大语言模型潜力被激发—— 无需训练大语言模型就能实现高精度时序预测，超越一切传统时序模型。

关键词: 大模型,梗王大模型,多模态大模型,模型训练

谁能想到，只是让大模型讲笑话，论文竟入选了顶会CVPR！

关键词: ZOMI酱, 模型训练,模型训练专家,AI

技术阿甘在不停奔跑。

关键词: GPT-2,Karpathy,AI大神,模型训练,openai

纯C语言训练GPT，1000行代码搞定！，不用现成的深度学习框架，纯手搓。 发布仅几个小时，已经揽星2.3k。