不分割成token，直接从字节中高效学习，Mamba原来还能这样用
不分割成token，直接从字节中高效学习，Mamba原来还能这样用模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。
来自主题: AI技术研报
10992 点击 2024-02-04 14:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。
在软件工程顶会ESEC/FSE上，来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了新的成果，使用LLM解决自动化定理证明问题。
来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。
状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。
新一代国产开源大语言模型来了！200K超长上下文「完美」支持，20B版本综合性能全面领先。
1月9日，百川智能正式发布角色大模型Baichuan-NPC。Baichuan-NPC优化了“角色知识”和“对话能力”，使模型能够更好的理解上下文对话语义，更加符合人物性格地进行对话和行动，让角色更加真实生动。
22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。
作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。
就在昨天，百川智能正式发布Baichuan2-Turbo系列API，192K的超长上下文窗口+搜索增强知识库，解决了困扰行业已久的大模型商用落地难问题。