普林斯顿博士生高天宇指令微调进展速览：数据、算法和评估
普林斯顿博士生高天宇指令微调进展速览：数据、算法和评估自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。
来自主题: AI技术研报
8399 点击 2024-01-21 14:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。
主题驱动的文本到图像生成，通常需要在多张包含该主题（如人物、风格）的数据集上进行训练，这类方法中的代表工作包括 DreamBooth、Textual Inversion、LoRAs 等，但这类方案因为需要更新整个网络或较长时间的定制化训练，往往无法很有效地兼容社区已有的模型，并无法在真实场景中快速且低成本应用。
谷歌CEO劈柴在公开信中承认：谷歌的裁员计划还要持续一整年，还有更多岗位会被淘汰，且持续一整年。根据Layoffs数据，开年不到一个月，科技公司总共已裁掉7,785名员工。AI真来淘汰人类了？
本文探讨了应用人工智能（AI）的未来前景。作者指出规则引擎和数据在AI发展中的重要作用，同时提到了大模型的持续进化和AI Agent技术的发展。然而，作者也提到了目前中国在大模型方面的不足和一些技术的虚假宣传。最后，文章还介绍了RAG技术和向量搜索引擎的发展趋势。
TaskWeaver 能够将用户的自然语言请求巧妙地转化为可执行代码，并支持丰富的数据结构、动态插件选择以及专业领域适应的规划过程。
SPF算法是一种基于状态序列频域预测的表征学习方法，利用状态序列的频域分布来显式提取状态序列数据中的趋势性和规律性信息，从而辅助表征高效地提取到长期未来信息。
今年中国的参展公司和观展人数是近几年来的一个小高峰。CES 官方发布的数据显示，本届展会的四千多家参展公司中，有超过 1100 家中国企业及其海外分支参展。
图像到视频生成（I2V）任务旨在将静态图像转化为动态视频，这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息，同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一目标。
2024 年伊始，中国电信开源星辰语义大模型-7B，成为第一家开源大模型的央企。同时开源的还有超 1T 的高质量清洗基础数据。
在过去的一段时间里，“AI-native”成为所有工具的一个显著探索趋势，不论是算力集群的智算中心，还是数据库侧的向量数据库，再或者是不断进化的算法，都在以一种更适配大模型架构的方式被推演出来。