解析大模型中的Scaling Law
解析大模型中的Scaling Law计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？
来自主题: AI技术研报
12999 点击 2023-11-20 10:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？
这个名为「先知」的初创公司，希望开发出一种可穿戴设备，让你体验在清醒梦中醒来的感觉……《盗梦空间》要成真了？
据外媒援引知情人士消息，在被开除的几周前，OpenAI CEO萨姆·阿尔特曼（Sam Altman）积极努力从一些世界上最大的投资者处筹集数十亿美元，用于一家新的人工智能（AI）芯片企业。
一场让科技圈地震的内斗，可能正在走向终点。媒体获得的最新消息指，驱逐OpenAI前CEO Sam Altman的董事会已经接近妥协，考虑推翻其决定。
毫无疑问，今天最大的新闻是（前）OpenAI的CEO Sam Altman突然被董事会罢免踢出OpenAI，今天一同离开的还有OpenAI的联合创始人Greg Brockman。然而，这件事情发生得如此突然，以至于大家都在猜测到底因为什么导致Sam被开除。
“全球最著名AI企业的创始人失业了。”OpenAI美国时间11月17日突发声明，宣布公司首席执行官山姆·奥特曼（Sam Altman）将被解雇，公司现首席技术官米拉·穆拉（Mira Murati ）蒂被任命为临时首席执行官。
机器学习泰斗Michael Jordan发表了题为Contracts, Uncertainty, and Incentives in Decentralized Machine Learning（去中心化机器学习中的契约、不确定性和激励）的主旨报告，该报告从统计学、经济学和博弈论等独特视角阐释了如何应对机器学习中的不确定性。
科技圈一出狗血大戏。OpenAI高层内讧，CEOSam Altman被董事会当面开除，得知消息的总裁Brockman也直接撂挑子不干了。但更值得关注的是，新CEO不是别人，正是公司的CTO，Mira Murati（米拉·穆拉蒂）。
OpenAI 官方公告宣布，CEO Sam Altman将卸任首席执行官并退出董事会，CTO Mira Murati临时接任。Altman的离职是因为与董事会沟通不够坦诚，董事会不再相信他有能力继续领导OpenAI。
OpenAI突发公告，宣布领导层换届。高层内讧，Sam Altman被董事会解雇，不再担任CEO。