非小号动态

非小号appAI进化撞上“数据墙”?三大模型研发遇阻;特朗

新闻 2024-12-13 14:02

  ◎AI进化撞上“数据墙”?三大模型研发被曝遇阻;特朗普提名超20个新政府要职 ,“反疫苗人士”或任卫生部长;一度上破9.3万美元,比特币年底将上10万美元?普京与朔尔茨时隔近两年首次通话。

  ◎长期以来,人工智能(AI)领域奉行“数据规模越大越好”的信念,但近期业界却传出了大模型进化遭遇“数据墙”的消息。据报道,OpenAI、谷歌和Anthropic在开发新一代模型时遭遇瓶颈,无法实现此前那样的突破性进展。这引起AI圈的热议,OpenAI前首席科学家伊利亚苏茨克维等业界大佬直言,规模法则已触及天花板。虽然OpenAI CEO阿尔特曼等人驳斥了这一说法,但各大公司已积极调整策略,并开启在应用赛道的探索。

  ◎特朗普提名超20个重要职位人选,“反疫苗人士”当卫生部长?纳指回吐美大选结果出炉以来大部分涨幅,黄金创三年来最大周跌幅;普京与朔尔茨时隔近两年首次通话;SpaceX拟出售内部股份,估值飙至2500亿美元,xAI将融资60亿美元购10万张英伟达芯片;世卫组织警告:或出现超级细菌。更多内容,尽在《一周国际财经》。

  人工智能(AI)的发展一直建立在这样的信念之上:训练数据规模越大,模型就会越来越好。然而,业界近期曝出了大模型进化遭遇“数据墙”的消息。

  据外媒报道,OpenAI、谷歌和Anthropic在AI模型开发方面都陷入了瓶颈,他们发现,新模型无法像前面几代产品那样带来巨大的飞跃。这在AI圈瞬时炸开了锅。

  图灵奖得主杨立昆(Yann LeCun)和OpenAI前首席科学家伊利亚苏茨克维(Ilya Sutskever)等科技圈大佬不客气地指出,大模型的规模法则(Scaling Law)已经达到极限,必须转变思维,改变训练模式了。

  而OpenAI CEO阿尔特曼(Sam Altman)和Anthropic CEO达里奥阿莫迪(Dario Amodei)都相继对“瓶颈”说进行反驳。尽管如此,OpenAI和谷歌都在积极转变策略,研究如何解决训练数据匮乏的问题,以及如何调整规模法则的应用,保持模型稳步发展。

  在百度CEO李彦宏看来,模型开发放缓也不见得是一件坏事。在最近的一次访谈中,他表示,基础模型早期快速迭代是正常的,但如果两年、三年了还这样,那整个生态其实是会比较乱。Meta CEO扎克伯格也表示,即使在现有技术的基础上,应用层面依然有很大的发展空间。

  据外媒,OpenAI的下一代旗舰模型可能不会像前面几代产品那样带来巨大的飞跃。

  测试代号为Orion的新模型的员工发现,尽管新模型性能超过了OpenAI现有的模型,但进步程度并不如从GPT-3到GPT-4的进步那么大。换句话说,OpenAI改进的速度似乎正在放缓。

  OpenAI并不是唯一遭遇阻碍的公司,其竞争对手谷歌和Anthropic也传出了先进AI模型开发遇到瓶颈的消息。在以惊人的速度推出日益复杂的AI产品之后,这三家领先的AI公司现在意识到,他们在开发新模型上进行的大量投入所带来的回报正在逐渐减少。

  据知情人士透露,谷歌即将推出的新版Gemini未达到内部预期,Anthropic也推迟了Claude 3.5 Opus模型的计划发布时间。

  高质量人造训练数据的缺乏是AI模型开发面临挑战的一大原因。外媒援引两位知情人士称,Orion在编程任务上的表现不尽如人意,部分原因是缺乏足够的编程数据进行训练。即使是有一些小幅的改进,也难以证明新模型构建和运营的高昂成本是合理的,这与市场对于重大升级的期待之间存在差距。

  AI模型开发遇阻的消息公开后,知名AI评论家加里马库斯(Gary Marcus)甚至直接单方面宣布“胜利”:“游戏结束,我赢了!我早就说过,GPT正在陷入收益递减阶段。”一直以来,马库斯就预测,生成式AI的发展将进入停滞阶段。

  AI怀疑论者经常警告,仅仅通过扩大规模来提高大模型的方法是有限的。一年前,比尔盖茨就表示,有很多理由相信,当前生成式人工智能(AGI)已经达到极限。“GPT-5不会比GPT-4好多少。”

  OpenAI前首席科学家、Safe Superintelligence联合创始人苏茨克维近日在接受外媒采访时也表示,扩大预训练的结果已经达到了平台期。所谓预训练,即使用大量未标记数据来训练AI模型以理解语言模式和结构的阶段。

  Meta首席科学家、图灵奖得主杨立昆还转发了苏茨克维这条新闻,并评论,“我早就告诉过你们了,Meta早就开始转型了。”

  不过,OpenAI CEO阿尔特曼周四在X上发帖称,“没有墙(there is no wall)”,暗示AI发展没有遇到瓶颈。

  Anthropic创始人、规模法则论文的共同作者达里奥阿莫迪也在近日的播客中表示,规模法则来自经验而非客观规律,他认为这一法则仍然会继续存在。

  OpenAI成立了一个基础团队,由之前负责预训练的Nick Ryder领导。该团队主要探索如何应对训练数据的匮乏,调整规模法则的应用,保持模型改进的稳定性。

  例如,OpenAI的研究人员开始采用AI生成的合成数据来训练模型。他们还采用了强化学习方法,通过让模型从大量有正解的任务中学习(比如数学或编程问题),以此来改进处理特定任务的方式。此外,OpenAI还尝试在预训练后进行推理,即让模型在回答问题时花更多时间“思考”。OpenAI科学家Noam Brown称它是推理计算的Scaling(扩展)。

  谷歌似乎也在效仿OpenAI的做法。最近几周,DeepMind在其Gemini部门组建了一个团队,旨在开发类似OpenAI推理模型的能力。

  谷歌的研究人员也在专注于对模型进行手动改进。参与这项工作的人员表示,改进工作包括改变“超参数”,或者是决定模型如何处理信息的变量,例如模型在训练数据中建立不同概念或模式之间联系的速度。

  得益于AI广告引擎模型Axon2.0带来的广告匹配效率提升,广告平台公司AppLovin业绩大超预期。年初至今,该股的累计涨幅高达650%,是英伟达同期涨幅的3倍以上,总市值已经接近1000亿美元。

  AI平台(AIP)显著推动了Palantir的业务增长。11月15日,这家公司宣布计划将其上市地点从纽约证券交易所转移至纳斯达克交易所。当天,该股涨11.14%,报65.77美元,该股年初至今涨283.05%。

  国内AI应用中,字节跳动旗下的豆包年初至今累计下载量已经突破1亿。10月份,Kimi的月活跃用户数突破千万大关。MiniMax海外版应用的10月访问量较上月暴涨2773%。

  百度CEO李彦宏认为,AI模型开发放缓也不一定就是个坏事。在最近的一次访谈中,他表示,基础模型早期快速迭代是正常的,但如果两年、三年了还这样,那整个生态其实是会比较乱。

  李彦宏解释道:“基础模型不能够特别快地迭代。如果老在变,那做应用的人就无所适从了,该做什么我不知道,我刚做了两个月,你又升级了,把我做的冲掉了,白做了,我又得重新适应一遍新的规则。我觉得可能两年一个大的版本是一个比较合适的节奏。”

  扎克伯格也表示,在最坏的情况下,即使技术没有改进,仍然有很大空间在现有技术的基础上打造消费者和企业产品。

  作为AI领域的领头羊,OpenAI也在加强对应用层面的探索。据报道,OpenAI将于明年1月推出能够帮助用户整理文件,预订机票的AI智能体(AI Agent)软件。

  谷歌正在开发一款代号为贾维斯计划的AI代理软件,“贾维斯”这个名字的灵感来自《钢铁侠》的全能AI管家贾维斯。

  黄仁勋也开始对AI应用表达了兴趣。本周,他在日本举行的英伟达AI峰会上和孙正义一起宣布,将联合软银在日本打造AI+5G网络。

  同时,他也在会上强调了AI智能体的潜力即具备理解、推理、规划和执行能力的高级数字智能体,能够改变各个行业的生产力。他指出,这些智能体能够处理复杂的多步骤任务,有望“为人类完成 50% 的工作”,从而大幅提升人类的生产力。通过将数据转化为可操作的见解,代理式 AI 为企业提供了强大的工具,可以在不取代人类角色的情况下提升运营效率。

  值得注意的是,英伟达的财报将于北京时间11月21日公布,预计在财报发布后的电话会议上,黄仁勋将宣布更多关于AI应用的消息。

  投资公司Roundhill CEO Dave Mazza对《每日经济新闻》记者表示,英伟达需要在AI领域实现新的技术突破以及持续的收入增长,才能保持市值的领先地位。

  据央视新闻,当地时间11月15日,美国当选总统特朗普宣布,卡罗琳莱维特(Karoline Leavitt)将担任其就任总统后的白宫新闻秘书。据悉,莱维特在特朗普2024年竞选期间一直担任其发言人。莱维特出生于1997年,将成为美国历史上最年轻的白宫新闻秘书。

  值得注意的是,11月14日,小罗伯特弗朗西斯肯尼迪(Robert F. Kennedy Jr.)被提名为美国卫生与公众服务部(HHS)部长。肯尼迪之前是美国2024年总统选举独立候选人,于8月23日宣布暂停竞选活动,转而支持朗普。他是知名的“反疫苗先锋”,因此特朗普的这一决定也引起了美国舆论特别是公共卫生领域专家的担忧和质疑。

  肯尼迪被提名后,引发的市场恐慌情绪从美股蔓延到欧洲,多家疫苗制造商股价连跌两日,堪称“史上最有杀伤力”的美国卫生部长提名。周五,纳斯达克生物科技指数收跌4.45%,莫德纳收跌7.34%,辉瑞收跌4.69%,欧洲与疫苗相关的公司中,葛兰素史克公司股价下跌3.88%,阿斯利康制药公司股价下跌3.05%,诺和诺德股价收跌3.38%。

  此外,马斯克也将在新设的“政府效率部”(Department of Government Efficiency)担任领导。14日,“政府效率部”在社交媒体上发布了人才招聘要求,要求中提到,他们需要超高智商的“小政府”改革者,改革者要愿意每周工作80小时以上,专注于成本削减工作。

  马斯克还转发了其他X用户提及该公告的帖子,并评论道:“确实,这将是繁琐的工作,会树立很多敌人,且薪酬为零。太划算了。”

  周五,受降息担忧冲击,美国股市大跌,纳斯达克指数本周回吐美国大选结果出炉以来的大部分涨幅,“科技七巨头”仅特斯拉上涨。

  美国10月CPI同比增速加速至2.6%,创三个月新高,止步“六连跌”。此外,美国零售销售、纽约联储制造业、进口价格指数等经济数据超预期。当地时间周四下午,美联储主席鲍威尔表示,美国经济强劲,美联储无需急于降息。

  本周,道指累计下跌1.24%,创10月下旬以来最大单周跌幅。标普500指数下跌2.08%,纳指下跌3.15%,均创9月以来最大单周跌幅。

  现货黄金下跌0.06%,报2562.72美元/盎司,本周累计下跌4.52%,创2021年6月以来最大单周跌幅。

  而比特币近期的表现极为强劲。最近七个自然日,现货比特币累计上涨约19.28%,11月14日曾涨至93462.17美元,创历史新高。

  加密资产管理公司21Shares副总裁兼美国业务主管费德里科布罗卡特(Federico Brokate)在接受外媒采访时表示,比特币可能在特朗普就职典礼之前冲击到10万美元。

  渣打银行此前也称,比特币将在年底冲击10万美元,预计到2026年底,加密货币市场的总市值将增长到10万亿美元。

  OKX研究院高级研究员赵伟在接受《每日经济新闻》记者采访时认为,市场情绪的高涨和大量资金的涌入,成为其近期连续突破历史新高的重要支撑。他指出,“在美国大选期间,特朗普多次表态支持加密货币,被市场视为一重大利好,其胜选后进一步推动了比特币和整个加密市场的普涨。”

  近日,特朗普在美国参议院中的盟友Cynthia Lummis甚至提出了一项大胆的计划:在明年新一届国会就职时推动一项法案在不增加政府赤字的情况下,出售美联储的部分黄金储备以建立特朗普提出的“战略比特币储备”。

  据彭博社报道,该法案要求,美国购买100万枚比特币,按当前市场价格计算,将耗费约900亿美元。理论上,美联储有足够的黄金购买100万枚比特币,而且还能剩下很多。而如果该法案获得通过,投资者抢在政府之前购买,政府收购成本可能会增加。

  不过,赵伟警告称,“当前全球经济的不确定性增加,美国的经济政策将会如何变化、特朗普正式上任后如何落实加密政策,以及加密市场如何推动合规化,都是影响比特币和整个加密市场后续行情的重要因素之一,是交易者需要密切关注的信息。”

  普京与朔尔茨时隔近两年首次通线日,俄罗斯总统普京应邀与德国总理朔尔茨通电话。随后,克里姆林宫证实了此消息。克里姆林宫发布消息说,这是自2022年12月以来,双方首次通话。

  普京指出,当前的危机由北约长期的侵略性政策直接导致。该政策目的是无视俄罗斯的安全利益,侵犯俄语居民权利,在乌克兰领土建立反俄“桥头堡”。谈及政治和外交解决冲突的前景,

  可能达成的协议应考虑到俄罗斯的安全利益,从新的领土现实出发,最重要的是解决冲突的根源。

  此外,两国领导人还讨论了中东局势。普京介绍了俄罗斯为缓和并和平解决地区危机所做的努力。双方商定,此次通话后,两国领导人的助理将保持联系。据参考消息,

  美国最大的独角兽公司SpaceX正准备在今年12月份发起要约收购,以每股约135美元的价格出售现有股份,这将使这家私人公司的估值超过2500亿美元。

  上月,SpaceX在美国得克萨斯州第5次试飞“星舰”。当时的直播画面显示,发射塔的机械臂像“筷子”一般成功夹住了返回地面的超级重型火箭“Super Heavy”。当月晚些时候,SpaceX获得美国国家安全太空发射计划第三阶段第一航道项目的9次发射合同,合同价值超7亿美元,预计将于2025年底和2026年发射。另据11月15日报道,马斯克旗下的

  报道称,xAI本次融资的60亿美元,主要用于购买10万张英伟达芯片,打造孟菲斯AI超级计算中心,支撑特斯拉的完全自动驾驶(FSD)业务。

  据央视财经,当地时间11月15日,世界卫生组织总干事谭德塞在沙特吉达举行的第四届全球高级别抗微生物药物耐药性部长级会议上表示,抗微生物药物耐药性正在威胁人类所依赖的药物治疗效果。

  抗微生物药物耐药性发生在细菌、病毒、真菌和寄生虫对药物不再产生反应时。由于药物耐药性使抗生素和其他抗微生物治疗方法失效,治疗感染变得更加困难,甚至可能变得不可能。这或将导致超级细菌的出现,从而增加了疾病传播、残疾和死亡的风险。

  谭德塞表示,当前讨论的不仅仅是超级细菌感染导致人们死亡的风险,而是每年确有130万人正因此丧生。

  据央视新闻此前消息,联合国环境规划署2023年2月7日发布的一份报告认为,气候变化及其他环境因素可能使细菌增强对抗生素的耐药性,产生更多“超级细菌”。

  根据这份报告,2019年,全球大约500万人的死亡与微生物耐药性相关联。如果不采取措施遏制微生物耐药性增强趋势,预计到2050年,每年相关死亡人数将上升至1000万人。

  首辩后哈里斯“稳赢”了?关键一战下周上演;五大维度评测OpenAI o1模型;美联储降息50个基点预期升温;美或“松绑”乌武器使用限制;李飞飞融资2.3亿美元启动初创一周国际财经

  “AI教母”李飞飞融资2.3亿美元启动初创;美联储降息50个基点预期升温;美或“松绑”乌武器使用限制一周国际财经

  把马斯克挂嘴边,特朗普3分钟提了11次,特斯拉股价大涨超10%!金价却暴跌80美元,德法两国防长紧急开会

  硅谷成大选赢家!​“科技七巨头”市值增9000亿美元,马斯克3000亿美元身家居全球首富;特朗普准备再“退群”;美联储暂停降息概率增加;巴基斯坦火车站爆炸致24人死亡 一周国际财经

  苏州工业园区城市发展研究院政策研究中心主任张春昕:发展未来产业园区要做到因地制宜,放权赋能

  张江产业工程院院长张爱平:产业园区发展进入新阶段,要更加注重投早、投小、投原始创新

  常州高新区(新北区)商务局局长骆晓霞:竞逐:“新能源之都” 常州的优势是产业生态完善

  火石创造副总裁何伟:“数据要素X时代”,提升产业园区的资源配置效率非常重要

  关键时刻 , 655亿元身家富豪出手 , 无偿赠与*ST开元2.3亿元

  中央经济工作会议:实施更加积极有为的宏观政策,扩大国内需求,推动科技创新和产业创新融合发展,稳住楼市股市

  稳住楼市!中央经济工作会议再提“房地产发展新模式”,明年将加力实施城中村和危旧房改造

  以为是裁员,结果是原地解散!极越CEO上月还请300多位车主吃海底捞,如今被员工“围堵”!股东停了30亿元投资:账面有巨额窟窿

  中央经济工作会议举行,明年要抓好9个重点任务;个人养老金制度将全面实施;极越汽车陷危机,股东转账补社保;欧洲央行年内第四次降息 财经早参

上一篇:OKX交易所现已支持搜索和交易DEX代币功能

下一篇:OKX将对溢价购买OKSOL的用户提供全额补偿

猜你喜欢