当前位置:云计算行业动态 → 正文

D1net阅闻:大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑

责任编辑:cres |来源:企业网D1Net  2024-07-10 09:50:30 原创文章 企业网D1Net

大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer
 
斯坦福、UCSD、UC伯克利和Meta的研究人员提出了一种全新架构:测试时间训练层(Test-Time-Training layers,TTT),这个模型通过对输入token进行梯度下降来压缩上下文。结果表明,TTT-Linear和TTT-MLP直接赶超或击败了最强的Transformer和Mamba!虽然目前TTT只应用于语言建模,但在未来,它也可以用在长视频上。
 
ChatGPT无法取代人类程序员!IEEE 35页论文测出困难编码正确率仅为0.66%
 
一项发表在IEEE TSE期刊(Transactions on Software Engineering)上的研究评估了ChatGPT所生成的代码在功能性、复杂性和安全性方面的表现。结果显示,ChatGPT生成可用代码的能力差异很大,其成功率从0.66%到89%不等,这主要取决于任务的难度、编程语言等多种因素。论文作者、格拉斯哥大学助理教授Yutian Tang指出,AI代码生成一定程度上,可以提升开发效率,自动化软件工程,然而,我们必须认识这类模型优势和不足,以便合理应用。通过全面的分析,可以发现ChatGPT生成代码过程中,出现的潜在问题和局限性,进而改进生成技术。
 
微软要求中国区员工必须使用iPhone?微软回应:希望为员工提供访问必要应用程序的途径
 
7月9日下午消息,据媒体报道,微软中国员工已被告知,登录公司系统时必须使用iPhone进行身份验证。从9月起,将禁止使用Android智能手机作为多因素身份验证设备。据介绍,此举属于微软全球安全未来计划的一部分,将影响中国大陆的数百名员工,旨在确保所有员工都使用微软Authenticator密码管理器和Identity Pass身份验证应用。另有消息显示,由于部分中国安卓设备不支持谷歌服务,微软将为受影响员工提供iPhone15作为工作手机。对于上述消息是否属实,记者向微软方面求证,一位微软发言人回应表示:“Microsoft Authenticator和Identity Pass应用程序已正式在Apple Store和 Google Play Store上架。我们希望为员工提供访问这些必要应用程序的途径,由于本地区无法使用Google 移动服务,我们即向员工提供了例如iOS设备的选择。”
 
曝苹果将推出AI桌面机器人,首款支持Apple Intelligence的智能家居设备
 
据彭博社记者马克・古尔曼 (Mark Gurman) 透露,苹果首款搭载Apple Intelligence功能的智能家居设备将是一款全新的桌面机器人。早在今年4月,古尔曼就首次曝光了苹果的机器人项目,其中桌面机器人是开发进度最快的项目之一,但仍处于早期阶段。
 
北京市先进制造和智能装备产投基金成立,出资额200亿元
 
近日,北京市先进制造和智能装备产业投资基金(有限合伙)成立,执行事务合伙人为北京先锋基石股权投资管理合伙企业(有限合伙)、北京京国管置业管理有限公司,出资额200亿元人民币,经营范围包括以私募基金从事股权投资、投资管理、资产管理等活动。合伙人信息显示,该基金由北京市政府投资引导基金(有限合伙)、北京先锋基石股权投资管理合伙企业(有限合伙)、北京京国管置业管理有限公司共同持股。
 
山东济南人工智能核心产业规模力争突破600亿元
 
济南市人民政府新闻办公室举行新闻发布会,解读近期发布的《济南市新一代人工智能高质量发展行动计划(2024—2026年)》。根据这份行动计划,济南将推动当地人工智能产业提档升级,谋求实现发展新飞跃。到2026年,山东济南市人工智能核心产业规模突破600亿元,人工智能企业达到500家,形成50个人工智能通用、垂直领域大模型产品,累计培育300个以上人工智能典型应用场景。
 
蔚来、小鹏等自研智驾芯片将流片 上车进入倒计时
 
蔚来汽车自研的智能驾驶芯片“神玑NX9031”已经流片,“目前正在测试。”有知情人士透露。按照规划,神玑9031将于2025年一季度首搭在蔚来旗舰轿车ET9上。“芯片团队已经领了军令状,明年新车ET9一定要上神玑9031,压力很大。”有知情人士说道。同时,小鹏汽车自研的智驾芯片已经送去流片,“预计8月回片。”理想汽车的智驾芯片自研时间相对晚一些,其芯片项目代号“舒马赫”。有知情人士透露,舒马赫也将于年内完成流片。

关键字:架构

原创文章 企业网D1Net

x D1net阅闻:大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑 扫一扫
分享本文到朋友圈
当前位置:云计算行业动态 → 正文

D1net阅闻:大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑

责任编辑:cres |来源:企业网D1Net  2024-07-10 09:50:30 原创文章 企业网D1Net

大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer
 
斯坦福、UCSD、UC伯克利和Meta的研究人员提出了一种全新架构:测试时间训练层(Test-Time-Training layers,TTT),这个模型通过对输入token进行梯度下降来压缩上下文。结果表明,TTT-Linear和TTT-MLP直接赶超或击败了最强的Transformer和Mamba!虽然目前TTT只应用于语言建模,但在未来,它也可以用在长视频上。
 
ChatGPT无法取代人类程序员!IEEE 35页论文测出困难编码正确率仅为0.66%
 
一项发表在IEEE TSE期刊(Transactions on Software Engineering)上的研究评估了ChatGPT所生成的代码在功能性、复杂性和安全性方面的表现。结果显示,ChatGPT生成可用代码的能力差异很大,其成功率从0.66%到89%不等,这主要取决于任务的难度、编程语言等多种因素。论文作者、格拉斯哥大学助理教授Yutian Tang指出,AI代码生成一定程度上,可以提升开发效率,自动化软件工程,然而,我们必须认识这类模型优势和不足,以便合理应用。通过全面的分析,可以发现ChatGPT生成代码过程中,出现的潜在问题和局限性,进而改进生成技术。
 
微软要求中国区员工必须使用iPhone?微软回应:希望为员工提供访问必要应用程序的途径
 
7月9日下午消息,据媒体报道,微软中国员工已被告知,登录公司系统时必须使用iPhone进行身份验证。从9月起,将禁止使用Android智能手机作为多因素身份验证设备。据介绍,此举属于微软全球安全未来计划的一部分,将影响中国大陆的数百名员工,旨在确保所有员工都使用微软Authenticator密码管理器和Identity Pass身份验证应用。另有消息显示,由于部分中国安卓设备不支持谷歌服务,微软将为受影响员工提供iPhone15作为工作手机。对于上述消息是否属实,记者向微软方面求证,一位微软发言人回应表示:“Microsoft Authenticator和Identity Pass应用程序已正式在Apple Store和 Google Play Store上架。我们希望为员工提供访问这些必要应用程序的途径,由于本地区无法使用Google 移动服务,我们即向员工提供了例如iOS设备的选择。”
 
曝苹果将推出AI桌面机器人,首款支持Apple Intelligence的智能家居设备
 
据彭博社记者马克・古尔曼 (Mark Gurman) 透露,苹果首款搭载Apple Intelligence功能的智能家居设备将是一款全新的桌面机器人。早在今年4月,古尔曼就首次曝光了苹果的机器人项目,其中桌面机器人是开发进度最快的项目之一,但仍处于早期阶段。
 
北京市先进制造和智能装备产投基金成立,出资额200亿元
 
近日,北京市先进制造和智能装备产业投资基金(有限合伙)成立,执行事务合伙人为北京先锋基石股权投资管理合伙企业(有限合伙)、北京京国管置业管理有限公司,出资额200亿元人民币,经营范围包括以私募基金从事股权投资、投资管理、资产管理等活动。合伙人信息显示,该基金由北京市政府投资引导基金(有限合伙)、北京先锋基石股权投资管理合伙企业(有限合伙)、北京京国管置业管理有限公司共同持股。
 
山东济南人工智能核心产业规模力争突破600亿元
 
济南市人民政府新闻办公室举行新闻发布会,解读近期发布的《济南市新一代人工智能高质量发展行动计划(2024—2026年)》。根据这份行动计划,济南将推动当地人工智能产业提档升级,谋求实现发展新飞跃。到2026年,山东济南市人工智能核心产业规模突破600亿元,人工智能企业达到500家,形成50个人工智能通用、垂直领域大模型产品,累计培育300个以上人工智能典型应用场景。
 
蔚来、小鹏等自研智驾芯片将流片 上车进入倒计时
 
蔚来汽车自研的智能驾驶芯片“神玑NX9031”已经流片,“目前正在测试。”有知情人士透露。按照规划,神玑9031将于2025年一季度首搭在蔚来旗舰轿车ET9上。“芯片团队已经领了军令状,明年新车ET9一定要上神玑9031,压力很大。”有知情人士说道。同时,小鹏汽车自研的智驾芯片已经送去流片,“预计8月回片。”理想汽车的智驾芯片自研时间相对晚一些,其芯片项目代号“舒马赫”。有知情人士透露,舒马赫也将于年内完成流片。

关键字:架构

原创文章 企业网D1Net

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^