张宏江谈大模型：自动驾驶以前花3-6个月扫描城市街道，这件事也许就不需要做了
财经风云录
2024-05-20 12:49:17
0次
2024年2月21日-23日，亚布力中国企业家论坛第24届年会在黑龙江召开，主题为“构建新发展格局推进高质量发展”。美国国家工程院外籍院士，北京智源研究院学术顾问委员会主任张宏江出席并演讲。
张宏江表示，多模态最好的方式是把多模态的数据，包括视频、语音、图像也做成token，从而跟语言一起来做训练，能够训练出能够理解物理世界的大模型。
“今天我们看到Sora是一个文生视频的模型，但事实上多模态远远超越文生图、文生视频，包括图生文，更包括视频的理解，一反一正是非常非常重要的，这是我们对于物理世界理解的核心的核心的一点。”他说。
多模态突破的是Sora代表了一个世界模型，它能够理解、描述和模拟现实世界。这种描述不是通过传统的3D建模，而是通过大数据，通过transformer架构学出来的。
张宏江指出，过去这些年来，所有的自动驾驶的公司，每到一个新的城市必须得花3到6个月重新扫描这个城市的街道，这件事也许就不需要做了，也许大模型就能够帮你解决了。所以，多模态将会重写自动驾驶的系统。
相关内容
热门资讯
当年2位“夺刀少年”，不惜错过...
世间万物，谁也躲不过沧海桑田式的变迁。人的一生，更是如此，失意得意不过短瞬之间。我们难以去定义有价值...
“千万别劝人结婚。”
撰文/编辑：水哥 | 摄影：Marat Safin▼谁淋了雨谁又打了伞▲本来就准备写个关于劝人结婚的...
长电科技最新公告：拟对长电管理...
长电科技公告，根据长电管理公司经营现状及董事会部署，着眼于未来发展的需要，公司拟以募集资金人民币21...
“6个老婆”同住一屋檐，每月花...
从吃不起饭的穷小子，到纳了五个“妾”的影帝，雷洪将自己活成了“韦小宝”。在他制定的规则下，六个妻子同...
终究是西方国家，俄高收入群体中...
在俄乌冲突的背景下，俄罗斯与西方的关系已经全面决裂，制裁的压力让俄罗斯在政治、外交、贸易等各个领域都...
兴业投资：商品异动后陷入整理 ...
兴业投资：商品异动后陷入整理 非农前美元守住支持2023年5月5日基本面周四亚市早盘大宗商品黄金和原...
停止发售竖折手机？OPPO首席...
2月20日，国际数据公司IDC最新手机季度跟踪报告显示，2023年第四季度，中国折叠屏手机市场出...
从一个村的三个“多” 看四川内...
封面新闻记者 贾娇 伍忠“现在我们村里也能享受城里的生活，不仅返乡建房、改造房的人多了，讲文明礼貌的...
威唐工业(300707SZ)：...
格隆汇8月29日丨威唐工业(300707.SZ)公布2024年半年度报告，报告期营业收入4.48亿元...
香港楼价指数创7年新低 中原陈...
（原标题：香港楼价指数创7年新低 中原陈永杰：若无减辣或刺激措施 跌势将持续）智通财经APP获悉，1...