张宏江谈大模型：自动驾驶以前花3-6个月扫描城市街道，这件事也许就不需要做了
财经风云录
2024-05-20 12:49:17
0次
2024年2月21日-23日，亚布力中国企业家论坛第24届年会在黑龙江召开，主题为“构建新发展格局推进高质量发展”。美国国家工程院外籍院士，北京智源研究院学术顾问委员会主任张宏江出席并演讲。
张宏江表示，多模态最好的方式是把多模态的数据，包括视频、语音、图像也做成token，从而跟语言一起来做训练，能够训练出能够理解物理世界的大模型。
“今天我们看到Sora是一个文生视频的模型，但事实上多模态远远超越文生图、文生视频，包括图生文，更包括视频的理解，一反一正是非常非常重要的，这是我们对于物理世界理解的核心的核心的一点。”他说。
多模态突破的是Sora代表了一个世界模型，它能够理解、描述和模拟现实世界。这种描述不是通过传统的3D建模，而是通过大数据，通过transformer架构学出来的。
张宏江指出，过去这些年来，所有的自动驾驶的公司，每到一个新的城市必须得花3到6个月重新扫描这个城市的街道，这件事也许就不需要做了，也许大模型就能够帮你解决了。所以，多模态将会重写自动驾驶的系统。
相关内容
热门资讯
当年2位“夺刀少年”，不惜错过...
世间万物，谁也躲不过沧海桑田式的变迁。人的一生，更是如此，失意得意不过短瞬之间。我们难以去定义有价值...
长电科技最新公告：拟对长电管理...
长电科技公告，根据长电管理公司经营现状及董事会部署，着眼于未来发展的需要，公司拟以募集资金人民币21...
兴业投资：商品异动后陷入整理 ...
兴业投资：商品异动后陷入整理 非农前美元守住支持2023年5月5日基本面周四亚市早盘大宗商品黄金和原...
停止发售竖折手机？OPPO首席...
2月20日，国际数据公司IDC最新手机季度跟踪报告显示，2023年第四季度，中国折叠屏手机市场出...
从一个村的三个“多” 看四川内...
封面新闻记者 贾娇 伍忠“现在我们村里也能享受城里的生活，不仅返乡建房、改造房的人多了，讲文明礼貌的...
香港楼价指数创7年新低 中原陈...
（原标题：香港楼价指数创7年新低 中原陈永杰：若无减辣或刺激措施 跌势将持续）智通财经APP获悉，1...
工信部：不得要求用户不下载AP...
中新财经3月3日电 据工信部消息，近日，有网友和媒体反映部分网站在用户浏览页面信息时，强制要求下...
英国央行降息步伐或慢于欧美 高...
（原标题：英国央行降息步伐或慢于欧美 高盛等投行唱高英镑）智通财经获悉，越来越多的分析师预计英镑兑美...
热评｜春运出行“新高” 催生更...
今天，2024年春运正式拉开大幕。据预测，全社会跨区域人员流动量将达到90亿人次，创历史新高。这...
小摩托的二三事 篇一：骑了一年...
铃木DL250摩托车，作为铃木品牌下的一款经典车型，以其卓越的性能、稳定的质量和出色的操控性，深受摩...