GitHub 项目:塞纳
仓库地址:https://github.com/hustvl/Senna
星级:559 | 作者:hustvl
项目描述:[IJCV 2026] Senna:连接大型视觉语言模型和端到端自动驾驶
===================================================
自述文件内容:
Senna:连接大型视觉语言模型和端到端自动驾驶
[蒋波](https://scholar.google.com/itations?user=UlDxGP0AAAAJ&hl=zh-CN)
1、[陈少宇](https://scholar.google.com/itations?user=PIeNN2gAAAAJ&hl=en&oi=sra)
1、[本城廖](https://scholar.google.com/itations?user=rUBdh_sAAAAJ&hl=zh-CN)
1、张星宇
2、魏茵
2、[张茜](https://scholar.google.com/itations?user=pCY-bikAAAAJ&hl=zh-CN)
2、 [黄昌](https://scholar.google.com/itations?user=IyyEKyIAAAAJ&hl=zh-CN)
2、[刘文宇](http://eic.hust.edu.cn/professor/liuwenyu/)
1、[星钢]王](https://xwcv.github.io/)
1,📧
1华中科技大学,
2 地平线机器人,
📧通讯作者
[](https://arxiv.org/abs/2410.22313)
[](https://huggingface.co/rb93dett/Senna)
https://github.com/user-attachments/assets/3fd172be-d78d-47ae-867d-a473a1e6ddd6
## 新闻
`[2026-08-11]:` Senna 被 IJCV 2026 接受 🎉 !
`[2026-03-16]:` 查看我们发布的新作品🥰,Senna-2 [arXiv](https://arxiv.org/abs/2603.11219) 论文。
`[2024-12-08]:` 我们发布了 Senna-VLM 的代码和权重,以及训练和评估脚本。
`[2024-10-29]:` Senna [arXiv](https://arxiv.org/abs/2410.22313) 论文发布。代码/模型即将推出。请继续关注! ☕️
## 亮点
* Senna 是一个自动驾驶系统,它将大型视觉语言模型与端到端模型集成在一起,以提高规划的安全性、鲁棒性和泛化性。
* Senna 实现了 SOTA 规划性能,并表现出强大的跨场景泛化性和可移植性。
## 开始使用
### 安装
````外壳
git 克隆 git@github.com:hustvl/Senna.git
conda 创建-n 番泻叶 python=3.10 -y
conda 激活番泻叶
pip install -r 要求.txt
````
### 数据准备
我们提供了一个[脚本](https://github.com/hustvl/Senna/blob/main/data_tools/senna_nusc_data_converter.py)用于生成Senna训练所需的QA数据。该脚本使用[LLaVA-v1.6-34b](https://huggingface.co/liuhaotian/llava-v1.6-34b)作为生成场景描述和规划解释的模型。您可以按如下方式运行该脚本:
````外壳
sh data_tools/senna_nusc_converter.sh
````
### 权重
|方法|型号尺寸|基础法学硕士 |输入视图|每张图片的代币 |下载 |
| :---: | :---: | :---: | :---: | :---: | :---: |
|塞纳| 7B| vicuna-7b-v1.5 | 6 查看 | 128 | 128 [拥抱脸](https://huggingface.co/rb93dett/Senna) |
### 训练
对于第 1 阶段混合预训练:
````外壳
sh train_tools/pretrain_senna_llava.sh
````
用于第 2 阶段驾驶微调和第 3 阶段 P