GitHub 热门项目: mega-sam

GitHub 项目：mega-sam 仓库地址：https://github.com/mega-sam/mega-sam 星级：1366 | 作者：mega-sam 项目描述：“MegaSaM：来自休闲动态视频的准确、快速和稳健的结构和运动”项目代码 =================================================== 自述文件内容： # 超级萨姆 [项目页面](https://mega-sam.github.io/index.html) | [论文](https://arxiv.org/abs/2412.04463) 此代码随附于本文 **MegaSam：准确、快速、稳健的休闲结构和运动 动态视频** \ 李正奇、理查德·塔克、福雷斯特·科尔、王倩倩、金林一、叶薇琪、 安乔·金泽、亚历山大·霍林斯基、诺亚·斯内夫利 *这不是 Google 官方支持的产品。* ## 克隆 确保使用以下命令克隆包含子模块的存储库： `git clone --recursive git@github.com:mega-sam/mega-sam.git` ## 安装依赖项说明 ### Python环境 以下代码库已在 Python 3.10、CUDA11.8 和 Pytorch2.0.1。我们建议在虚拟环境中安装该库，例如 蟒蛇。 1. 要安装主库，请运行：\ `conda env 创建-f 环境.yml` 2. 要安装 UniDepth 模型的 xformers，请按照以下说明进行操作 https://github.com/facebookresearch/xformers。如果您遇到任何 安装问题，我们建议从预构建文件安装。对于 例如，对于Python 3.10+Cuda11.8+Pytorch2.0.1，运行：\ `wget https://anaconda.org/xformers/xformers/0.0.22.post7/download/linux-64/xformers-0.0.22.post7-py310_cu11.8.0_pyt2.0.1.tar.bz2` `conda 安装 xformers-0.0.22.post7-py310_cu11.8.0_pyt2.0.1.tar.bz2` 3. 编译摄像头跟踪模块的扩展：\ `CD 底座； python setup.py install` ### 下载预训练检查点 1. 下载 [DepthAnything 检查点](https://huggingface.co/spaces/LiheYoung/Depth-Anything/blob/main/checkpoints/depth_anything_vitl14.pth) 到 mega-sam/深度-任何/检查点/深度_anything_vitl14.pth 2. 下载并包含 [RAFT 检查点](https://drive.google.com/drive/folders/1sWDsfuZ3Up38EUQt7-JDTT1HcGHuJgvT)，位于 mega-sam/cvd_opt/raft-things.pth ### 在 Sintel 上运行 MegaSaM 1.下载并解压【Sintel数据】(https://drive.google.com/file/d/1bSGX7JY73M3HzMS6xsJizRkPH-NQLPOf/view?usp=sharing) 2. 预计算单色深度（请修改脚本中的img-path）： `./mono_depth_scripts/run_mono-depth_sintel.sh` 3. 运行相机跟踪（请修改脚本中的DATA_PATH。添加 参数 --opt_focal 启用焦距优化）： `./tools/evaluate_sintel.sh` 4. 在给定估计摄像机的情况下运行一致的视频深度优化（请 修改脚本中的数据路径）：`./cvd_opt/cvd_opt_sintel.sh` 5. 评估相机姿势和深度：\ `python ./evaluations_poses/evaluate_sintel.py` `python ./evaluations_deep/evaluate_deep_ours_sintel.py` ### 在 DyCheck 上运行 MegaSaM 1.下载[Dycheck数据](https://drive.google.com/drive/folders/1BHzjHo58nGAMvKMo_AS0_SwU2tJagXXx?usp=sharing) 2. 预计算单色深度（请修改脚本中的img-path）： `./mono_depth_scripts/run_mono-depth_dycheck.sh` 3. 运行相机传输