Skip to content

voxel-based spatial pruning实现细节 #87

@ly2003tongji

Description

@ly2003tongji

您好,感谢公开 StreamVLN 代码。我在复现论文时有一个实现细节上的疑惑,想请教您确认:

论文中提到使用 voxel-based spatial pruning(基于 depth 将 2D patch 回投到共享 3D 空间,按时间分桶后在同体素内保留最新 token,并生成 pruning mask (M))。但我在当前开源代码中暂时没有定位到对应实现,看到的主要是:

固定历史采样(num_history + 历史帧抽样)
2D 特征池化(get_2dPool,average/max/bilinear)
memory token 注入( 对应 memory_features)
另外,虽然接口中传入了 depths / poses / intrinsics,但在当前 encode_rgbd(...) 里似乎没有看到这些变量参与 back-projection / voxel discretization / pruning mask 计算。

因此我想确认以下问题:

论文中的 3D voxel pruning 是否未包含在当前公开版本中?
如果已包含,是否在其他分支、私有模块或未开源脚本中?
当前仓库主分支是否等价于论文最终实验配置,还是采用了简化实现(固定历史采样 + 2D pooling)?
如果方便的话,能否提供:

voxel pruning 对应的代码位置/commit,或
一个最小可复现配置(包含关键参数 K、阈值 (\theta)、mask 生成位置)?
非常感谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions