meta.json为何没有囊括transition_referring这一类型的数据？

[linhaojia13]

您好，感谢开源！

1. 我在data目录下的子目录发现有transition_referring类型的数据，例如data/data_20250328/web/images/transition_referring_20250404.jsonl，但是meta.json中却没有囊括这一类型的，请问这是为什么？
2. 是否还有其它data下有的数据，但是没被meta.json收录？

[liu-zhy]

不好意思，我找负责数据上传的同学check下，请稍等。感谢关注！

[ylizh]

您好，transition_referring数据在最终meta.json中，为screen_transition数据，名称有所修改，全都放在了meta.json中，所有数据都以meta.json的为准

[icey-zhang]

我用这个代码check了一下数据集，缺少很多data文件啊
！！！Done. total=2767391, missing=311180, out=/root/workspace/datasets/ScaleCUA-Data/train.jsonl

import argparse, json
from pathlib import Path

def read_jsonl(p: Path):
    with p.open("r", encoding="utf-8") as f:
        for line in f:
            line = line.strip()
            if line:
                yield json.loads(line)

def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("--dataset_root", default="/root/workspace/datasets/ScaleCUA-Data", help="ScaleCUA-Data 根目录")
    ap.add_argument("--meta", default="meta.json", help="meta.json 相对 dataset_root 的路径")
    ap.add_argument("--keys", default="", help="只处理部分子集，逗号分隔；留空=全部")
    ap.add_argument("--out", default="train.jsonl", help="输出 jsonl 路径（相对 dataset_root 或绝对路径）")
    ap.add_argument("--skip_missing", default=True, help="遇到缺图样本直接跳过，否则报错")
    args = ap.parse_args()

    dataset_root = Path(args.dataset_root)
    meta = json.loads((dataset_root / args.meta).read_text(encoding="utf-8"))

    keys = [k.strip() for k in args.keys.split(",") if k.strip()] if args.keys else list(meta.keys())

    out_path = Path(args.out)
    if not out_path.is_absolute():
        out_path = dataset_root / out_path
    out_path.parent.mkdir(parents=True, exist_ok=True)

    total, missing = 0, 0
    with out_path.open("w", encoding="utf-8") as w:
        for k in keys:
            cfg = meta[k]
            root_dir = (dataset_root / cfg["root"]).resolve()
            ann_path = (dataset_root / cfg["annotation"]).resolve()

            n = 0
            for ex in read_jsonl(ann_path):
                rel = ex.get("image", "")
                if not rel:
                    raise ValueError(f"[{k}] sample has no 'image' field")
                abs_img = (root_dir / rel).resolve()

                if not abs_img.exists():
                    missing += 1
                    if args.skip_missing:
                        continue
                    raise FileNotFoundError(str(abs_img))

                ex["image"] = str(abs_img)
                w.write(json.dumps(ex, ensure_ascii=False) + "\n")
                n += 1
                total += 1

            print(f"[{k}] wrote {n} samples")

    print(f"Done. total={total}, missing={missing}, out={out_path}")

if __name__ == "__main__":
    main()

[ylizh]

部分上传中出现了问题的缺失数据已补充：https://huggingface.co/datasets/lizh1/ScaleCUA-Data-Fix