Thanks brother for the answer： #2

Hualiang789 · 2024-08-19T04:58:53Z

兄弟，您好~非常感谢您的预处理自定义数据方法的分享，但是其中想向您请教几个问题：
1.在4d-humans处理过程中，为什么先tracker.py 再用 demo.py，这样处理是不是相当于只用了对每张图片单独估计的方法？
2.为什么在run.sh 第7步中合成后pose应该是（102,23,3）为什么现在打印出来的结果是（102,1）：

ZCWzy · 2024-08-19T08:02:20Z

兄弟，您好~非常感谢您的预处理自定义数据方法的分享，但是其中想向您请教几个问题： 1.在4d-humans处理过程中，为什么先tracker.py 再用 demo.py，这样处理是不是相当于只用了对每张图片单独估计的方法？ 2.为什么在run.sh 第7步中合成后pose应该是（102,23,3）为什么现在打印出来的结果是（102,1）：

1.我先tracker.py 再用 demo.py仅仅是因为tracker.py能产生一个bbox（）那个原作者的论文引用的[42]是4D-human而不是phalp,所以pose/betas我用的是4D-human那个结果。两个结果互替使用也可以? (用ROMP对人体进行估计也可以，类似neuman)

2.我很抱歉不能帮你解决问题，我在这里也出现过类似的问题，并且我好像没复现。（因为我是懒狗）
我给你我的输出(使用我的自定义数据)为参考：
将代码调整为：

    for item in hmr_result.items():
        picture = item[1]
        ...
        print("picture['smpl'][0]['body_pose']",picture['smpl'][0]['body_pose'])
        for pose in picture['smpl'][0]['body_pose']:
            body_pose.append(rotation.rotation_matrix_to_angle_axis(torch.tensor(pose)))
        vibe_estimates['pose'].append(body_pose)
        print('body_pose',body_pose)
        print("——————————————————————————————————————————————")

得到输出为：

picture['smpl'][0]['body_pose'] tensor([[[[ 9.9136e-01, -1.2249e-01,  4.6972e-02],
          [ 1.2864e-01,  9.7783e-01, -1.6523e-01],
          [-2.5693e-02,  1.6984e-01,  9.8514e-01]],

         [[ 9.9207e-01,  5.5215e-02, -1.1291e-01],
          [-5.7855e-02,  9.9812e-01, -2.0233e-02],
          [ 1.1158e-01,  2.6605e-02,  9.9340e-01]],

         [[ 9.9778e-01,  3.2046e-02,  5.8338e-02],
          [-3.1893e-02,  9.9948e-01, -3.5480e-03],
          [-5.8422e-02,  1.6796e-03,  9.9829e-01]],

         [[ 9.6614e-01, -1.4502e-01, -2.1339e-01],
          [ 1.1111e-01,  9.8032e-01, -1.6317e-01],
          [ 2.3285e-01,  1.3394e-01,  9.6324e-01]],

         [[ 9.9275e-01, -1.0673e-01,  5.5245e-02],
          [ 1.1263e-01,  9.8664e-01, -1.1767e-01],
          [-4.1948e-02,  1.2304e-01,  9.9151e-01]],

         [[ 9.9728e-01,  2.1421e-03,  7.3609e-02],
          [-7.0244e-04,  9.9981e-01, -1.9578e-02],
          [-7.3637e-02,  1.9473e-02,  9.9709e-01]],

         [[ 9.8293e-01,  8.6796e-04,  1.8400e-01],
          [-1.8392e-02,  9.9544e-01,  9.3554e-02],
          [-1.8308e-01, -9.5341e-02,  9.7846e-01]],

         [[ 9.8469e-01, -6.5579e-02, -1.6153e-01],
          [ 6.4044e-02,  9.9784e-01, -1.4702e-02],
          [ 1.6215e-01,  4.1316e-03,  9.8676e-01]],

         [[ 9.9757e-01,  1.2381e-02,  6.8572e-02],
          [-1.0218e-02,  9.9944e-01, -3.1798e-02],
          [-6.8928e-02,  3.1020e-02,  9.9714e-01]],

         [[ 9.9759e-01, -6.9294e-02, -4.5779e-03],
          [ 6.9404e-02,  9.9709e-01,  3.1399e-02],
          [ 2.3888e-03, -3.1641e-02,  9.9950e-01]],

         [[ 9.9068e-01,  1.0663e-01, -8.4793e-02],
          [-1.0364e-01,  9.9385e-01,  3.8890e-02],
          [ 8.8418e-02, -2.9739e-02,  9.9564e-01]],

         [[ 9.8975e-01,  6.8812e-02, -1.2510e-01],
          [-7.1225e-02,  9.9735e-01, -1.4912e-02],
          [ 1.2375e-01,  2.3670e-02,  9.9203e-01]],

         [[ 9.1990e-01,  3.8968e-01, -4.3968e-02],
          [-3.9035e-01,  9.2064e-01, -7.3452e-03],
          [ 3.7616e-02,  2.3920e-02,  9.9901e-01]],

         [[ 8.9830e-01, -4.3241e-01,  7.7930e-02],
          [ 4.3609e-01,  8.9910e-01, -3.7919e-02],
          [-5.3670e-02,  6.8047e-02,  9.9624e-01]],

         [[ 9.9693e-01, -1.4412e-02, -7.6961e-02],
          [-6.1679e-03,  9.6541e-01, -2.6068e-01],
          [ 7.8055e-02,  2.6035e-01,  9.6235e-01]],

         [[ 5.3125e-01,  7.5485e-01, -3.8467e-01],
          [-8.3389e-01,  5.4610e-01, -8.0007e-02],
          [ 1.4968e-01,  3.6328e-01,  9.1958e-01]],

         [[ 5.8592e-01, -7.7595e-01,  2.3364e-01],
          [ 7.9463e-01,  6.0669e-01,  2.2125e-02],
          [-1.5892e-01,  1.7270e-01,  9.7207e-01]],

         [[ 8.8895e-01, -1.5733e-02, -4.5773e-01],
          [-7.6413e-02,  9.8031e-01, -1.8210e-01],
          [ 4.5158e-01,  1.9685e-01,  8.7024e-01]],

         [[ 9.7793e-01,  3.3531e-02,  2.0621e-01],
          [-1.9013e-02,  9.9722e-01, -7.1984e-02],
          [-2.0805e-01,  6.6475e-02,  9.7586e-01]],

         [[ 9.9684e-01,  7.6580e-02, -2.1214e-02],
          [-7.5686e-02,  9.9632e-01,  4.0175e-02],
          [ 2.4213e-02, -3.8442e-02,  9.9897e-01]],

         [[ 9.9854e-01, -4.7028e-02, -2.6562e-02],
          [ 4.5726e-02,  9.9782e-01, -4.7678e-02],
          [ 2.8747e-02,  4.6394e-02,  9.9851e-01]],

         [[ 9.7222e-01,  2.0475e-01, -1.1345e-01],
          [-1.8691e-01,  9.7080e-01,  1.5036e-01],
          [ 1.4092e-01, -1.2498e-01,  9.8210e-01]],

         [[ 9.7783e-01, -1.9880e-01,  6.5772e-02],
          [ 1.8379e-01,  9.6533e-01,  1.8539e-01],
          [-1.0035e-01, -1.6919e-01,  9.8046e-01]]]])  #23*3*3，代表23个joints,3*3是旋转矩阵表示
body_pose [tensor([[ 0.1688,  0.0366,  0.1265],
        [ 0.0235, -0.1126, -0.0567],
        [ 0.0026,  0.0584, -0.0320],
        [ 0.1508, -0.2265,  0.1300],
        [ 0.1209,  0.0488,  0.1102],
        [ 0.0195,  0.0737, -0.0014],
        [-0.0951,  0.1849, -0.0097],
        [ 0.0095, -0.1627,  0.0651],
        [ 0.0314,  0.0688, -0.0113],
        [-0.0316, -0.0035,  0.0694],
        [-0.0344, -0.0869, -0.1055],
        [ 0.0194, -0.1249, -0.0703],
        [ 0.0161, -0.0419, -0.4008],
        [ 0.0549,  0.0682,  0.4498],
        [ 0.2638, -0.0785,  0.0042],
        [ 0.2682, -0.3233, -0.9612],
        [ 0.0879,  0.2292,  0.9169],
        [ 0.1982, -0.4755, -0.0317],
        [ 0.0698,  0.2088, -0.0265],
        [-0.0394, -0.0227, -0.0762],
        [ 0.0471, -0.0277,  0.0464],
        [-0.1394, -0.1288, -0.1983],
        [-0.1796,  0.0841,  0.1938]])]  #23*3, 改为轴角表示

Hualiang789 · 2024-08-19T13:57:40Z

感谢兄弟解答~我们也正在研究hugs 的数据预处理部分，请问老哥，如果方便的话，可以加一下您的联系方式吗？我们可以一起探讨学习交流一下。

ZCWzy · 2024-08-19T17:14:54Z

感谢兄弟解答~我们也正在研究hugs 的数据预处理部分，请问老哥，如果方便的话，可以加一下您的联系方式吗？我们可以一起探讨学习交流一下。

不能，因为我很懒，我要玩博德之门3，我只能帮到这里了（）

MikeAiJF · 2024-09-20T07:08:17Z

感谢兄弟解答~我们也正在研究hugs 的数据预处理部分，请问老哥，如果方便的话，可以加一下您的联系方式吗？我们可以一起探讨学习交流一下。

你好，请问我报这个错误应该是什么原因，谢谢
Traceback (most recent call last):
File "/project_02/ml-hugs/preprocessForHugs/export_alignment_myself.py", line 263, in
main(opt)
File "/project_02/ml-hugs/preprocessForHugs/export_alignment_myself.py", line 173, in main
raw_smpl = read_4d_humans(opt.images_dir, opt.raw_smpl)
File "/project_02/ml-hugs/preprocessForHugs/export_alignment_myself.py", line 42, in read_4d_humans
hmr_result = joblib.load(raw_smpl)
File "/home/kmks-server-01/miniconda3/envs/preprocessForHugs/lib/python3.10/site-packages/joblib/numpy_pickle.py", line 650, in load
with open(filename, 'rb') as f:
FileNotFoundError: [Errno 2] No such file or directory: '/project_02/ml-hugs/preprocessForHugs/output/test_female_11/4d-humans/track_results.pkl'

8: make dense pose

mkdir: cannot create directory ‘test_female_11/output/densepose/’: No such file or directory
usage: make_dense_pose.py [-h] --input INPUT --output_dir OUTPUT_DIR --images_dir IMAGES_DIR
make_dense_pose.py: error: argument --output_dir: expected one argument

ZCWzy · 2024-09-20T07:28:46Z

@MikeAiJF 是不是没有把这个仓库里的demo.py 替换4D-humans那个demo.py？

MikeAiJF · 2024-09-20T07:54:23Z

@MikeAiJF 是不是没有把这个仓库里的demo.py 替换4D-humans那个demo.py？

替换了

ZCWzy · 2024-09-20T08:22:09Z

@MikeAiJF 是不是没有把这个仓库里的demo.py 替换4D-humans那个demo.py？

替换了

我想把demo.py放到4D-Humans文件夹下会更好，因为你那个报错好像是在说没找到track_results.pkl
FileNotFoundError: [Errno 2] No such file or directory: '/project_02/ml-hugs/preprocessForHugs/output/test_female_11/4d-humans/track_results.pkl'
而我自己写的demo.py最后会dump出一个track_results.pkl，或者你仔细找找看，有没有在哪里生成一个track_results.pkl。

MikeAiJF · 2024-09-23T06:02:07Z

哥们，这是什么原因

ZCWzy · 2024-09-23T07:37:54Z

哥们，这是什么原因

有没有把这个仓库的东西下载全？看你的报错，是没有scenes，然后export_alignment_myself.py没有正确运行，所以也没有生成一个smpl_optimized_aligned_scale.npz，所以mv也是失败的
看你make densepose下面那个报错，好像是没有下载本仓库的dp_00000.png.npy（P.S.这个在neuman原来那个步骤里面是要额外生成的，挺耗时间的我记得，但我注意到，hugs中好像每个dp_xxxx.png.npy都一样，所以就直接用一个代替所有了。你可以验证一下原数据集中是否每个dp_xxx_png.npy大小都一样，内容是全0）

MikeAiJF · 2024-09-23T09:14:01Z

哥们，这是什么原因

有没有把这个仓库的东西下载全？看你的报错，是没有scenes，然后export_alignment_myself.py没有正确运行，所以也没有生成一个smpl_optimized_aligned_scale.npz，所以mv也是失败的看你make densepose下面那个报错，好像是没有下载本仓库的dp_00000.png.npy（P.S.这个在neuman原来那个步骤里面是要额外生成的，挺耗时间的我记得，但我注意到，hugs中好像每个dp_xxxx.png.npy都一样，所以就直接用一个代替所有了。你可以验证一下原数据集中是否每个d

ZCWzy · 2024-09-23T09:34:59Z

我的哥，第7到8步骤一直有错误

你的图图好像没了。如果这个仓库不能顺利运行的话，建议你参考我在hugs的issue里的回答，自己写一个小脚本（基本都是数据处理的活，我没学过python都会写）生成smpl_optimized_aligned_scale.npz，以代替步骤7。
步骤8其实很好写，也可以自己写

MikeAiJF · 2024-09-23T09:35:57Z

我现在没有报错了，run.sh运行完了，还需要什么操作吗

ZCWzy · 2024-09-23T14:32:51Z

我现在没有报错了，run.sh运行完了，还需要什么操作吗

检查一下输出的文件格式是否正确。然后修改ml-hugs的cfg文件和代码，指定数据集为自定义数据集即可。
（但是我自己做的结果不太行，所以这个实验后续没再做。

MikeAiJF · 2024-09-24T02:48:31Z

我现在没有报错了，run.sh运行完了，还需要什么操作吗

检查一下输出的文件格式是否正确。然后修改ml-hugs的cfg文件和代码，指定数据集为自定义数据集即可。（但是我自己做的结果不太行，所以这个实验后续没再做。

哥们，你能给我看一下你生成的东西吗，我去跑ml-hugs训练缺少了好多文件

ZCWzy · 2024-09-24T03:03:48Z

我现在没有报错了，run.sh运行完了，还需要什么操作吗

检查一下输出的文件格式是否正确。然后修改ml-hugs的cfg文件和代码，指定数据集为自定义数据集即可。（但是我自己做的结果不太行，所以这个实验后续没再做。

哥们，你能给我看一下你生成的东西吗，我去跑ml-hugs训练缺少了好多文件

生成内容大概长啥样，以及“为什么和示例数据集比起来少了很多内容”的问题，请看这个issue

MikeAiJF · 2024-09-24T03:39:15Z

我现在没有报错了，run.sh运行完了，还需要什么操作吗

检查一下输出的文件格式是否正确。然后修改ml-hugs的cfg文件和代码，指定数据集为自定义数据集即可。（但是我自己做的结果不太行，所以这个实验后续没再做。

哥们，你能给我看一下你生成的东西吗，我去跑ml-hugs训练缺少了好多文件

生成内容大概长啥样，以及“为什么和示例数据集比起来少了很多内容”的问题，请看这个issue

我和这个问题一样中生成的东西一样

ZCWzy · 2024-09-24T04:13:05Z

哥们，你能给我看一下你生成的东西吗，我去跑ml-hugs训练缺少了好多文件

生成内容大概长啥样，以及“为什么和示例数据集比起来少了很多内容”的问题，请看这个issue

我和这个问题一样中生成的东西一样

那你缺啥文件，如果运行起来，刷出一堆提示“你没找到xxx(可能是depth图)”，忽视就行。能进入那个training环节就行。
training后记得检查一下第一张图片的输出（大概如下图所示），检查右图的人体点云姿势，朝向是否正确。如果不正确就不要训练了。

偶尔训练会报错，大概和

assert x.max() <= 1 + EPS and x.min() >= -EPS, f "x must be in [0, 1], got {x.min()} and {x.max()}"
(来自 /hugs/models/models/triplane.py)

有关系，把这行代码注释掉就行。好像是论文中关于三平面限制的那个，但注释掉也能跑。

MikeAiJF · 2024-09-24T07:56:34Z

哥们，你能给我看一下你生成的东西吗，我去跑ml-hugs训练缺少了好多文件

生成内容大概长啥样，以及“为什么和示例数据集比起来少了很多内容”的问题，请看这个issue

我和这个问题一样中生成的东西一样

那你缺啥文件，如果运行起来，刷出一堆提示“你没找到xxx(可能是depth图)”，忽视就行。能进入那个training环节就行。 training后记得检查一下第一张图片的输出（大概如下图所示），检查右图的人体点云姿势，朝向是否正确。如果不正确就不要训练了。偶尔训练会报错，大概和
assert x.max() <= 1 + EPS and x.min() >= -EPS, f "x must be in [0, 1], got {x.min()} and {x.max()}"
(来自 /hugs/models/models/triplane.py)
有关系，把这行代码注释掉就行。好像是论文中关于三平面限制的那个，但注释掉也能跑。

MikeAiJF · 2024-09-24T08:07:14Z

这个错误来自neuman.py文件

ZCWzy · 2024-09-24T08:31:37Z

这个错误来自neuman.py文件

start_id变量应该来自neuman.py的第121行的函数
它都告诉你 “start_id out of range” 了，修改 start_id 使得代码可以运行即可，但是start_id对训练质量有没有影响，有多少影响，我不清楚。（你应该注意到这个函数中的start_id都不一样

MikeAiJF · 2024-10-11T03:48:38Z

哥们，我又来了，为什么换个视频就报错了，我什么都没改

MikeAiJF · 2024-10-11T03:49:41Z

跑我原来视频没错误，想着跑一下hugs作者的bike视频试试，但是报错误了

MikeAiJF · 2024-10-11T03:51:06Z

想请你帮我解惑一下😁

ZCWzy · 2024-10-11T07:28:14Z

哥们，我又来了，为什么换个视频就报错了，我什么都没改

这个cap != pose的问题是说“姿态检测器检测到的姿态，和照片数量对不上”
为啥你有293个pose，但是场景只有104个？一开始切图切出293张图片，colmap稠密建图只用了104张？

MikeAiJF · 2024-10-12T01:16:41Z

是不是数据的问题

MikeAiJF · 2024-10-12T01:16:52Z

有解决办法吗

ZCWzy · 2024-10-12T08:05:49Z

有解决办法吗

我不知道哇，可能是切图切太多了。你应该倒查一下流程，看为啥能出293个pose，你自己试一下debug比问我快多了（话说你是否应该注意一下提问方式，明明回一个comment就能说明事情，非要回复两次）

MikeAiJF · 2024-10-17T04:56:33Z

有解决办法吗

我不知道哇，可能是切图切太多了。你应该倒查一下流程，看为啥能出293个pose，你自己试一下debug比问我快多了（话说你是否应该注意一下提问方式，明明回一个comment就能说明事情，非要回复两次）

兄弟，还有更好的办法可以获得4d-humans文件下的文件吗，我训出来效果不是太好。

ZCWzy · 2024-10-17T05:17:58Z

有解决办法吗

我不知道哇，可能是切图切太多了。你应该倒查一下流程，看为啥能出293个pose，你自己试一下debug比问我快多了（话说你是否应该注意一下提问方式，明明回一个comment就能说明事情，非要回复两次）

兄弟，还有更好的办法可以获得4d-humans文件下的文件吗，我训出来效果不是太好。

我就是因为训练结果不行，所以就没继续做这个，原作者又没发数据预处理流水线

MikeAiJF · 2024-10-17T08:03:02Z

有解决办法吗

我不知道哇，可能是切图切太多了。你应该倒查一下流程，看为啥能出293个pose，你自己试一下debug比问我快多了（话说你是否应该注意一下提问方式，明明回一个comment就能说明事情，非要回复两次）

兄弟，还有更好的办法可以获得4d-humans文件下的文件吗，我训出来效果不是太好。

我就是因为训练结果不行，所以就没继续做这个，原作者又没发数据预处理流水线

那个4d-humans项目能处理得到4d-huamns吗

ZCWzy · 2024-10-17T09:35:16Z

那个4d-humans项目能处理得到4d-huamns吗

这个数据预处理流程为啥是这个样子，请阅读我的issue以及编辑记录。我只是简单预处理数据使得代码能跑，没做额外的优化，如果你做出来了请提pr

MikeAiJF · 2024-10-24T02:52:33Z

那个4d-humans项目能处理得到4d-huamns吗

这个数据预处理流程为啥是这个样子，请阅读我的issue以及编辑记录。我只是简单预处理数据使得代码能跑，没做额外的优化，如果你做出来了请提pr
兄弟，我又回来了麻烦你了，4d-humans那个好像得不到4d-humans文件下下的东西吧，所以我想问问你我应该去找那个项目可以得到4d-huamns文件夹下的东西。谢谢

ZCWzy · 2024-10-24T03:13:39Z

那个4d-humans项目能处理得到4d-huamns吗

这个数据预处理流程为啥是这个样子，请阅读我的issue以及编辑记录。我只是简单预处理数据使得代码能跑，没做额外的优化，如果你做出来了请提pr
兄弟，我又回来了麻烦你了，4d-humans那个好像得不到4d-humans文件下下的东西吧，所以我想问问你我应该去找那个项目可以得到4d-huamns文件夹下的东西。谢谢

4d-human只是为了预测人体，而且预测得到的结果如果直接训练是不行的，还需要处理。

Repository owner deleted a comment from MikeAiJF Sep 23, 2024

ZCWzy closed this as completed Oct 24, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Thanks brother for the answer： #2

Thanks brother for the answer： #2

Hualiang789 commented Aug 19, 2024

ZCWzy commented Aug 19, 2024

Hualiang789 commented Aug 19, 2024

ZCWzy commented Aug 19, 2024

MikeAiJF commented Sep 20, 2024

ZCWzy commented Sep 20, 2024

MikeAiJF commented Sep 20, 2024

ZCWzy commented Sep 20, 2024

MikeAiJF commented Sep 23, 2024

ZCWzy commented Sep 23, 2024

MikeAiJF commented Sep 23, 2024

ZCWzy commented Sep 23, 2024

MikeAiJF commented Sep 23, 2024

ZCWzy commented Sep 23, 2024

MikeAiJF commented Sep 24, 2024

ZCWzy commented Sep 24, 2024

MikeAiJF commented Sep 24, 2024

ZCWzy commented Sep 24, 2024

MikeAiJF commented Sep 24, 2024

MikeAiJF commented Sep 24, 2024

ZCWzy commented Sep 24, 2024

MikeAiJF commented Oct 11, 2024

MikeAiJF commented Oct 11, 2024

MikeAiJF commented Oct 11, 2024

ZCWzy commented Oct 11, 2024

MikeAiJF commented Oct 12, 2024

MikeAiJF commented Oct 12, 2024

ZCWzy commented Oct 12, 2024

MikeAiJF commented Oct 17, 2024

ZCWzy commented Oct 17, 2024

MikeAiJF commented Oct 17, 2024

ZCWzy commented Oct 17, 2024 •

edited

Loading

MikeAiJF commented Oct 24, 2024

ZCWzy commented Oct 24, 2024

Thanks brother for the answer： #2

Thanks brother for the answer： #2

Comments

Hualiang789 commented Aug 19, 2024

ZCWzy commented Aug 19, 2024

Hualiang789 commented Aug 19, 2024

ZCWzy commented Aug 19, 2024

MikeAiJF commented Sep 20, 2024

8: make dense pose

ZCWzy commented Sep 20, 2024

MikeAiJF commented Sep 20, 2024

ZCWzy commented Sep 20, 2024

MikeAiJF commented Sep 23, 2024

ZCWzy commented Sep 23, 2024

MikeAiJF commented Sep 23, 2024

ZCWzy commented Sep 23, 2024

MikeAiJF commented Sep 23, 2024

ZCWzy commented Sep 23, 2024

MikeAiJF commented Sep 24, 2024

ZCWzy commented Sep 24, 2024

MikeAiJF commented Sep 24, 2024

ZCWzy commented Sep 24, 2024

MikeAiJF commented Sep 24, 2024

MikeAiJF commented Sep 24, 2024

ZCWzy commented Sep 24, 2024

MikeAiJF commented Oct 11, 2024

MikeAiJF commented Oct 11, 2024

MikeAiJF commented Oct 11, 2024

ZCWzy commented Oct 11, 2024

MikeAiJF commented Oct 12, 2024

MikeAiJF commented Oct 12, 2024

ZCWzy commented Oct 12, 2024

MikeAiJF commented Oct 17, 2024

ZCWzy commented Oct 17, 2024

MikeAiJF commented Oct 17, 2024

ZCWzy commented Oct 17, 2024 • edited Loading

MikeAiJF commented Oct 24, 2024

ZCWzy commented Oct 24, 2024

ZCWzy commented Oct 17, 2024 •

edited

Loading