最近被疫情关在学校里，难以跑到校外的实验室中用台式机，远程桌面的问题就是网络实在是太卡，一些图形化界面操作起来非常不方便。而虚拟机的问题就是，因为虚拟机的显卡也是虚拟化的，用不了Nvidia的显卡驱动。最终权衡再三还是打算把双系统配一下一劳永逸。
这个工作的目标是给定一个待抓取物体的点云，创建出对应的抓取手型网格。创建出的hand mesh首先得是自然、真实的，其次需要物理上能够抓紧物体。确保物体和合成的手型之间的合理的接触是得到 high-quality 和 stable 的 grasp的关键。
在阅读关节体位姿估计以及关节种类估计、screw parameter的估计中，很多论文都引用了这篇CVPR2019的论文。
最近的工作有很多利用implicit function来做3D刚体重建，但是很少工作关注通用关节体的建模，比起刚体，关节体的自由度更大，所以泛化到未见过的形状比较困难。为了解决形状的方差较大的问题，这篇文章引入了 Articulated Signed Distance Functions (A-SDF) 来使用隐空间来表示关节体的形状。我们假设没有对关节体部分的几何信息、关节类型、关节轴、关节位置的先验知识。
关节体的属性包括外表、结构、物理属性和语义类别。但是目前的CAD模型通常缺失了物理属性。所以AKB-48是一个大规模的从物理世界中扫描的关节体数据集，每个物体都通过知识图谱ArtiKG（Articulation Knowledge Graph）来描述。为了构建AKB-48这个数据集，这个工作通过fast articulation knowledge modeling(FArM) pipeline来构建每个物体的ArtiKG，通常只需要10~15分钟。这个工作进一步使用数据集提出了AKBNet，它是用来做物体类别级别的视觉关节体操作的。
通过这篇论文继续补充自己的理论知识。
在智能体通过模仿others的任务完成过程从而进行模仿学习的时候，通常会遇到两个问题：
这篇工作提出了一个2阶段的自动模仿学习技术，叫做behavior cloning from observation。
因为灵巧手的操作的domain相对复杂，所以需要引入专家示教的方式要诱导分布。但是通常情况下，在现实世界中，要得到state-action pair是比较困难的，比如从视频中学习。所以这篇文章就训练了一个inverse dynamics model（反向动态模型）来从状态转移中预测对应的动作。
UniGrasp的出现确实让人耳目一新，感觉sequential地出n指灵巧手的抓点确实是一个很符合逻辑很直观的想法。并且这个工作比起6D-GraspNet和GraspNet-1Billion，有尝试对Gripper的URDF建模，也就是关注了夹爪的动力学模型，而之前的6D-GraspNet虽然在第二步的Grasp Pose Evaluation中，把夹爪的点云接在了原先待抓取点云之后，但是这其实更多的是对夹爪静态几何特征的提取。虽然对URDF建模的方法，我个人的直觉一定不是最优解，比较naive，但是也算提出了一个方向。
第一次看别的组的GraspNet，最吸引我的是这篇文章有开源基于Pybullet的仿真器采集数据的部分，代码算是给了我很大的启发。不过随之而来的可能就是真的要重构我目前的仿真器部分……好在工程量并不算大，并且比起我现有的仿真器实现，性能会有巨大的提升。
最近在研究各种各样的GraspNet，组内浩树学长的GraspNet虽然我已经用了很久，但是在方法论和具体实现上一直没有时间去研究，借着寒假的机会来集中学习一下。