记录这些年在科研路上的点点滴滴

项目结束后，博磊找我谈话，说希望我后续能多做一些生成（generation）方向的研究。但当时我在这一方向几乎没有经验，心里压力也挺大。 博磊于是把宇军介绍给我，说他是自己在香港带过最优秀的学生之一。就这样，我遇到了对我科研生涯产生巨大影响的第二个人。

刚开始跟宇军合作时，我压力很大，因为自己经验不足。但在多次交流后，我发现宇军极其友善且富有耐心。他没有直接让我做最传统的 editing 任务，而是结合我的背景，设计了一些融合感知（perception）与生成（generation）的项目。在博磊、宇军和策元的帮助下，项目进展非常顺利。但到了写论文阶段，我遇到了许多困难。我原以为自己的论文写作还不错，但实际写作过程中暴露出了非常多问题。宇军几乎是逐行逐段帮我修改，提出建议，很多时候甚至需要大段重写。通过这次经历，我才真正意识到科研写作的重要性。

由于前两个项目涉及的方向比较广，博士第二年我其实还在“东做一下、西做一下”，当时的心态是只要能发论文就好。但这一年做下来，内心其实很空虚。没有明确的长期目标，做的东西也缺乏持续性和深度。有一次回杭州，我和本科工高班的组爸思达吃饭，聊到了未来的发展方向。当时 3D vision 刚刚兴起，思达建议我可以考虑将 generation 和 3D vision 结合起来。这对我来说其实是一个巨大的挑战，因为在此之前，我的研究经历几乎全部集中在 2D perception 方向，之前发表的论文也都是这个领域的成果。如果转向 3D，就意味着我必须放下此前积累的大部分知识体系，重新开始。

当时我也跟宇军和策元聊了很久，他们都鼓励我，认为有时候“不破不立”，适时的转变才能带来更大的成长。在他们的支持下，我更加坚定了做出改变的决心。我回去后认真调研了很久，越看越觉得这个方向潜力巨大。最终在博士第二年结束时，我正式想清楚了自己 PhD 期间要走的方向和故事线。于是，我开始了“奋不顾身”的转行。虽然我此前几乎没有 3D vision 背景，但在思达的帮助下，我们合作做了一个 neural rendering 项目，由此快速积累了不少经验。之后，我将自己在 generation 上的经验与 3D vision 结合，开始了一系列 3D 生成相关的研究工作，并一直延续至今。

我的博士期间正值一个动荡的时代。入学仅半年，就遇到了疫情，导致前两年大部分时间都无法待在香港。那时我一直希望能去美国的公司实习看看，但也因为疫情的原因，与很多北美公司沟通到最后，往往因签证问题而被迫终止。博士第三年，博磊老师从 CUHK 转到 UCLA，策元和宇军也相继毕业，实验室变得十分冷清。

当时意识到如果未来想来美国做博士后，必须尽早积累一些在北美实习或工作的经历。因此，我决定一定要来北美实习一下，亲身感受这里的科研和工作机会。申请实习的过程非常艰难。虽然 2022 年底疫情已经逐步放开，但很多公司依然持保守态度。我曾与 Google 和 NVIDIA 等公司交流，但最终还是因为签证问题无法拿到 offer。那段时间，我刚做完一项关于 3D-aware GAN 的工作，非常希望能够继续沿着这条方向深入下去。在调研过程中，我看了很多嘉涛学长在 3D vision 领域做出的极具影响力的工作，深受启发。而且恰巧在同一时期，我们都在探索 3D-aware GAN 相关的问题。

因此，我与嘉涛学长进行了多次深入交流，对能在他的指导下继续拓展这个方向充满期待。可惜的是，正值嘉涛学长准备换工作，这个实习机会最终也就此作罢。后面就是同时在跟 NVIDIA 的 Sanja 组和 Snap 的 Sergey 组沟通。最终，我决定在 2022 年暑假来到美国，跟随梦磊做实习。虽然当时我已经在做基于 GAN 的 3D Generation，但自身的图形学背景仍然很薄弱。梦磊在暑期里教了我很多图形学，尤其是渲染相关的知识，帮我打开了许多此前不熟悉的领域，这些积累至今仍在持续影响着我。

第二次实习是在博士毕业前。当时，我在 3D Generation 方向上已有较多积累，但主流研究仍集中在 GAN 方法上。由于各种问题，GAN 在 3D 生成任务上很难 scale up。为了突破这个问题，我花了半年时间研究如何让 3D GAN 生成更稳定、质量更好，但始终没有真正做出令人满意的成果。

面试时，我与许多 mentor 分享了这个挑战，大家普遍表示出浓厚兴趣。最终，我手上的两个实习选择收敛到了 Adobe：Taesung希望我和他一起探索如何让 GAN 更好地 scale up；凯哥则跟我聊了一些Adobe 3D Team的机会，一起探索 3D foundational model 的可能性。纠结了很久后，我最终选择了后者，因为我更希望专注于 3D vision 的深度问题。现在回头看，这无疑是一个非常正确的决定。

刚到 Adobe 实习时，凯哥告诉我，他们刚刚完成了一个非常强大的模型（就是后来的LRM），可以通过一个简单的 feed-forward 过程直接实现 image-to-3D。我当时大受震撼，因为此前我一直在用 GAN 做 3D 生成，但无论如何优化，总是难以稳定，而 deterministic model 却在这里取得了巨大的突破。在和凯哥及组里 mentor 们深入讨论后，我意识到虽然 deterministic model 能取得一定效果，但在 image-to-3D 的问题上仍然存在生成质量上的瓶颈。因此，我决定在此基础上，进一步结合 generative model 来提升重建效果。