How to write good reviews——Tutorial CVPR 2020

How to write good reviews——Tutorial CVPR 2020

How to write good paper

主讲：William T. Freeman(MIT,Google)

How to organize your paper

1. 从自己要解决的问题入手，为什么这个问题重要
2. 简单介绍其他方法，为什么前人方法不够好
3. 解释/介绍你的方法，和其他方法比较，陈述其优势
4. 介绍相关工作（所有方法的背景来源，所做实验的背景等等）

Example paper organization

1. Introduction
2. Related work
3. Image model
4. Algorithm
5. Experiments
6. Discussion

write a dynamite Introduction！

你要让你的paper易于理解，让任何读者都知道这是关于什么的，解决了什么问题，为什么这个问题有意义，你的方法创新点在哪，你的解决方案有多么优雅（neat）。这些都需要在最开始就陈述清楚（夺人眼球，勾起reviewer兴趣）

how to introduce your paper's main idea

可以从一个简单的例子开始，不必是真实的数据，只要简单直接，能清楚地陈述你的方法就可以，重点是让人理解你的方法要做啥，为啥有效。

About experiments

对比其他相近方法，列出数据，解释为什么你的方法好。不只是数据，解释同样重要，让你的提升有说服力

About conclusion

讲者表示了下自己个人最不喜欢的是以future work结尾。可以概述下自己的方法，如果一定要说未来要做的（目前没做的），也不要说的太细，只要说大方向就好

General Writing Tips

• keep the reader upper-most in your mind (每一部分都想着，读者目前了解到哪一步了，读者之后期待文章会写什么，以及为什么)

• Treat the reader as you would a guest in house（预料他们的需求，他们是不是要喝茶了，是不是要吃点心了，吃完了需要休息会吗）

总的来说就是站在读者的角度写文章

• omit needless words

  Vigorous writing is concise. A sentence should contain no unnecessary words, a paragraph no unnecessary sentences, for the same reason that a drawing should have no unnecessary lines and a machine no unnecessary parts. This requires not that the writer make all his sentences short, or that he avoid all detail and treat his subjects only in outline, but that every word tell.

  Many expressions in common use violate this principle:

  wrong expressions	right expressions
  the question as to whether	whether (the question whether)
  there is no doubt but that	no doubt (doubtless)
  used for fuel purposes	used for fuel
  he is a man who	he
  in a hasty manner	hastily
  this is a subject which	this subject
  his story is a strange one	his story is strange

• re-writing

  

• the readership of your paper

  

  最后一类才是你最重要的读者（引你paper的）

• figures and captions

  

尽量让图片和图注释能完整陈述你的方法，读者可以直接看图就理解（服务粗读型读者）

• 关于公式

  很多人刚开始粗读的时候，都会略过复杂的公式，所以尽量让读者即便不看公式也不影响阅读，假设所有的复杂公式都用‘balabala’替代后还能看得懂idea

• 用词尽量友好

  和其他方法比的时候，不要用太激烈的措辞鄙视之前的工作（23333我老板也说过，因为这些paper的作者很可能是你的reviewers）。正确的做说法是：大家都很好，只是你的更好，之前的方法有小小的局限233333

• 关于过度吹嘘问题和诚信

  虽然现在有这个趋势，过度吹嘘自己的工作，但是最好还是自己主动陈述方法的局限，而不是等着reviewers或followers来指出。讲者认为这种paper更有可信度，也更能树立一个好的学术声誉，过度吹牛可能会让人碰运气中一篇paper，但是对于职业生涯却会有长期的有害影响。（这点确实，如果一个paper过度吹嘘自己的结果，我follow了之后失望过一次，发现不能复现结果，可能之后我就再也不会认真看这个人的其他paper了）

• 作者列表

  总的来说，如果你觉得这个人对你的paper有任何有益的影响，你想加的话就可以加，作者数量本身并不重要。当一篇优秀paper的很多作者中的一个，比当一个普通paper的前几作更有意义。（所以大家也对所有实验室的小伙伴和科研圈的同僚友好点233333，说不定你对别人的某次帮助/指导，以后就让自己进了作者列表23333，学术圈是个互助互利的圈子，而非零和游戏。我知道国内一些组有不良的内部竞争，这其实是不好的趋势，合作才能双赢。）

• 最常见paper被拒绝的原因

  • Do the authors not deliver what they promise?——别吹牛
  • Are important references missing (and therefore one suspects the authors not up on the state-of-the-art for this problem)?
  • Are the results too incremental (too similar to previous work)
  • Are the results believable?
  • Is the paper poorly written?
  • Are there mistakes or incorrect statements?

• 区域主席（AC）眼中的paper类型

  1. 1/3的paper明显就要被拒
  2. 偶尔有些paper从idea到结果到写作都非常好，会被选为oral
  3. 其他的borderline论文又分为两类：蟑螂型paper和有残疾的可爱小狗型paper，前者是那种很会写，很难找到明显reject的理由，但就是让人觉得没意思，没明显价值和提升想要拒的paper，后者是非常有意思，非常激动人心的paper，但是却有明显的缺陷。后者一般好好改，即便这次不中下次一定也可以中

• 结束语

  Good writing is re-writing, and it often helps to put the paper down and return to it fresh later. This means you need to start writing the paper early!

How to write good review

主讲：Rick Szeliski（Facebook），Jordi Pont-Tuset（Google），Fatma Guney（Koc University），Konrad Schindler（ETH Zurich），Michael Goesele（Facebook）

ECCV / SIGGRAPH评审格式

主讲：Rick Szeliski

ECCV review form (2020)

• Summary of contributions
  • Briefly describe the contributions of the paper in your own words
  • If necessary, mention any discrepancies between the contributions claimed by the authors and the contributions from your point of view.
• Strengths
  • Describe the strengths of the paper in detail
• Weaknesses
  • Describe the weaknesses of the paper in detail. Provide solid arguments and evidence for your claims.
  • It is not okay to say that something has been before if you do not provide concrete references.
• Suggestion to authors
  • Provide recommendations to the authors how they can improve their manuscript (e. g. typos). They are not relevant for your rating.
• preliminary rating justification
  • Briefly summarize the strengths and weaknesses and justify your rating.
  • Your rating should not be based on your personal taste, but on scientific arguments about strengths and weaknesses.
• Confidence
  • 4 High, 3 Medium, 2 low, 1 no idea(oops! ... fix if possible)

SIGGRAPH review form (1995-2020)

• Briefly describe the paper and give your assessment of the scope and magnitude of its contribution.

• Are the exposition and presentation clear? How could they be improved?

• Are the references adequate? list any additional references that are needed

• Could the work be reproduced from the information in the paper?

  Are all important algorithmic or system details discussed adequately?

  Are the limitations and drawbacks of the work clear?

• Recommendation

• Reviewer Expertise

• Explanation of Rating:

  • Explain your rating by discussing the strengths and weaknesses of the submission, contributions, and the potential impact of the paper.
  • Include suggestions for improvement and publication alternatives, if appropriate.
  • Be thorough. Be fair. Be courteous.
  • Provide evidence and references for your statements. Above all, be constructive.
  • Please be judicious in asking questions to be answered during rebuttal - authors should not be expected to produce new results or conduct additional experiments during the rebuttal period.

• Private Comments: You may enter private comments for the papers committee here.

空出足够时间：

在review前先做好规划，空出足够时间。避免在deadline前仓促review，造成质量的下降。

读paper时：

1. 做标记，做备注（PDF一般都支持）。

2. 花足够时间去看paper，尊重作者的工作，他们可能花了好几个月。

3. 确保理解内容，如果有不懂的前置工作，去读一下。当作是自己学习的机会，而不是负担。

总结paper：

1. 用自己的语言总结paper（理解）

2. 为什么这个paper有价值

3. 方法的优点和缺点，不必重复作者的

4. 给作者的建议（之前应该就做好pdf标记，比如笔误，表达错误，缺少引用等）

评价paper：

1. 总结优点和缺点（支持你的评价）

2. 不要根据主观感受，而是对比优缺点

3. 记住你的review意见是为AC的最终决定提供帮助的

4. 认真阅读其他reviewer的意见，以及rebuttal，可以对最终意见和打分做出适当调整。

5. 把review和rebuttal看成是和作者的交流

讨论paper:

这主要是说老师让自己学生代审paper的情况。（哈哈哈哈哈，我觉得这种老师应该不会看这篇文章）即便让学生代审，也记得自己花个几十分钟过一遍paper。但是切忌和不相干的人讨论自己审的paper。（毕竟是匿名审稿，而且你无法保证和你讨论的人的人品，万一他去抄袭idea了呢）

总结：

1. 花足够时间

2. 当作自己学习的机会

3. 也记得帮助作者，给他们提供意见

4. 帮助评审会的区域主席等，更好的了解/评价paper

（所有的建议和提出的问题都要详细解释，不要给个笼统的好或不好。review的目的是让作者提升/改进paper，而非只是单纯的打分。）

How to be a good reviewer

主讲：Jordi Pont-Tuset

前期准备：

1. 收到review邀请邮件，详细阅读

2. 确认时间，待审量，检查流程（流程经常会改变，所以即便是老手也要认真阅读）

审稿中：

1. 当系统分配下来要审的paper后，先确认下有没有利益冲突，以及是否匹配你的方向和专业（不想审的可以和AC反应）

2. 一篇一篇审，看完一篇写一篇review，不要统一看统一写。（谁会统一看统一写。。）

3. 认真读paper，做好标记（笔误，缺引用，以及其他问题）

4. 关于优缺点，建议分好主次，归类（比如笔误放在一起写）。

5. 你的任何观点，都要解释清楚，必要的话给引用

6. 可以对某个领域的paper的review做好归类整理，方便你下次review这个领域paper的时候参考。

后期工作：

1. 认真阅读rebuttal，记得看下之前提出的问题，一一对应看他们的回复。

2. 还有问题可以写在final justification里

3. 参与讨论（一般流程中会有和其他reviewer讨论的阶段）

4. 尽量不要敷衍rebuttal，还是那句话，尊重作者的工作，都是要发paper的，谁也不希望自己的paper被敷衍。

总结：

认真对待每一个步骤，不要偷懒。

主讲：Fatma Guney

主讲：Konrad Schindler

创新：

虽然我们都不喜欢琐碎的（trivial）的工作，但是几乎没有一个工作是完全的“新”的。所以什么样的paper可以说是有新意的呢：

1. 一个别人没想过的问题，或者解决问题的角度

2. 一个已知问题的新解决方法

3. 更好的理解和分析（解释已知现象/已有工作）

4. 更好的实验结果

重点不是这篇paper你是否感兴趣，而是要想想是否有人会对这篇文章感兴趣。

创新的层级：

关于实验效果：

1. 如果有创新，不必执迷于SOTA

2. 单纯的好的实验结果，不代表有创新（可能只是调参，更好的机器，外部数据，过拟合）

3. 没有真实数据的实验结果不一定是坏事，可能有些任务就是很难采集真实数据，只能靠人造数据。

4. 舒适区内的偏见：reviewer会更倾向于认可他直觉上觉得可行的方法，不过这个是个偏见，审文章时，具体的分析创新性和有效性的时候要克服这种天然的偏见。

创新的ideas vs. 愚蠢的ideas：

总的来说还是克服舒适区，以及更加包容。

不用过度夸大优雅的方法也不用过度贬低复杂的方法。

主讲：Michael Goesele

How to write good Rebuttal

主讲：Andrew Fitzgibbon（Microsoft）

这老哥特别逗，说自己对review界的最大贡献是，他在cvpr模板中引入了页边行数。（哈哈哈哈，还写到了自己CV里）。不过review阶段确实特别有用，方便解释自己的某个问题来自于原文的哪几行。

Rebuttal的必要性：

1. Reviewers不是万能的，很多时候reviewers的问题来自于他们自己的误解，没读懂paper，当然原因可能也是因为作者自己没说清楚。而这些误解可能会导致不恰当的最终打分。

2. 很多时候如果有Reviewer给了不当的打分，即便他自己没改分，合理的rebuttal也能帮助其他reviewers和ACs理解你的paper。

如何写Rebuttal：

总结：

1. 冷静
2. 礼貌
3. 准确
4. 把rebuttal看作纠正自己错误的机会
5. 注意你是写给谁的（reviewers & AC）
6. 利用这个机会学习

第四节：论文评审的完整流程

主讲：Vittorio Ferrari（Google），Greg Mori（Borealis AI，Simon Frasier University）

论文提交到接收的流程：

一些数据和趋势：

Reviewers分配标准：

最终论文接收决定流程：

结束语：每个reviewer也都当过论文作者，希望大家不管是审别人文章还是自己写文章都一样认真。不要草率的对待别人的文章。不管自己写文章还是给别人写审稿意见时，都尽量措辞更友善一点，毕竟出来混总是要还的23333。也不要吝啬给出自己的有建设性的意见，学术界不是零和游戏。最后，希望大家都paper多多。