Byte Cup 2018国际机器学习竞赛夺冠团队采访 - 纳金网

队长姜兴华，浙江大学计算机学院计算机专业的研三学生，主要方向为自然语言处理，机器学习等。

队员严雨姗，浙江大学管理学院创业管理专业博一学生，主要研究方向为创业与大数据相关课题。

A：队长从本科大三开始接触机器学习，从事过计算机视觉和自然语言处理相关研究工作。研究生导师是蔡登/何晓飞教授。目前研究方向为自然语言处理-文本生成相关。

A：这次比赛是我们第一次参加数据竞赛。之前也没什么比赛经验。参加 Byte Cup 2018，主要是觉得该比赛解决的问题非常有趣并且在学术界和工业界都是非常有意义的。

A：比赛初期我们调研了很多文本生成，机器翻译等相关方向的论文和开源代码，做出了很多尝试。比赛过程中，也遇到了很多问题，包括计算资源不足和代码实现错误等问题。我们的模型是基于 Transformer 模型的改进。比赛中经常遇到的问题就是，Baseline+A，Baseline+B 会有很好的效果，但是 Baseline+A+B 就不能达到同等量级的提升。

同时，调参也遇到了很多的问题，比如：对于不同的模型结构需要使用不同的学习率策略才能达到很好的效果。改进模型是一个不断迭代的过程，新模型，看数据（找到数据明显错误），分析问题，改进模型。

再比如，我们实验过程中，会遇到 OOV (out-of-vocabulary) 问题，数字预测错误，单词词形预测错误，生成语句重复，生成语句长度太短等若干问题，每次迭代，都会在对应问题上得到提升。

Q：以后想在什么具体的领域发展或想解决什么问题？希望做科研还是找工作？如果未来会参加比赛，希望参加什么样的比赛（对参加比赛的标准是什么）？

A：之后，我们主要做自然语言处理相关工作，主要会关注内容生成/创作等方向。预计之后会去工业界从事相关工作，因为工业界有更多的实际场景和数据，相对来说，会比较有成就感一些。