「机器学习前沿讲座」，是智东西公开课针对机器学习领域推出的一档讲座，聚焦于机器学习前沿领域研究成果与进展。我们将持续邀请研究者、专家与资深开发者，为大家带来直播讲解。
在过去的几年里，Deep Neural Networks在图像理解、图像生成、机器翻译和语音识别等多项任务上取得了前所未有的成功。在深度学习时代，设计更好的神经结构成为了神经网络性能改进的主要驱动力之一。而随着神经网络架构搜索（Neural Architecture Search，NAS）在分类、检测、分割等任务上的广泛应用，数据增强、网络结构、损失函数等等都可以用机器搜出一个比人工设计更优的方案。
知识蒸馏（Knowledge Distillation，KD）是一种将复杂模型（teacher）中的dark knowledge迁移到简单模型（student）中去的方法，一般是由teacher、student 两个网络组成。teacher具有强大的能力和表现，一般是ResNet 152这样的大模型，而student则更为紧凑，多为Res50这样的小模型。
通过知识蒸馏，我们希望student可以尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。因此student网络预测的结果不仅需要和ground truth计算loss，还要和teacher网络的预测值计算loss。而学者们也一直在研究如何让teacher教给student更多的内容，从而使student 可以涨更多的点。
现有的对于知识蒸馏的研究，主要是从teacher提供的soft label 比ground truth的one-hot label要好的角度来分析，但是却没有从网络结构的角度来考虑。虽然KD可以用在任意两对teacher-student网络上，然而对于所有的学生网络是否同样有能力接受不同老师的知识呢？
7月29日晚8点，智东西公开课邀请到商汤科技X-Lab技术负责人刘宇参与「机器学习前沿讲座」第3讲。刘宇老师将围绕《神经网络结构搜索与优化的研究和应用》这一主题进行直播讲解。刘宇老师会从神经网络最优结构与数据分布的关系出发、深入讲解基于神经网络结构搜索的知识蒸馏优化方法、以及神经网络结构搜索在人脸识别中的应用。
刘宇是商汤科技X-Lab技术负责人，研究兴趣为神经网络原理与大规模强化学习。刘老师博士毕业于香港中文大学MMLab，2019年Google PhD Fellowship大中华区唯一获得者，曾在Google研究院、微软研究院等知名机构工作实习。刘博在CV领域发表顶会20余篇，1000+引用量，也曾获得如ImageNet、OpenImage、FRVT、ActivitiNet等知名世界竞赛冠军。
课 程 内 容
主题：
神经网络结构搜索与优化的研究和应用
提纲：
1、神经网络的最优结构与数据分布的关系
2、基于神经网络结构搜索的知识蒸馏优化方法
3、神经网络结构搜索在人脸识别中的应用
讲 师 介 绍
刘宇，商汤科技X-Lab技术负责人，研究兴趣为神经网络原理与大规模强化学习；博士毕业于香港中文大学MMLab，2019年Google PhD Fellowship大中华区唯一获得者，曾在Google研究院、微软研究院等知名机构工作实习；在CV领域发表顶会20余篇，1000+引用量，曾获得如ImageNet、OpenImage、FRVT、ActivitiNet等知名世界竞赛冠军。
直 播 信 息
直播时间：7月29日晚8:00
直播地点：智东西公开课小程序
答疑地址：智东西公开课讨论群
加入主讲群
本次课程的讲解分为主讲和答疑两部分，主讲以视频直播形式，答疑将在「智东西公开课讨论群」进行。
加入讨论群，除了可以免费收看直播之外，还能认识讲师，与更多同行和同学一起学习，并进行深度讨论。
扫码添加小助手曼曼（ID：zhidxclass006）即可申请，备注“姓名-公司/学校/单位-职位/专业”的朋友将会优先审核通过哦~
往期回顾
「机器学习前沿讲座」现已完结2讲，分别是由加州大学洛杉矶分校博士后王可泽主讲的《可解释性AI在视频分析中的研究和应用》和卡内基梅隆大学机器人学院博士后王晨主讲的《无监督在线学习在机器人关键场景预测中的研究与应用》，目前累计观看人次5000余人次。点击下方图片可以观看完整回放。
点个“在看”和大家一起聊聊