特斯拉自动驾驶之父离职教“网课“，AI 大佬原来都这么热爱授业解惑 ...

他曾开创斯坦福第一门深度学习课，如今 " 讲课瘾 " 又犯了。
——
文｜杜晨 编辑｜VickyXiao 题图来源 | 斯坦福大学网站
几年前，斯坦福大学博士生 Andrej Karpathy 做了一件令 AI 社区非常敬佩的事情：在学校里创办了一门深度学习本科课程，并且将视频全部免费公开。
作为深度学习的早期研究者和教育者之一，Karpathy 赌对了方向。经过十多年的快速发展和技术创新，现在深度学习技术已经驱动着搜索、图像识别、社交网络、工业自动化、自动驾驶等诸多关键领域和产业。
由于研究成就突出，Karpathy 自己也成为了应用 AI 技术发展的受益者，走出学术进入业界的第一份工作，就是特斯拉的特斯拉出任 AI 部门总监，领导 Autopilot 以及整个特斯拉自动 / 辅助驾驶技术项目的研发，并带领公司深入到了机器人等更多前沿领域。

上个月，Karpathy 宣布从特斯拉正式离职。

当人们还在关注他下一站要去哪，他却毫无意外地 " 重操旧业 "，当起了 " 老师 "。
/ 把 " 锤子 " 交到每个人的手上 /
就在上周，Karpathy 重新启用了注册了多年但从没用过的 YouTube " 小号 "，发布了一条长达 2 个半小时的教学视频，题为《手把手带你入门神经网络和反向传播：构建 micrograd"》。
他表示，关于反向传播（神经网络的基础算法之一）以及构建神经网络的工作，这条视频是目前为止门槛最低、最全面的讲解。他还宣称，只要观众对 Python 有基础了解，并且还记得一点高中水平的微积分，就可以轻松入门：
" 如果看完还不了解反向传播和神经网络的核心，那我就直播吃鞋 "



图片来源：Andrej Karpathy
通过这门课，Karpathy 用基本的 Python 编程方法，以及他自己开发的 Micrograd 引擎，带着大家完成神经网络构建、编写损失函数、手动调优等基础操作，并且在过程中对反向传播等关键知识进行了系统的介绍。
至于授课风格，Karpathy 也是非常理解当代年轻工程师在写代码时候的烦恼，贯彻了 "talk is cheap, show me the code" 的理念：整堂课的大部分时间基本就是在直播自己的屏幕画面，手把手教大家写代码 ……



图片来源：Andrej Karpathy / YouTube
Karpathy 曾在多伦多大学、斯坦福大学就读，师从的 Geoff Hinton、李飞飞教授都是当今深度学习的领军人物。他也是 OpenAI 的创始成员之一，曾在早期的谷歌大脑、Google Research、DeepMind 等知名研究机构实习。
作为深度学习领域的知名学者和从业者，Karpathy 出镜相当频繁，经常在 CVPR、NeurIPS 等知名学术会议的上发表论文和演讲，还曾作为英伟达 Geforce 技术大会主演讲嘉宾。
颇为搞笑的是，在 2014 年，他曾经以自己的 " 血肉之躯 "，在 ImageNet 挑战赛上对一个卷积神经网络发起了挑战，并且获得了胜利，因此被学术界和行业里戏称为 ImageNet 的 " 人类基准 " ( the human benchmark of ImageNet ) 。



图片来源：Andrej Karpathy
然而很多人对 Karpathy 印象最深，最感激他的，反而是他在博士就读期间做的一件大善事：

创办了 CS231n，斯坦福第一门面向本科生的深度学习课程。




图片来源：Andrej Karpathy、斯坦福大学
CS231n 以计算机视觉为主要方向，深入浅出探讨深度学习技术，创课第一年就有总计 150 名学生报名，到了 2016 年翻了一倍，次年又再翻了一倍。目前这门课已经成为了斯坦福校内所有院系里报名人数最多、最受欢迎的课程之一。课程的 TA 都有 16 人；和 Karpathy 一起创课的李飞飞，至今仍在担任主讲人。
更重要的是，从创课的第二年，Karpathy 就把 CS231n 的授课视频、讲义、作业、笔记等大量相关资源全部公开，放在互联网上。不止是报名的学生，就算没报名上的、其它院校的学生，乃至于世界上的任何人，只要有网络，就可以免费上课。

再往前推五年，随着 Udacity、Coursera 等公司的成立，" 慕课 " ( MOOC ) 的理念早已广为人知。在这些知名公司的平台上，也有着不少计算机科学和机器学习方面的课程。

然而 CS231n 的横空问世，特别是它更加先进和实时的课程设计，以及没有任何商业味道的开放属性，使其成为了前沿深度学习技术向全社会普及的关键节点。




图片来源：Andrej Karpathy、斯坦福大学
关于为何要免费开放课程，Karpathy 曾经表示，自己在当时非常强烈地感觉到深度学习将会成为具有巨大革命性意义的技术，有望在社会的各方各面得到广泛运用，就像一把好用的锤子。
但是在当年，很多人连锤子都 " 买不起 "，更别提了解它的能力和掌握它的用法——是他决定站出来，做这个给大家免费发放锤子的人。
这门课最有意思的体验，在于它没有一个提前定好、绝不偏离的课程设置：
" 别的科目上课，讲的可能是 19 世纪的知识。在我们的课上，经常今天讲的论文是上周，甚至昨天刚刚发表的，"Karpathy 说到，" 我们讲的不是核物理，不是上太空，你只需要基本的微积分和代数知识，就可以听懂我们的课程，了解和掌握当下正在发生的新事物。每次的课程都在改变，感受非常不一样，但是大家都非常享受这样的体验。"
由于创课当时 Karpathy 还是一位博士生，当老师确实占用了他大量的时间和精力。每年教两次，每次四个月，一到上课的那段时间，他都不得不开动 120% 的精力，甚至博士学位的相关研究工作都不得不停摆。
" 尽管如此，我还是觉得这门课是我读博期间的高光时刻。"



Andrej Karpathy 图片来源本人
如果简单浏览一遍 Karpathy 的履历，一般人可能不会以为他是一个教学型的学者。但实际上他真的特别热衷于传道授业解惑，特别是给大家分享他本人的学习结果，和掌握技能的独特经验。
他曾经以博士生过来人的身份写过一些经验谈，发表在斯坦福官网以及个人播客上。比如对于本科生备战考试，他真诚告诫大家 " 熬夜不值 "、" 多找多换 TA"、" 备考初期自学，考前多交流 " 等。而对于纠结是否读博的学生，他专门写过一篇 " 博士生存指南 " 万字文，从前期准备、导师选择、研究课题、著述发表、学术演讲等诸多方面，分享了大量的指导思想和具体经验 ……



图片来源：Andrej Karpathy
如果你以为他只讲深度学习，那就太小看人家了：
对于非本专业的内容，他也会用自己的业余时间，做长期、系统性的研究和测试，然后写成文章。比如他在 GitHub 账号上曾经写过一篇" 生物黑客 "的文章，分享了自己在体育锻炼、断食、血液检测、体能药物、睡眠研究等方面做过的测试经验。
少为人知的是，Karpathy 还是一个专业的魔方老师 ……
在解魔方这件事上他有一个 alter ego，名叫 Badmephisto。他有一个专门讲授魔方知识的网站，做过一个教你如何解魔方的 app（iPhone & Android），还在 YouTube 上传了大量教学视频，总共有 900 多万观看量 ……
老哥可真是上课上瘾啊 ……





Karpathy 在谷歌实习期间内部渠道搞到了一台 Google Glass，录制了这段在自行车上解魔方的视频 动图来源：Andrej Karpathy
/ AI 大佬都爱讲课 /
值得注意的是，不止 Karpathy，深度学习 /AI 领域的大佬级别人物，都特别爱 " 讲课 "。
这么说确实有点废话文学了 …… 因为这些大佬当中，很多人本身就在知名院校有着常规或终身教职，一部分进入工业界的人士，之前也有很强学术和教学背景。但他们即使现在在工业界身居高位忙到不行，仍然对深度学习知识的传播和普及充满热情。
比如 Karpathy 在多伦多大学的老师 Geoff Hinton 教授。他是反向传播等深度学习关键算法的发明人，深度学习领域的 " 三剑客 " 之一，图灵奖获得者。有这样一种对于他的评价：当其他人还在质疑机器 / 深度学习的时候，Hinton 在多伦多一边默默地教书，一边持续着研究推进，终于以一己之力复活了机器学习研究和行业，堪称深度学习之父。
自从创立的 DNNResearch 公司于 2013 年被谷歌收购，Hinton 在谷歌一直有职位，但实际上他的主要研究工作还是在多伦多大学的计算机科学系。虽然近年来他已经不怎么讲常规课程了，但他仍然会花很多时间和精力，指导学生研究和参与论文写作。并且，他也参与录制了一些深度学习神经网络方面的免费网课内容。



截图来源：Coursera
" 三剑客 " 的另外两位成员 Yoshua Benjio 和 Yann LeCun，也有各自的教职。
Bengio 是蒙特利尔大学教授，也创办了 Mila 人工智能研究所并担任科学总监。他至今仍在学校和 Mila 研究所带领和指导着大量的研究生、博士生和博士后研究员。他经常参加各种外部机构的演讲和授课邀请，之后的视频也都会公开在网上。
LeCun 在 Meta 担任副总裁兼首席 AI 科学家，还是纽约大学电气和计算机工程系教授。他曾经诚恳地表示过，自己可能没有办法及时查收和回复学校邮箱和电话留言。不过，至少去年他还在纽约大学的数据科学中心 ( NYU-CDS ) 教深度学习的相关课程。另外因为疫情等原因，NYU-CDS 的所有由 LeCun 教授的深度学习课程，在 2020 年也都完全线上化并免费公开了：



视线转回国内，前几年离职回校教书的原腾讯 AI Lab 主任张潼，也是一个有趣的例子。他是机器学习领域知名的国际专家，曾经在美国大学拿到终身教职，在 IBM 研究院、雅虎研究院、百度 IDL 担任研究和管理方面的高级别职位，还是 ICML、NIPS 等一系列国际顶级学术会议的主席或领域主席。
然而可能是因为更享受教书和学术界的环境，张潼在 2019 年初离开了腾讯 AI Lab，来到了港科大数学系和计算机科学工程系，直接就拿到了专为特别杰出且成就非凡的学者才设立的讲席教授 ( chair professor ) 资格。
当然他也没有完全离开业界，在港科大和创新工场之间牵线搭桥，帮助两家机构成立了联合实验室，专注于基础科研。现在的他，在港科大做研究、带学生，这一学期还教了 COMP6211E 和 MATH6450J 两个和机器学习优化相关的课程。



这些热爱传道授业解惑的顶尖学者让我们看到：即便在高度商业化的今天，一项技术、一种知识，仍然可以通过教育这种古典的形式，加上 " 免费网课 " 的创新手段，来完成更高效、更具公益性的普及。
这样的大佬们，请多来点，不要停。

好为人师

环境育人