41推出自动驾驶系统特斯拉，2014—2016年
弗朗茨·冯·霍兹豪森与早期版本的Robotaxi
雷达
马斯克曾与拉里·佩奇讨论过特斯拉和谷歌合作打造自动驾驶系统的可能性，但他们在人工智能问题上的失和促使马斯克加快了特斯拉自行建立这一系统的计划。
谷歌的自动驾驶项目最终定名为Waymo，它使用了一种激光雷达设备，名为“光学雷达”（LiDAR），也就是“光探测与测距”（lightdetectionandranging）的首字母缩写。马斯克反对使用光学雷达和其他类似雷达的仪器，他坚持认为自动驾驶系统应该只使用摄像头的视觉数据。这也是一个要用第一性原理来思考的案例：人类开车时只采集视觉数据，所以机器开车也应该如此。而且，这里面还有成本问题。同过去其他项目一样，马斯克不仅关注产品设计，也关注大规模量产的问题。“谷歌采取的方法，问题就在于传感器系统太贵了。”马斯克在2013年这样说，“最好能有一个光学系统，主要就是一个内置软件的照相机，它能通过观察事物弄清楚车辆周围的情况。”
在接下来的10年里，马斯克与他的工程师们展开了一场拉锯战，其中许多人都希望在特斯拉的自动驾驶车辆中加入某种形式的雷达。来自孟买的年轻工程师达瓦尔·史洛夫2014年从卡内基·梅隆大学毕业后加入了特斯拉的自动驾驶团队，他还记得自己与马斯克的第一次会面。“那时我们在车上装了雷达硬件，我们告诉埃隆，从安全角度来讲，用上它是最好的。”史洛夫说，“他同意让我们保留雷达，但很明显，他认为我们最终应该做到只依靠摄像头的视觉信息就可以完成自动驾驶的数据采集。”
到2015年，马斯克每周都要花几个小时与自动驾驶团队一起工作。他从位于洛杉矶贝莱尔社区的家中开车前往机场附近的SpaceX总部，然后在总部讨论自动驾驶系统遇到的问题。特斯拉的高级副总裁德鲁·巴格里诺说：“每次会议开始时，埃隆都会说：‘为什么不能让车自行从我家开到公司呢？’”
结果马斯克和特斯拉团队有时候就像无能的警察一样笨拙，折腾半天却一无所获。405号州际公路上有一个弯道，因为车道标记已经褪色，总是给马斯克惹事，他的自动辅助驾驶系统会把车开出车道，差点儿撞上对面开过来的汽车，所以马斯克到办公室后无数次大发雷霆。他不停地提要求：“把程序给我搞好。”结果团队试图改进自动驾驶软件，一弄就是好几个月。
无奈之下，萨姆·特勒和同事们想出了一个更简单的解决方案：要求交通部门重新粉刷该路段的车道线。他们没有得到回应，就想出了一个更大胆的计划：自己租一台划线机，凌晨3点开出去，封闭高速公路入口一个小时，重新画好车道线。当时同事们已经看好一台道路划线机，与此同时，一个同事终于与交通部门的一位工作人员取得了联系，此人是马斯克的粉丝。他同意重新画线，条件是他和部门的几个同事想参观一下SpaceX。特勒带他们参观了公司，双方合影留念，随后车道线被粉刷一新。此后，马斯克的自动辅助驾驶系统就能很好地沿着车道线驾驶车辆了。
巴格里诺是希望继续使用雷达来为摄像头视觉做补充的特斯拉工程师之一，他说：“在埃隆的目标和可能达到的水平之间存在巨大的差距，他对这些挑战的认识还不够充分。”有一次，巴格里诺的团队分析了自动驾驶系统在一些情况下所需的距离感知：车辆左右分别要“看”到多远的距离，才能知道它什么时候可以安全通过。“我们想同埃隆谈谈这些，来明确传感器都需要做些什么。”巴格里诺说，“但讨论这些真的挺费劲的，因为他反复强调这样一个事实：人类只有两只眼睛，照样可以开车。但问题是人眼下面有个脖子，脖子可以转动，眼睛就可以看到四面八方了。”
马斯克终于暂时同意了雷达方案，他同意让每辆新的ModelS配备8个摄像头、12个超声波传感器，以及一个能透过雨、雾感知前方道路情况的雷达。特斯拉网站在2016年宣布：“这套系统提供了驾驶员无法全面感知到的世界景观，它可以同时看到各个方向，可以感知到的光的波长范围远远超出人类感官。”但是即便马斯克做出了这一让步，很明显，他也不会放弃推动只采用摄像头的纯视觉感知技术路线。
事故
马斯克在追求自动驾驶车辆的理念时，固执地一再强调特斯拉的自动驾驶能力。这样的宣传有时被人误解，一些司机真的以为坐上特斯拉就不用多花心思留意路况了。马斯克在2016年做出重大承诺时，特斯拉的摄像头供应商Mobileye决定与特斯拉终止合作，Mobileye的董事长表示特斯拉正在“挑战交通安全的极限”。
过去没有自动驾驶系统时，人类开车会遭遇致命的事故，此时有了自动驾驶系统也无法避免这一点。马斯克坚持认为，评判该系统的标准不应该是它能否杜绝所有事故，而应该看它能否降低事故发生率。这个立场在理性上是站得住脚的，但它忽略了一个感性的现实因素：1个被自动驾驶系统害死的人和100个死于司机操作不当的人，前者更令人不寒而栗。
据报道，在美国，涉及自动驾驶的第一起致命事故发生在2016年5月。在佛罗里达州，一辆半挂式卡车在特斯拉面前左转，特斯拉随即撞了上去，司机在事故中身亡。特斯拉在一份声明中说：“在光线强烈的情况下，自动辅助驾驶系统和司机都没有注意到半挂车白色的一面，所以没有采取刹车措施。”调查人员在残骸中发现的证据表明，在车祸发生时，司机正在仪表盘上方支起的电脑上观看《哈利·波特》系列电影。美国国家运输安全委员会发现“司机在车祸发生前无意对特斯拉实施完全控制”。特斯拉夸大了它的自动驾驶能力，司机想当然地以为他不必再集中精力。有报道称，2016年早些时候，在中国发生了另一起严重事故，事故车辆可能处于自动驾驶模式。
佛罗里达事故的消息传出时，马斯克正在南非，他得知消息后立即飞回美国，但没有发表公开声明。他有工程师般的头脑，但对人之常情知之甚少，他无法理解每年有130多万人死于交通事故，为什么特斯拉自动驾驶车辆造成一两起死亡事故就会引起公众的强烈不满。没有人统计自动驾驶预防了多少事故的发生、挽救了多少人的生命，也没有人评估过使用自动驾驶系统是不是比人类司机开车更安全。
在2016年10月一场与记者的电话会议上，马斯克被问到的第一个问题就与这两起致死事故有关，所以他很生气。如果记者的报道最后让人们不愿意使用自动驾驶系统，或者会导致监管机构不批准这类系统上路，“那么你们就是在杀人”。他停顿了一下，然后喊道：“下一个问题。”
承诺
马斯克的宏伟愿景是让特斯拉打造出一辆在没有任何人类干预的情况下能够完全自动驾驶的车辆，然而这个愿景有时候就像水中月、镜中花。他相信这一愿景的实现将改变我们的日常生活，会让特斯拉成为全球最有价值的公司。特斯拉开始称之为“完全自动驾驶”（FullSelf-Driving,FSD）的技术，按照马斯克的承诺，它不仅适用于高速公路，也适用于有行人、骑行者的城市街道，以及复杂的交叉路口。
当年想让火箭飞往火星，他就对规划完成的工作进度做出过荒谬的预测，这一次也像过去一样，他痴迷的工作任务会驱使他做出不切实际的计划安排。在2016年10月与记者的对话中，他宣称到2017年年底，特斯拉电动车就能从洛杉矶开到纽约，“其间不需要用手触摸方向盘”。“如果你想让车自己开回来，就在你的手机上点一下‘召唤’（Summon）。”他说，“即便你在美国这头儿，车在美国那头儿，它最终也能回到你身边。”
本来这种说法当个奇思妙想听一听就过去了，但马斯克真的开始推动特斯拉Model3和ModelY的工程师设计出一个既没有方向盘也没有加速踏板和制动踏板的车辆版本。冯·霍兹豪森选择对这一命令“阳奉阴违”。从2016年年底开始，每当马斯克走过设计工作室，他总能看到Robotaxi的图片和实物模型。冯·霍兹豪森说：“他相信等我们把ModelY投入量产，它将是一款能完全自动驾驶的Robotaxi。”
几乎每过一年，马斯克都会再预测一遍：完全自动驾驶还有一年左右就会实现。克里斯·安德森在2017年5月的TED演讲中问他：“我们什么时候能买到一辆你做出来的车？就是那种手不用碰方向盘、在车上睡着大觉、醒来发现已经到目的地的车。”马斯克回答：“大约还需要两年。”在2018年年底的代码大会上，面对科技记者卡拉·斯维什尔的采访，他说特斯拉“有望在明年做到这件事”。2019年年初，他又着重强调了一遍。“我认为我们将在今年实现完整的完全自动驾驶。”他在与方舟投资一起录制的播客中宣布，“我想说我对此深信不疑，这一点很确定，没什么好怀疑的。”
“如果他松口承认实现这个需要很长时间，”冯·霍兹豪森在2022年年底说，“那么就没人会围着这件事忙活，我们也不会设计出一款自动驾驶车辆。”在当年与分析师的财报电话会议上，马斯克承认，这个过程比他在2016年预期的要艰难。“最后归根到底，”他说，“要搞定完全自动驾驶，实际上必须先解决现实世界的人工智能问题。”