2022年7月，DALL·E发布；
2022年11月，ChatGPT发布；
2023年3月，GPT-4发布；
2023年3月，微软Microsoft 365全面引入生成式AI助手Copilot；
2023年3月，Google人工智能聊天机器人Bard发布；
2022年8月，API价格降低66%；
2022年12月，Embeddings成本降低500倍成本，仍保持最先进水平；
2023年3月，ChatGPT API价格降低10倍，同时保持最先进水平；
2023年3月，Whisper API开放
……
过去几个月，AI领域激起全世界的巨浪。摩尔定律加速，更快的迭代速度，带来更智能、更便宜的AI基础设施。上周，微软研究院发布154页研究，称在GPT-4身上看到AGI的雏形，GPT-4在多个领域展现出的广泛能力表现出超出人类水平的性能。
引发涨潮的引力来自Open AI，人类似乎站在一个转变的临界点，面对一个从未想象过的指数级增长的奇迹，“起势前，觉得是平的，起势后，觉得是垂直的”，其创始人Sam Altman说，AI是少有的被严重炒作之后，还被严重低估的东西。
很多人相信，在我们有生之年，人类的集体智慧将在很多数量级上逊色于我们构建并大规模部署的人工智能系统中的超级智能。
令人兴奋的是，我们已知和尚未知的无数应用将赋予人类创造、繁荣、摆脱当今世界普遍存在的贫困和苦难的能力，并在那个古老、全人类的幸福追求中获得成功。令人恐惧的是，具有超智能的通用人工智能（AGI）也很有可能具掌控摧毁人类文明的力量。
像乔治·奥威尔的《1984》中的极权主义那样扼杀人类的精神？或者如赫胥黎《美丽新世界》中的快乐燃料般让人类成为被控制的行尸走肉？或者迎来一个所有人都真正富有、充实、快乐、自在的大同社会？
Lex Fridman是一名麻省理工学院的研究科学家，人工智能研究员，也主持同名播客。他就此制作了一系列与领导者、工程师和哲学家的对话节目，这些对话涉及权力、公司、制定权力制衡制度的机构和政治体系、关于分布式经济系统，激励这种权力的安全性和人类适应性，以及关于部署AGI的工程师和领导者的心理，以及人类本性的历史：我们在大规模变革中展现善恶的能力。
本周，他发布了与Sam Altman的对话，一个站在Open AI背后、加速社会疯狂向前的男人。Sam Altman对AI带来的社会表现出超出一般人的冷静和无限的乐观主义，也许这正是他怀着赤诚之心热烈推动GPT不断升级迭代的动力，而Lex Fridman则表达了更多的担忧。源码资本将对话重新编译，以飨读者。愿我们在大风大浪中，更早看到灯塔，也能避开险滩。
关于GPT-4
Lex Fridman：从高维度来说，GPT-4是什么？它是如何工作的，最令人惊叹的地方是什么？
Sam Altman：这是一个人类在未来会回头翻看的AI系统。我们会说，这是一个非常早期的人工智能，它运行缓慢、有错误，很多事情做得不好。不过最早的计算机也是如此，但它们依然指明了一条通向我们生活中非常重要的东西的道路，尽管这需要几十年的演变。
Lex Fridman：你认为这是一个关键时刻吗？从现在开始的未来50年里，当人们回顾早期版本的AI时，GPT的所有版本中的哪一个真正具有突破性？在关于人工智能历史的维基百科页面上，人们会提到哪一个版本的GPT？
Sam Altman：这是一个好问题。我认为进步是一个持续的指数过程。就像我们不能说这是AI从无到有的那一刻。我很难确定一个具体的事物。我认为这是一个非常连续的曲线。历史书籍会写关于GPT-1、GPT-2、GPT-3、GPT-4还是GPT-7？这取决于他们如何决定。我不知道。如果我一定要选一个的话，我会选择ChatGPT。关键的并不是底层模型，而是它的可用性，包括RLHF（Reinforcement Learning from Human Feedback）和与之交互的接口。
Lex Fridman：ChatGPT是什么？RLHF是什么？是什么让ChatGPT如此惊艳？
Sam Altman：我们在大量文本数据上训练这些模型。在这个过程中，它们学到了一些底层的知识，它们可以做很多惊人的事情。其实当我们第一次使用被叫做基本模型的模型完成训练后，它在评估中表现得非常好，可以通过测试，可以做很多事情，有很多知识，但它并不是很有用，或者说，至少不容易使用。而rlhf是我们利用人类反馈来做调整的方法，最简单的版本就是展示两个输出，询问哪一个更好，哪一个人类读者更喜欢，然后用强化学习将其反馈到模型中。这个过程用相对较少的数据就能让模型变得更有用。所以rlhf让模型与人类期望的目标保持一致。
Lex Fridman：所以有一个巨大的语言模型，在一个巨大的数据集上进行训练，以创建这种包含在互联网中的背景智慧知识。然后，通过这个过程，在上面加入一点点人类的引导，使它看起来更棒。
Sam Altman：也许仅仅是因为它更容易使用。它更容易让你得到你想要的。你第一次就能做对更多的事情。易用性很重要，即使基本功能以前就存在。
Lex Fridman：以及一种感觉，就像它理解了你在问什么问题，或者感觉你们在同一个频道上。
Sam Altman：它在努力帮助你。
Lex Fridman：这是对齐（alignment）的感觉。我的意思是，这可以是一个更为技术性的术语。这并不需要太多数据，并不需要太多人类监督。
Sam Altman：公平地说，我们对这部分科学的理解要比我们对创建这些大型预训练模型的科学理解要早得多。
Lex Fridman：这太有趣了。人类引导的科学，了解如何使其可用，如何使其明智，如何使其道德，如何使其与我们认为重要的所有事物保持一致。这取决于哪些人以及如何纳入人类反馈的过程？你在问人们什么？是两个问题吗？你是否让他们对事物进行排名？你要求人们关注哪些方面？真的很有趣。它的训练数据集是什么？你能大致谈谈这个巨大的预训练数据集的庞大程度吗？
Sam Altman：我们从许多不同的来源整合这些数据，付出了巨大的努力。包括很多开源信息数据库、通过合作关系获得的资料、还有互联网上的东西。我们的很多工作都是在构建一个巨大的数据集。
Lex Fridman：其中有多少是梗？
Sam Altman：并不多。也许如果多一点会更有趣。
Lex Fridman：所以其中一些是来自Reddit网站，有一些资源是大量的报纸，还有普通的网站。
Sam Altman：世界上有很多内容，比大多数人想象的还要多。
Lex Fridman：内容实在太多了，我们的任务不是去寻找更多，而是去筛选。这其中有“魔法”吗？因为有几个问题需要解决，比如说这个神经网络的算法设计、它的大小、数据的选择，还有与人类反馈相关的强化学习、人类监督方面等等。
Sam Altman：要做出这个最终产品，比如GPT-4，你需要把所有这些部分组合在一起，然后我们需要在每个阶段找出新的想法或者高水平地执行现有的想法。这其中包含了很多工作。
Lex Fridman：
扫码关注
QQ联系
微信好友
关注微博