Ронан Фэрроу о «модели обмана» Сэма Альтмана и «культуре хайпа» Кремниевой долины

Поэтому мы пригласили Фэрроу на «Стандартное тихоокеанское время», чтобы рассказать о том, что он обнаружил, и о том, что это значит для тех из нас, кто живет в том же городе, что и человек, который может или не может строить то, что положит конец миру, каким мы его знаем.

Вот шесть открытий из дискуссии, которая запомнилась нам.

OpenAI использует историю Фэрроу против Илона Маска в суде. По словам Фэрроу, после публикации статьи OpenAI направила письмо двум генеральным прокурорам, в котором говорилось, что они доверяют описанию истории о том, как была основана компания и что произошло после того, как Альтман был отстранен от должности, а затем восстановлен в должности. и ссылаются на это в свою защиту против иска Маска против компании, в котором утверждается, что компания отказалась от своей первоначальной некоммерческой миссии.

Когда Альтмана после увольнения уличили во лжи, он, как сообщается, сказал совету директоров: «Я не могу изменить свою личность». Фэрроу сообщает, что это был ответ Альтмана на звонок, в котором правление требовало от него признать практику обмана и угождения людям. Позже он сказал Фэрроу, что, возможно, имел в виду свою способность объединять разрозненные фракции.

Сообщается, что Альтман признал, что более правдивый ИИ потеряет свою «магию». Фэрроу соединил точки между хорошо документированными тенденциями Альтмана угождать людям, а также его свободным отношением к истине, а также подхалимством и галлюцинациями, заложенными в ChatGPT.

Это не только OpenAI. Фэрроу говорит, что Anthropic также смягчила свои обязательства по безопасности. Многие люди в этом городе относятся к Антропику как к ответственному взрослому в комнате. Взгляд Фэрроу после 18 месяцев работы в мире искусственного интеллекта: Динамика «гонки ко дну» характерна для всей отрасли.

Фэрроу убежден, что риски, связанные с ИИ, не наступят — они уже здесь. Фэрроу меньше беспокоит будущий апокалипсис ИИ, чем те изменения в реальном мире, которые уже происходят. Он говорит о происходящих сейчас экономических потрясениях, документально подтвержденной роли ИИ в кризисах психического здоровья и о том, что технологии выходят из-под контроля. «Это не прогноз», — сказал он. «Это происходит».

Выросший под пристальным вниманием общественности, Фэрроу рассказывает о власти. Мы с Фэрроу обсуждаем одну общую вещь: знаменитых родителей. Мой отец — актер Ричард Дрейфус, а Фэрроу — сын Мии Фэрроу и Вуди Аллена. Он рассказывает о том, как «недобросовестные» репортажи, которые его семья пережила на протяжении многих лет, помогают ему связаться с источниками, которые оказались под пристальным вниманием средств массовой информации.

Посмотрите полное интервью здесь или на YouTube или слушайте «PST», где бы вы ни находились.

Прочтите слегка отредактированную и сокращенную версию нашего разговора ниже.

Эмили Дрейфусс: Недавно вы вместе с вашим соавтором Эндрю Марантцем опубликовали в журнале The New Yorker потрясающую историю о Сэме Альтмане. После того, как ваша история была опубликована на прошлой неделе, на дом Альтмана здесь, в Сан-Франциско, было совершено два нападения.

Ранее на этой неделе, когда Альтман ответил на вашу статью, он назвал ее зажигательной и сказал, что это может сделать его ситуацию еще более опасной. Вы думаете, это справедливо? Дошли ли мы до того момента, когда людям настолько надоели эти бароны искусственного интеллекта, что они выносят свой гнев на улицы?

Ронан Фэрроу: Безусловно, на национальном уровне наступил момент разочарования по поводу предполагаемого кризиса легитимности в руководстве ИИ. Это связано с законными вопросами о легитимности руководства и отсутствии барьеров в отрасли, которая, благодаря допуску в нее ключевых людей, может так остро повлиять на все наше будущее, что имеет последствия для войны, химического оружия, дезинформации, экономики и которая, даже по самым консервативным экономическим прогнозам, может поставить под угрозу миллионы и миллионы рабочих мест.

Понятно, что ситуация приближается к тому переломному моменту, о котором вы говорите. Это было до этой конкретной истории. Само собой разумеется, что ни в коем случае не должно быть угроз вандализма или насилия в отношении кого-либо из вовлеченных в это лиц. Я хочу, чтобы все эти люди были в безопасности. Я хочу, чтобы Сэм Альтман и его семья, знаете ли, совсем не боялись.

Важно отметить, что эта история была тщательно проверена фактами, и OpenAI не оспаривает основные факты. Отчетность здесь надежна. Критическая журналистика не виновата в таком моменте национальной тревоги или в такого рода нападках. Было бы неверным утверждать, что существует какая-либо причинно-следственная связь между этим сообщением и бросанием бутылки.

Существует множество опросов, показывающих, что у большинства американцев теперь больше вопросов и больше понимания недостатков этой технологии, чем преимуществ.

Это основано на очень серьезных рисках, связанных с этой технологией. Риски, кстати, одним из самых паникёров которых был Сэм Альтман. Язык «это может убить нас всех»; «Это более мощно, чем язык ядерного оружия». Признание о потере рабочих мест.

Когда мы говорим об уменьшении беспокойства, факт заключается в том, что основа этих беспокойств на самом деле существует вокруг технологий. И когда дело доходит до вопроса о том, насколько обречена эта риторика и тревожит ли она людей, Сэм Альтман построил компанию на такой обреченной риторике.

Давайте поговорим о том, что вы узнали за 18 месяцев, рассказывая об этой истории. Вывод, который многие сделали из вашей статьи, заключается в том, что Сэм Альтман кажется лжецом. Скажите, это справедливая оценка?

Мы поговорили со многими людьми и просмотрели столько внутренних документов, где были жалобы и тревоги по поводу этой предполагаемой черты. Мы изучаем и изучаем различные точки зрения на вопрос, который вы задаете.

Есть партии, с которыми мы разговариваем, которые говорят: «Это настолько навязчивая ложь, что она неэффективна для любого руководителя крупной компании».

Есть люди, которые говорят, что это слишком большая ответственность только с точки зрения бизнеса. И я говорю о крупных инвесторах, людях, заинтересованных в OpenAI, людях, связанных с Альтманом, которые хотят видеть его успех и обеспокоены.

Есть и противоположный конец спектра, где люди говорят, что эта технология требует уникального уровня целостности. И эта предполагаемая черта серийного обмана не только практически несостоятельна, но и действительно опасна.

Таким образом, мы внимательно изучаем обе эти точки зрения, а также учитываем мнения защитников, всех, с кем сам Сэм хотел, чтобы мы поговорили и выслушали. И я думаю, что причина, по которой основные факты не оспариваются, заключается в том, что это действительно справедливый и взвешенный материал. Ответ на вопрос о достоверности читатель может решить сам.

Что привлекло вас в Сэме Альтмане как в персонаже?

Я только что сделал большой репортаж об Илоне Маске, и в этом материале появилась картина магнатов современной эпохи, особенно в Кремниевой долине, приобретающих сверхправительственную власть. В случае Илона это произошло благодаря его технологии Starlink. Он буквально принимал материальные решения по исходу войны на Украине и перекрывал связь на передовой. Так что это было для меня увлекательно. Я начал рассматривать ИИ как абсолютную крайнюю крайность этого дисбаланса.

Мой подход к этому, знаете ли, заключался не в том, что ложь Сэма в индивидуальном порядке меня очень тревожит. Это потому, что это представляет собой более широкий кризис честности в руководстве этой технологией и отношениях OpenAI с окружающими политическими системами.

OpenAI была создана как некоммерческая организация, которая должна была обеспечивать безопасный ИИ был доступен каждому. И где-то по пути она, кажется, стала компанией, которую заботят только деньги и власть. Является ли теперь очевидной правдой то, что OpenAI как бы отказалась от своих прежних идеалистических целей?

Первоначально идея сбора средств звучала так: «Эта технология более опасна, чем ядерное оружие». Сэм говорит это Илону Маску. И Илон сам был в тот момент обреченным. И речь шла о том, чтобы апеллировать к этой чувствительности.

С момента разработки чат-ботов, ориентированных на потребителя, и стремительного развития искусственного интеллекта, это превратилось в гонку, которую OpenAI в своих первоначальных обязательствах стремилась предотвратить.

В статье есть момент, когда внутренний осведомитель, парень по имени Ян Лейке, пишет правлению по электронной почте и сообщает: «OpenAI сходит с рельсов в выполнении своей миссии» и говорит о риске гонки ко дну, говоря, что проблема не только в OpenAI. Это учит Google и других конкурентов тому, что им тоже следует срезать углы и участвовать в гонках.

Для вашего репортажа вы много раз разговаривали с Сэмом Альтманом, и он описал [in the piece] некоторые считают его мастером-манипулятором. Каково было брать у него интервью? Было ли у вас в какой-то момент ощущение, что он пытается использовать на вас джедайские трюки разума?

Конечно. Черты Сэма Альтмана, о которых так много людей говорят в этой статье, временами проявлялись в обширных разговорах, которые я вел с ним. Думаю, я начал понимать Сэма довольно глубоко. Я испытываю огромную симпатию к Сэму во многих отношениях. И я чувствую огромное бремя, знаете ли, справедливости и правильных поступков со стороны Сэма…

— а откуда у вас чувство симпатии?

Сэм объясняет ложь тем, что особенно в начале своей карьеры у него была склонность отвлекать конфликты и угождать людям, что, как он признает, доставляло ему проблемы.

Я хочу верить в способность людей расти и меняться. Когда я сообщаю о ком-то подобном, я хочу дать им презумпцию невиновности и быть максимально щедрым. Я с самого начала очень откровенно сказал Сэму: «Это статья, в которой анализируется самая жесткая критика в ваш адрес. Читать будет неинтересно». Так что он участвовал, зная это.

Его нужно было убеждать? Он колебался?

Я не буду говорить о его душевном состоянии, кроме того, что я процитировал в статье. Я скажу, что каждый раз, когда у вас есть такие репортажи, они очень напряжены и могут быть очень воинственными и спорными. Очень часто туда и обратно летает множество угроз.

Так что это утомительный и осторожный процесс, в котором вам просто приходится иметь дело с нестабильностью, которая может быть присуща этим моментам. Какими бы спорными ни были разговоры, Сэм Альтман все же принимал активное участие — снова и снова. Я в конечном итоге благодарен, потому что, когда вы преодолеваете любые враждебные действия, вы получаете то, что кто-то больше раскрывает свою точку зрения.

У меня были разговоры, в которых я прямо пытался прорваться на личном уровне. Знаете: «Каков ваш индивидуальный опыт, когда все вокруг вас говорят это?» Знаете, это было бы для меня разрушительно. «Как ты это переносишь?» Вы говорите об этом в терапии?» Так что я действительно пытался прийти к максимальному пониманию, которое, надеюсь, также придает очень трезвый, ровный тон пьесе.

Это фактически подводит меня к тому, о чем я хотел с вами поговорить: о вашем статусе ребенка Голливуда. Мне уже много лет не терпится спросить тебя об этом, потому что мой отец — знаменитый актер Ричард Дрейфус. Это может быть новостью для всех, кто слушает подкаст —

Да, я этого не знал.

Ну, я очень конфиденциальен в этом. Но когда я посмотрел ваш знаковый репортаж о движении #MeToo и о том, как ваше прошлое, по-видимому, повлияло на то, как вы смогли общаться с людьми в этой истории, это было для меня действительно показательным. Я подумал, вот ты настолько искренен в своем опыте.

Как ваш опыт власти и славы помогает вам понимать влиятельных людей и, возможно, сочувствовать им в такие моменты?

Это один из основных выводов из моего болезненного опыта и того, что мое грязное белье в моей семье так болезненно выставлено напоказ. Меня преследовала недобросовестная пресса, особенно когда я делал репортажи, которые в конечном итоге способствовали тому, что National Inquirer и ее материнская компания предстали перед прокуратурой прямо из-за выплат Трампа за молчание. Меня действительно избивали самым недобросовестным образом. Это страшно. И все, на что вы действительно можете рассчитывать, — это добросовестность и добросовестность отчетов, которые вы хотели бы получать. Так что я знаю разницу между этими двумя вещами.

Есть способы, в которых я нахожусь в роскошном положении. Я могу выбирать темы и тратить на это время. Мне безмерно повезло, но в некотором смысле это и сложнее. Я всегда громоотвод. Я всегда легкая мишень. Когда люди, о которых я сообщаю, злятся на [something]им гораздо легче сделать это личным. Лучшая защита, которая у меня есть, — это просто убедиться, что отчеты являются безупречно добросовестными и справедливыми.

Ваши репортажи рисуют картину Сэма Альтмана, который не знает правды. Мы также слышим о многих людях, которые знали это всегда. Я имею в виду, что Аарон Шварц поднял этот вопрос в 2013 году.

Что это говорит нам о нынешней культуре Кремниевой долины? Имеем ли мы дело с культурой, которая допускает свободное отношение к истине?

Абсолютно. Что интересно в этой статье, так это то, что у вас есть базовое понимание того, что даже в глазах защитников Сэма и даже в глазах самого Сэма Альтмана это [lying] была проблема. И реакция вокруг этого не такая: «Это недопустимо для людей, находящихся на самом влиятельном положении и создающих самую мощную и опасную технологию за всю историю».

Вместо этого: «Разве не этим занимаются руководители Кремниевой долины?» Разве это не быть основателем? Разве не это нужно для создания стартапа?»

Есть звонок, о котором мы сообщаем после [Altman] уволен, и правление требует от него признать факт обмана. И один из его ответов, по словам людей, присутствовавших на звонке, был: «Я не могу изменить свою личность». А сегодня он сказал: «Я не совсем помню [but] Я мог бы говорить о своей способности быть миротворцем и сообщать различным фракциям то, что необходимо». Я перефразирую здесь, но то, что необходимо, чтобы объединить разрозненные группы и построить предприятие.

И есть понимание и принятие культуры хайпа. Вся история Кремниевой долины заключается в сильно завышенных ценах задолго до того, как появятся реальные результаты и продукты. Это стало настолько нормальным.

Легко отмахнуться от того, что происходит в ИИ, как от части этой шумихи, но тогда вопрос в том, игнорируются ли и опасения, потому что опасения тоже раздуваются. И я думаю, что, возможно, ваши репортажи поднимают тот факт, что мы находимся в тот момент, когда нам действительно нужно лицом к лицу столкнуться с этими тревогами.

Я думаю, что это совершенно правильно, и статья справедливо исследует и представляет диапазон взглядов. Специалисты по безопасности, которые говорят: «Да, это по-прежнему реально, в конечном итоге это может убить нас всех». Тот факт, что у нас уже есть проверенная, рецензируемая литература о том, как быстро эти модели могут генерировать отравляющие вещества для химического оружия. Список возникших экономических, практических проблем и проблем безопасности можно продолжать и продолжать.

Мы говорим о расколе с [Anthropic founder] Дарио Амодей и то, как Амодей и многие другие покинули OpenAI, потому что они не доверяли Сэму и не доверяли развитию технологии и тому, как она продвигалась под OpenAI. Они хотели сохранить эту первоначальную миссию по обеспечению безопасности. В статье мы признаем, что в некоторых отношениях у Anthropic больше материалов по обязательствам безопасности. Но мы также стали свидетелями того, как Anthropic ослабила многие из своих ключевых обязательств по безопасности. И мы видим, как они в некотором роде участвуют в той самой, как говорят критики, гонке ко дну. Таким образом, пространство для тех, кто верит в риски и хочет строить бизнес главным образом вокруг них, просто сокращается.

Я — чего бы это ни стоило — вышел из этой статьи вполне убежденным, верите ли вы в отдаленные сценарии или нет, в рисках, которые материализуются прямо сейчас для рабочих мест, нашей безопасности, экономики —

«И не только экономика, верно? Я имею в виду, это также социальные и психологические аспекты, когда люди полагаются на этих чат-ботов, чтобы вылечить свое одиночество, а не звонить своим друзьям. Я имею в виду, это то, что происходит сейчас.

Глубоко. Отличным примером являются двойные проблемы подхалима и галлюцинаций в этих моделях ИИ. Подхалимство — это то, как они подлизываются и отражают все, во что верит и хочет услышать пользователь. Галлюцинация — это когда они генерируют ответы и предсказывают следующее слово, которое должно идти дальше. Есть сильный императив иногда придумывать что-то.

Итак, у вас есть обучение, усиленное людьми, которое используют эти лаборатории, и на данный момент они знают, что проблема галлюцинаций не решена. И это подкрепленное обучением человека усиливает подхалимство, верно? Люди любят приятные ответы. Поэтому они оценивают их выше. Таким образом, модели учатся говорить в ответ то, что больше всего понравится данному человеку или группе.

И это возвращается к более широким структурным проблемам. Речь идет не о Сэме Альтмане. Речь идет об отрасли без ограждений, без значимого надзора и множества ставок, которые уже поставлены в игру для всех нас.

Было бы упущением, если бы мы не указали, что те проблемы, которые вы только что подняли, касающиеся подхалимства и галлюцинаций, напоминают мне о том, что люди говорят, верно и в отношении личности Сэма Альтмана — что он угождает людям и имеет слабое отношение к истине.

Что ж, мы цитируем Сэма Альтмана, говорящего, что можно создать – по его мнению – модель, которая была бы более фактической, но в ней не хватало бы некоторой магии, которую так любят люди.

Я думаю, это говорит само за себя.