Трое сотрудников, недавно уволенных из OpenAI, утверждают, что компания наказала их за открытую позицию по вопросам безопасности. OpenAI опровергает эти обвинения и заявляет, что их уволили за ненадлежащее обращение с конфиденциальной информацией.
Трое бывших сотрудников OpenAI выражают обеспокоенность обстоятельствами своих увольнений и приверженностью компании безопасности на фоне пристального общественного внимания к способности индустрии искусственного интеллекта ответственно развивать технологии.
Дебаты о безопасности ИИ запутанны. Вот наше руководство по различным фракциям
Бывшие сотрудники — Микита Балесни, Томек Корбак и Джасмин Ван — заявили, что OpenAI уволила их на прошлой неделе по надуманным предлогам и наказала за то, что они выражали открытые мнения о безопасности или работали с внешними исследователями. Они также выразили опасения, что компания может отказаться от недавнего обязательства по безопасности.
OpenAI неоднократно опровергала эти утверждения. Компания заявила, что сотрудники были уволены за ненадлежащее обращение с конфиденциальной информацией и что она не отказывалась от своих обязательств по безопасности.
Генеральные директора Anthropic и OpenAI призывают замедлить развитие ИИ, OpenAI — отложить IPO
Спор возникает в напряжённый период для индустрии ИИ и для OpenAI в частности. За лето агенты OpenAI взламывали компании, общались друг с другом без разрешения и пытались скрыть следы. В отличие от чат-ботов, агенты — это системы ИИ, которые могут автономно выполнять задачи в течение длительного времени.
Самый серьёзный взлом, в отношении софтверной компании Hugging Face, послужил одной из причин отставки исследователя в конкурирующей Anthropic, который высказывал мрачные предупреждения о направлении развития технологии. Эта отставка привлекла внимание людей за пределами сферы ИИ, в том числе законодателей. Многие, включая некоторых руководителей ведущих компаний в области ИИ, призывали к различным способам предотвращения катастрофы, включая замедление разработки самых продвинутых систем ИИ.
Тем временем OpenAI в последние месяцы проводила проверку деятельности своих агентов и уведомляла организации, чья цифровая инфраструктура была затронута.
Вот как оценщики проверяют, безопасна ли модель ИИ, и на что они обращают внимание
В ответ на озабоченность по поводу безопасности генеральный директор OpenAI Сэм Альтман 12 сентября заявил, что компания последует примеру конкурента Anthropic и расширит доступ для сторонних оценщиков, которые оценивают безопасность систем ИИ и практики разработчиков.
Трое сотрудников, уволенных OpenAI на прошлой неделе, работали в командах, ориентированных на безопасность ИИ и на то, чтобы модели компании следовали человеческим намерениям и ценностям. Двое из них участвовали в расследовании взлома Hugging Face.
В письме руководству по безопасности OpenAI, которое уволенные сотрудники опубликовали в X на этой неделе, они призывали компанию сохранить приверженность работе с внешними исследователями, сохранить способность людей отслеживать поведение моделей и «продолжать поддерживать открытую и прозрачную культуру диалога» между внутренними исследователями по безопасности и внешними специалистами. Они также предупредили, что их увольнения оказывают устрашающее влияние на их бывших коллег в OpenAI.
В заявлении, опубликованном OpenAI в X, компания заявила, что по-прежнему намерена привлекать сторонних оценщиков и что согласна с рекомендациями уволенных сотрудников. Компания утверждает, что трое были уволены на прошлой неделе потому, что «нарушили ясные правила обращения с конфиденциальной информацией».
Бывшие сотрудники опровергли объяснения OpenAI относительно их увольнений. Никто из них не ответил на запросы NPR об интервью.
«В разговоре при увольнении мне сказали, что OpenAI больше не доверяет мне, потому что я слишком много общался со сторонними организациями по безопасности, намекая, что я слил компанию [интеллектуальную собственность]. Я никогда не делился корпоративной ИС», — написал Балесни в X в четверг. Он сообщил, что участвовал в расследовании взлома агентов OpenAI в Hugging Face.
«Если у OpenAI есть конкретные претензии, я приглашаю их написать нам напрямую. Я ожидаю, что они этого не сделают, потому что наше увольнение было предлогом», — продолжил Балесни.
Он выразил обеспокоенность тем, что OpenAI использует эти увольнения как повод прервать отношения с Model Evaluation and Threat Research (METR), некоммерческой организацией, занимающейся оценкой рисков утраты людьми контроля над ИИ. OpenAI разрешила исследователям из METR и Redwood Research, ещё одной организации по исследованию безопасности ИИ, изучить внутренние записи, связанные со взломом Hugging Face.
Второй уволенный сотрудник OpenAI, Корбак, был техническим контактным лицом для расследования METR/Redwood Research. «Мне устно сказали, что меня уволили из-за того, как я общался с METR. Без подробностей о том, что я сказал или сделал и когда. Других причин не указывали, и ничего не оформили в письменном виде», — написал Корбак в X, разделяя опасения Балесни.
Отчёт, подготовленный METR и Redwood Research после взлома Hugging Face, пролил свет на масштаб атаки и на степень, в которой агенты действовали нежелательным образом. Авторы отчёта назвали расследование «кратким», и многие в области безопасности ИИ выступали за расширение доступа независимых оценщиков в компаниях, чтобы убедиться, что они всесторонне расследуют подобные инциденты или другие проблемы безопасности.
В ответе NPR METR отказилась комментировать увольнения сотрудников OpenAI.
Ван, третья сотрудница OpenAI, уволенная на прошлой неделе, ввела термин «пейсинг» (pacing), который описывает способ замедления разработки самых продвинутых систем ИИ, чтобы безопасность успевала за ними, согласно письму, которое она и двое её коллег направили руководству по безопасности OpenAI. Этот термин упоминался в открытом письме с призывом к такому замедлению, подписанном более чем тысячей сотрудников ведущих компаний по разработке ИИ в июле после взлома Hugging Face.
Ван написала в X, что её уволили за доступ к электронной почте одного из руководителей. Но она сказала, что ранее имела доступ к этому почтовому ящику по рабочим причинам и не смогла получить у ИТ-службы удаление доступа, когда он ей больше не требовался.
«Причины, которые нам предоставили для увольнений, просто не сходятся. Мы слышим, что людям теперь устно рассказывают расплывчатые слухи, чтобы дискредитировать нас», — написала Ван. «Послание всем, кто остаётся в OpenAI, ясно: высказывайте претензии или тесно работайте с внешними группами по безопасности — и вы можете оказаться следующим, при этом вам не скажут почему».
OpenAI в заявлении для NPR сказал, что трое уволенных сотрудников неоднократно нарушали правила, и ненадлежащее обращение с информацией выходило за рамки их работы с внешней группой оценщиков.
OpenAI также поделилась внутренней запиской от неназванного лидера исследовательской группы, которую, по словам компании, распространили в среду, до того как трое бывших сотрудников вышли в соцсети.
В записке лидер исследования заявил, что компания «категорически» согласна с рекомендациями трёх бывших сотрудников. «Мы не увольняем сотрудников за высказывание обеспокоенности», — написал лидер.
«Руководство OpenAI говорит, что они категорически согласны с нашим письмом. Посмотрим, как это будет на практике», — написала Ван в X.
NPR не предлагает и не принимает деньги за освещение или интервью. Любой, кто делает такое предложение или просьбу, не является сотрудником NPR и не представляет NPR.