Компаниям, разрабатывающим мощные системы искусственного интеллекта, стоит оценивать риски так же тщательно, как это делал Роберт Оппенгеймер перед первым ядерным испытанием. С таким призывом выступил один из ведущих исследователей в сфере безопасности ИИ — профессор Массачусетского технологического института Макс Тегмарк, сообщает The Guardian.
В своих расчётах Тегмарк вместе со студентами предложил аналог «константы Комптона» — вероятности того, что сверхмощный искусственный сверхинтеллект (ASI) выйдет из-под контроля человека. По их оценке, этот риск может достигать 90%.
Сам термин впервые появился в контексте американского ядерного испытания в 1945 году. Тогда физик Артур Комптон оценил вероятность того, что атомный взрыв запустит неконтролируемую реакцию в атмосфере. Его вывод — «чуть меньше одного шанса на три миллиона» — позволил провести испытание Trinity.
«Компании, создающие сверхинтеллект, должны так же чётко рассчитать вероятность потери контроля. Недостаточно сказать: “нам кажется, всё под контролем”. Нужен точный процент», — подчеркнул Тегмарк.
По его мнению, прозрачные расчёты рисков — выполненные сразу несколькими компаниями — могут сформировать глобальную политическую волю для создания общих правил безопасности таких технологий.
Тегмарк, который также является соучредителем института Future of Life, давно призывает к осторожности в развитии ИИ. В 2023 году его организация опубликовала открытое письмо с призывом приостановить создание сверхмощных моделей. Документ подписали более 33 тысяч человек, среди них — Илон Маск и сооснователь Apple Стив Возняк.
В письме говорилось, что лаборатории ИИ втянуты в «неконтролируемую гонку» за создание «цифровых разумов», которые человек уже не в состоянии предсказать, понять или надёжно контролировать.
Тегмарк дал коментарий The Guardian в контексте нового международного документа — Singapore Consensus, который определяет глобальные приоритеты исследований в области безопасности ИИ. Его подготовили Тегмарк, ведущий учёный в области компьютерных наук Йошуа Бенджио, а также специалисты из OpenAI, Google DeepMind и других компаний.
Документ выделяет три ключевых направления для безопасного развития ИИ:
разработка методов оценки воздействия современных и будущих систем ИИ;
определение желаемого поведения систем и построение механизмов его достижения;
контроль и управление поведением таких систем.
После скептических заявлений вице-президента США Дж. Д. Вэнса на саммите в Париже о том, что «будущее ИИ не выиграется за счёт тревожных обсуждений по поводу безопасности», многие усомнились в глобальном подходе к регулированию.
Однако Тегмарк отметил, что ситуация изменилась: «Похоже, туман после Парижа рассеялся — и международное сотрудничество возвращается с новой силой».
Подписывайтесь на наш Тelegram-канал t.me/sudua и на Google Новости SUD.UA, а также на наш VIBER, страницу в Facebook и в Instagram, чтобы быть в курсе самых важных событий.
