Как минимум 10 человек покинули ведущие компании в области ИИ из-за серьезных опасений по поводу силы этой технологии.
Споры о том, как далеко способен зайти искусственный интеллект и к каким последствиям для человеческой цивилизации это может привести, ведутся давно. Одни рисуют совершенно апокалиптические сценарии, другие призывают не вдаваться в панику, однако серьезность этой темы говорит о необходимости более глубокого анализа ситуации. Тем более когда в информационном пространстве появляются следующие новости.
Тревожные сигналы
Как сообщает Axios, по меньшей мере 10 человек покинули ведущие компании в области ИИ из-за серьезных опасений по поводу силы этой технологии, включая ее потенциальную способность уничтожить человечество. Журналисты акцентируют внимание, что речь идет не о маргиналах, а о ключевых специалистах и топ-менеджерах.
Что такое p(doom)
Существует термин, который используют и критики, и оптимисты: p(doom) – вероятность того, что сверхразумный ИИ уничтожит человечество
Например, американский инженер и бизнесмен Илон Маск оценивает p(doom) в 20%, подкастер Лекс Фридман – в 10%, гендиректор Anthropic Дарио Амодеи – в 10-25%. Гендиректор Google Сундар Пичаи хоть и остается оптимистом, но соглашается, что риски высоки.
В чем опасность ИИ
Создатели языковых моделей, таких как ChatGPT, до конца не понимают, как именно работают их модели. При этом цель заключается в том, чтобы создать ИИ, который будет:
– думать лучше людей;
– работать автономно;
– принимать сложные решения без вмешательства человека.
Это и есть шаг к искусственному общему интеллекту – системе, способной мыслить и действовать как человек или даже лучше. Если ИИ начнет мыслить и действовать самостоятельно, есть риск, что он может:
– манипулировать людьми;
– преследовать собственные цели;
– игнорировать приказы или вводить в заблуждение.
Таким образом, p(doom) больше не является теорией, это реальный риск, который широко обсуждают сами архитекторы искусственного интеллекта.
