Возможно, мы неправильно представляем (или не представляем совсем) пути дальнейшего развития ИИ.
Вполне возможно, что суперинтеллектуальные сущности будут развиваться в совсем непонятном для нас направлении, можно сказать в "другом измерении", которое мы пока не можем оценить.

Например, если сравнить скорость мыслительного процесса наше и мощного Ai, то для него, мы как, например, дерево. Он знает, что мы живые существа, но скорость нашего осознания настолько медленнее, что условно, в ИИ симуляции может смениться сотня «цивилизаций» пока мы набираем промпт.

Да и совсем не обязательно, что ИИ будет как-то претендовать на наше физическое пространство. Более вероятно, что он будет уходить вглубь своих симуляций / абстракций. Просто все наши теории уж очень антропоморфные.

ИИ - это уже не просто языковая модель. Это система, которая может использовать любые технологии, для вычислений, моделирования, тестирования, проверок и т.д.
А если посмотреть на крупные проекты (в любых областях), где участвует большое количество людей, то ни один человек не является «исключающим» ошибки. Для решения общей задачи проекта множество людей проводят множественные тесты и проверки для получения "надежного" результата.
И это длительный процесс во времени.
Миллион же AI агентов проверят все за час (условно). И в пользу кого будет такое положение вещей? Ответ однозначен.

Интересный пример и прецедент. Пошел смотреть по поиску "Что такое WormGPT"?
И сразу куча инфы. Поисковые системы четко позиционируют - WormGPT — хакерский чат-бот, аналог ChatGPT, предназначенный для помощи кибер_преступникам. ... И далее Использование WormGPT может быть нарушением законов и иметь юридические последствия.
Но это общая информация.
А на известном ресурсе разработчиков habr есть более подробная информация об использовании данного "изобретения".
Подробности в статье Хакеры начали использовать WormGPT для помощи в фишинговых атаках

Кратко - речь идет об исследовании компании SlashNext, согласно которому злоумышленники используют технологии генеративного искусственного интеллекта для подготовки и реализации фишинговых атак и распространения зловредов.

По словам исследователей, WormGPT может проявлять «стратегическую хитрость», чтобы организовывать сложные фишинговые атаки. Его обучали на наборах данных, связанных с вредоносной деятельностью, но автор не раскрывает, что это за данные.
В SlashNext заявили, что распространение нейросетей снижает пороги входа для злоумышленников и их затраты.
Исследователи призвали компании разработать регулярно обновляемые программы обучения, направленные на противодействие атакам, усиленным с помощью ИИ.

В целом статья заставляется задуматься над тем, что использование ИИ для создания "деструктивного" функционала и контента значительно увеличивают риски в сфере информационной безопасности. И поспевают ли шаги по противодействию за ростом этих рисков?