В 12 случаях из 20 выводы нейросети об уровне рисков совпали с выводами экспертов.
«Из восьми случаев неправильного определения уровня рисков ChatGPT в пяти случаях присвоила низкий уровень риска высокорисковым токенам. Это наихудший вариант ошибки ― недооценка риска актива может быть гораздо более опасной, нежели завышение уровня риска», ― говорят представители компании.
Аналитики отметили пользу ChatGPT, однако заявили, что от ручного тестирования смарт-контрактов уходить пока рано. По словам экспертов Coinbase, нейросеть плохо работает, когда у нее недостаточно контекстных данных для проведения анализа. Кроме того, ChatGPT обращает слишком много внимания на комментарии в коде смарт-контрактов, тогда как более важна сама логика работы программы.
«Хотя ChatGPT показывает потенциал для быстрой оценки риска смарт-контрактов, выводы нейросети слишком недостоверны, чтобы интегрировать ее в процессы оценки безопасности активов на Coinbase. Мы ожидаем, что с правильным инжинирингом точность инструмента можно повысить, однако полностью полагаться на него невозможно», ― делают вывод представители биржи.
Популярность нейросети ChatGPT обратила на себя внимание мошенников. Недавно разработчики проекта Harvest Keeper, который «использовал ИИ и нейросети для оптимизации торговли» скрылись с активами пользователей на сумму свыше $1 млн.
