В рамках профессионально-предметной декады по специальности «Информационные системы и программирование» в Многопрофильном колледже ИСТиС был проведен эксперимент по мотивам теста Тьюринга, который оценивает способность машины имитировать человеческое мышление.

Нейросети ChatGPT и некоторым студентам были заданы одинаковые вопросы о том, что им нравится, как они проводят свободное время, чем увлекаются. Остальные студенты, глядя только на ответы, должны были определить, кто именно так ответил: человек или притворяющаяся человеком нейросеть. Результаты достаточно интересные: из 5 проверяемых были угаданы только 2, в остальных случаях опрашиваемые ошиблись, причем иногда очень сильно.

Студента, отвечающего на вопросы в юмористическом стиле, признали нейросетью 59% опрошенных. Когда нейросеть попросили имитировать студента-троечника, который не любит учиться, а любит играть в компьютерные игры, то 72% признали ее человеком. Когда нейросети дали задачу имитировать черты студента-отличника, подавляющее большинство – 83% – смогли определить, что это машина. С другой стороны, когда модель просили вести себя, как романтическая девушка, около 64% респондентов посчитали, что это человек. Когда реальная девушка отвечала максимально кратко, 83% смогли легко определить, что это был настоящий человек, а не искусственный интеллект.

Этот эксперимент показывает, что современные языковые нейросети способны очень достоверно имитировать человеческое поведение и без вдумчивого анализа бывает тяжело определить, кто перед нами – человек или нейросеть. Однако часто нейросеть можно определить не по содержанию текста, а по формальным признакам. Например, в данном опросе нейросети писали свои ответы в максимальном соответствии с нормами языка и на вопрос о любимых фильмах писали названия в кавычках, студенты же отвечали без кавычек.