0
Согласно ещё одному исследованию, посвящённому работе ChatGPT, чат-бот OpenAI даёт неправильные ответы на вопросы по программированию более чем в половине случаев. При этом ответы бота выглядят настолько правдоподобными, что часть людей-участников эксперимента, оценивавших его ответы, игнорировала ошибки.
Команда исследователей Университета Пердью проанализировала ответы ChatGPT на 517 вопросов Stack Overflow, чтобы оценить правильность, последовательность, полноту и краткость ответов чат-бота. Кроме того, учёные провели лингвистический анализ и анализ тональности ответов и попросили двенадцать добровольцев оценить работу искусственного интеллекта. Статья по итогам исследования «Кто ответит лучше? Углублённый анализ ChatGPT и Stack Overflow. Ответы на вопросы разработчиков программного обеспечения» опубликована на arXiv.org.
Читать далее