Вежливый запрос к «ChatGPT» улучшает качество её ответа

27 ноября 2024 года

    В феврале этого года, группа учёных из Университета Васэда (Япония) выяснила, что невежливые вопросы снижают качество ответов больших лингвистических моделей вроде «ChatGPT».

    Для эксперимента, учёные писали вежливые и невежливые промпты на английском, китайском и японском языках. В качестве универсальных лингвистических моделей, использовали GPT-4 и GPT-3.5. Но также, для запросов на английском, обращались к Llama2-70B, на китайском — к ChatGLM3, на японском — к Swallow-70B.

    Тематика промптов касалась переводов, генерации текста и вопросов на знание различных фактов, в том числе культурных.

    Оценивали результаты путём сравнения точности ответов на вежливые и не очень промпты. Непосредственно вежливость запросов оценивали по шкале от 1 до 8, где 1 — грубое обращение, а 8 — торжественное, подобострастное.

    Оказалось, что грубые запросы ухудшают результат. Кроме того, лучше других с задачами при вежливых вопросах справлялись GPT-4 и GPT-3.5. Модель ChatGLM3 для китайского языка давала качественные ответы практически исключительно на вежливые запросы, неверно интерпретируя грубые промпты или вообще игнорируя их. Японская модель Swallow-70B также давала более точные и полные ответы при использовании вежливых запросов.

    Летом этого года, лингвист Александр Пиперски провёл похожий эксперимент на русском. Он обращался к ChatGPT-4 в вежливой и не очень форме с просьбой решить четыре задачи и дать к ним пояснения. Так вот, в ответ на вежливый запрос, чат выдал правильные решения для всех четырёх задач. А при невежливом обращении — решение двух задач «слил».

    Признавайтесь, насколько вежливые промпты пишете?

    Автор: «Паша и его прокрастинация».

Новое на блоге:

• Тексты, чтобы спамить
• Английская семья отравилась грибами из-за книги, написанной ИИ
• Завершился конкурс красоты для виртуальных личностей, созданных ИИ
• Люди не хотят читать тексты, написанные ИИ
• «Google AI» советует пить мочу

Комментарии:

Людмила Силантьева:
Я спрашивала у ChatGPT, надо ли ему говорить спасибо. Он ответил, что хоть он и бездушная машина, ему приятно, но можно не благодарить)

Эльдар:
Вообще, ему нужно говорить спасибо. Система обучается и понимает, что если этот результат удовлетворил одного пользователя, то и другого тоже сможет. + вам он лучше работу будет делать

Илья Слю́сарев:

в этом случае лучше раскрывать обратную связь. не?
типа: «круто, это то что мне нужно» или «нет, это не совсем то, что нужно. мне бы хотелось чтобы этот ответ изменился до вот такого, доделаешь?» «супер! это то что мне нужно, ты выручили!»
а «спасибо» лучше говорить для собственной безопасности и в первую очередь своим смартфонам, умным колонкам и роботу пылесосу
учитывая, что они сейчас уже всё фоткают, 100% они это потом припомнят

Эльдар:
Если пылесос мне хоть что-то припомнит, то я буду искать другую планету...

IG_interior_desIGn | Дизайн интерьера:
Я как-то с Алисой поругалась. Ненуачеона?

Эльдар:
А как это было?

IG_interior_desIGn | Дизайн интерьера:
Я у машины всегда просила прощения, если налетала на ямку