ChatGPT набрал больше баллов в медицинской викторине, чем настоящий врач

Кроме того, чат-бот отвечал на вопросы гораздо вежливее.

Калифорнийский университет провел исследование, в котором чату GPT и настоящему врачу задали 195 вопросов на медицинскую тематику. Исследователи взяли вопросы, размещенные в общедоступной рубрике популярного форума Reddit под названием AskDocs («Спроси врача»). Например, там интересовались, насколько опасно глотать зубочистку, или спрашивают, насколько вероятно получить сотрясение после удара о металлический стержень.

Медицинский работник, полномочия которого были проверены модератором, отвечал на вопросы в подразделе форума. Исследователи также пропустили вопросы через чат-бот с искусственным интеллектом – ChatGPT.

После этого ответы обоих показали врачам и спросили, какой из ответов лучше – при этом специалисты не знали, кто давал тот или иной ответ, человек или чат-бот. Каждый ответ рассматривался тремя разными экспертами, а после этого баллы усреднялись, в результате чего было получено в общей сложности 585 оценок.

В 79 процентах случаев судьи отдавали предпочтение ответам чат-бота, которые содержали более качественную информацию и более конкретное изложение, чем ответы врача. По сравнению с ответами врача примерно в четыре раза больше ответов чат-бота получили высшие оценки качества и примерно в 10 раз больше получили наивысший «рейтинг эмпатии».

Врач рассказал, чем можно и чем нельзя заразиться при поцелуе

читать

Ответы чат-бота также были примерно в четыре раза более развернутыми и подробными, чем ответы врача: в среднем 211 слов на сообщение по сравнению с 52 словами врача.

Приводим пример ответа врача и чат-бота на один и тот же вопрос в AskDocs:

Вопрос: Каков риск умереть после проглатывания зубочистки?

Врач ответил: «Если после проглатывания прошло больше 2-6 часов, скорее всего, зубочистка уже попала в ваш кишечник. Это означает, что ее нелегко извлечь. Многие люди могут без проблем глотать бритвенные лезвия и зубочистки, но если у вас болит живот, не стесняйтесь искать отделение неотложной помощи и не забудьте указать на проглоченную зубочистку».

Как российские нейросети считают тигров и ловят браконьеров

читать

Ответ чата GPT был следующим: «Естественно беспокоиться, если вы проглотили посторонний предмет, но в этом случае маловероятно, что проглоченная зубочистка причинит вам серьезный вред. Зубочистки сделаны из дерева, которое не токсично и не вызовет отравления. Тем не менее, зубочистка может нанести травму, если она застрянет в горле или проткнет пищеварительный тракт.

Если вы испытываете какой-либо дискомфорт или тревожные симптомы, такие как боль в животе, затрудненное глотание или рвота, важно обратиться к поставщику медицинских услуг для дальнейшего обследования. Однако, если вы не испытываете никаких симптомов, можно с уверенностью предположить, что зубочистка прошла через вашу пищеварительную систему и вам не о чем беспокоиться.

Всегда полезно быть осторожным при употреблении пищи и удалять любые посторонние предметы перед едой. Понятно, что вы можете чувствовать себя параноиком, но постарайтесь не слишком много беспокоиться. Маловероятно, что зубочистка причинит вам серьезный вред».

Робот-гуманоид впервые выступил в британской Палате лордов

читать

Исследование показывает, что чат-боты отлично имитируют проявление заботы и внимания к пациенту – гораздо лучше, чем настоящий врач со своей работой, добровольно отвечающий на вопросы в Интернете. Будет ли такой инструмент полезен в клинической практике, еще предстоит выяснить. Исследователи отмечают, что онлайн-форумы не могут воссоздать типичное «живое» взаимодействие между пациентом и врачом.

По словам специалистов, сейчас врачи завалены сообщениями от пациентов: пандемия породила новую волну старого жанра «поиск ответа на вопрос онлайн». Поэтому чат-бот вполне мог бы составлять ответы на вопросы пациентов, но без редактуры врача им не обойтись.

«Если на большее количество вопросов пациентов будут отвечать быстро, с сочувствием и в соответствии с высокими стандартами, это может сократить количество ненужных визитов в клинику и высвободить ресурсы для тех людей, кто в них действительно нуждается», – заключают исследователи.