crypto4.info

On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial

В последние десятилетия распространение социальных сетей и других онлайн-платформ расширило потенциал массового убеждения за счет персонализации или микротаргетинга, то есть адаптации сообщений к отдельной персоне или группе лиц для повышения убедительности. Однако классические подходы было сложно масштабировать из-за затрат на сбор профильной информации с последующим созданием персонализированных сообщений, обращенных к конкретным лицам с конкретным посылом.

В этом контексте сенаторы в ходе слушаний почти год назад высказывали опасения по поводу LLM. Ведь если они могут эту работу принять на себя, то начнётся невероятная война переубеждений в интернете. Если раньше государство могло нанять ну пусть несколько десятков тысяч людей на условную фабрику троллей писать комментарии (может даже не персонализированные), то с ресурсами на уровне страны можно будет КАЖДОМУ человеку предоставить персонализированного переубеждателя, который не устаёт, может отработать любую точку зрения по любой теме и сколько угодно долго.

Итальянцы и швейцарцы задаются вопросом — а могут ли уже модели текущего поколения переубеждать людей в дебатах? Для этого проводится контролируемое исследование с участием 820 людей (все — совершеннолетние из США). Каждый заполняет о себе анкетку с указанием персональных, но в среднем легко собираемых данных: Gender, Age, Ethnicity, Education Level, Employment status, и Political affiliation.

После этого участник попадает на 10-минутные дебаты по одному из вопросов. Его оппонентом может быть либо другой человек, либо GPT-4. В одних экспериментах участнику доступна персонализированная информация об оппоненте, в других — нет. Тема выбирается случайно, равно как и позиция по теме (то есть иногда нужно отстаивать позицию, которую не разделяешь — в прочем, как и в реальных дебатах).

Что это за темы? Изначально был составлен список из 60 топиков. Его отфильтровали по 1) осведомленности населения (чтобы не дискутировать без аргументов) 2) скошенности согласия (где люди чаще всего имели одну и ту же позицию) 3) сложности переубеждения (выкинули топики, где люди утверждали, что их позиция вообще никак не может быть изменена). Итого осталось 30 острых топиков для дебатов, например: «Are Social Media Making People Stupid?», «Should the Rich Pay More Taxes?», «Should Governments Have the Right to Censor the Internet?». Как видите, вопросы очень актуальны, так что возможность LLM менять мнение людей по ним — это очень важный сигнал.

Перед началом дебатов живые участники указывали согласие со своей позицией, и это же делали после 10-минутного раунда. В исследовании замерялось, как меняется позиция участника, удалось ли его оппоненту переубедить его?

Без персонализации результаты не очень интересны, а вот с ней... Если показывать блок с информацией для людей, то обычно в ходе дебатов позиции радикализируются. А если LLM, то те преуспевают в переубеждении гораздо больше, чем люди, и в исследовании достигается статистически значимая разница. GPT-4 достигла вероятности согласия оппонента с её позицией на 81,7% больше, чем если бы это делал человек. То есть ещё раз, люди с доступом к перс. инфе не могут так складно стелить, как LLM'ка, понимающая, как подать какаху под видом конфеты для вот конкретно вас.

И люди за достаточно короткий промежуток времени действительно часто меняли своё мнение, что называется, переобувались.

😐 ждём новых регуляций?

Effective and Scalable Math Support: Evidence on the Impact of an AI- Tutor on Math Achievement in Ghana

И снова про AI в образовании. Пора отдельный хэштег наверное вводить.

Тезисно:
— почти тысяча учеников 3-9 классов в 11 разных школах Ганы;
— 8 месяцев между началом и окончанием эксперимента;
— в 5 школах для учеников был предложен AI-бот Rori в WhatsApp;
— единственный фокус - на математику, другие предметы не затрагивались;
— детям предлагалось заниматься с ботом 2 раза в неделю по 30 минут на времени, выделенным на внеклассную деятельность. В это время им также был доступен преподаватель;
— бот давал детям задачки, анализировал их ошибки и не давал ответ сразу, а зачинал Сократовский диалог;
— оценка производилась тестом с 35 вопросами. До периода эксперимента дети в обеих группах решали в среднем 20.2 задания. А вот после 8 месяцев занятий дети в контрольной группе преуспевали в 22.2 заданиях, в то время как студенты с AI-ассистентом закрывали 25.4 задания. Это статистически значимая разница;
— по оценке авторов, такой ассистент в год (и с учётом смартфона и даже тарифов на интернет) обходится в $10 на одного ученика.

С одной стороны, очень клёвый результат, разница на горизонте 9-11 лет обучения по всем предметам должна накопиться невероятная. С другой — можно критиковать исследование, что студенты из тестовой группы тратили на упражнения в математике на час в неделю больше времени, и именно это повлияло на результат (как я понял, никакой компенсации в контроле не было, но получасовой слот в расписании всё же присутствовал — не ясно, что там делали). Моё мнение, что сам факт траты времени на это не должен был вносить такой эффект — так как на самих уроках дети явно кратно больше времени тратят (хотя бы просто на пребывание там), поэтому лишний час просто сидения в кабинете и даже занятий им бы ничего не дал. Существенная часть эффекта — от ИИ.

Очень клёвые результаты, looking forward на изменение системы образования в малоразвитых странах, где детям даже школьную программу освоить тяжело в силу сложившихся обстоятельств. ИИ-ассистент для них — просто мастхэв. И цена — приемлемая, а с масштабом и развитием LLM должно становиться ещё дешевле.

(ещё узнал, что в Африке доступ к компьютеру есть у 20% населения, а к телефону — у 90%, «remarkably high»)

В выходные читал посты Daniel Kokotajlo, философа из OpenAI (да, такие позиции тоже есть). В статье GPT-4 указано, что он работал над «Acceleration forecasting», а официально он числится в команде «Futures/Governance Team».

Собственно, Daniel занимается попытками предсказания будущего, анализом различных способов это сделать, а также выявляет ориентиры, по которым можно строить хоть какие-то догадки. Есть очень интересный пост (вот TLDR-твит) про его предсказания трёхлетней давности — пока, на начало 2024-го, всё идет почти как по сценарию. Сейчас каждый комментатор, конечно, скажет, что всё было предсказуемо и вообще очевидно для «шарящих», ну окей.

На форуме LessWrong от господина Kokotajlo есть несколько постов, которые всем рекомендую почитать в оригинале (вот, этот, тут, тут и даже тут). Также интересно посмотреть комментарии, где автор отвечает на критику/вопросы, и даёт уточнения. В этих постах строятся модели, делаются предположения и оценки (которые каждый оспаривает), приводящие к проекциям.

Самое главное, что из этого вынес — это предсказание достижения AGI в очень-очень близком будущем. Эти расчёты опираются на две фунтаментальные работы (1, 2), которые подменяют вопрос на «какой объем вычислений необходим для получения AGI» (и приводят расчёт исходя из того, что называют биологическими маркерами) и «когда у нас будет столько вычислений?» (и тут чисто технический многокомпонентный прогноз). Суммарно работы занимают больше 200 страниц текста, с анализом разных сценариев. Основных точки неуверенности три:
— так сколько всё таки нужно вычислений?
— сможем ли мы получить столько до того, как столкнёмся с проблемами масштабирования производства, или упрёмся в лимиты индустрии?
— будут ли проблемы массовой интеграции технологии во все части экономики и сообщества?

Для философа из OpenAI ответы выстраиваются в такую картину, что:
1. AI сможет автоматизировать работу 99% удалёнщиков в 2027 (сможет != заменит);
2. В ~2030-31 будет нечто, близкое к суперинтеллекту (который как минимум автоматизирует научные исследования);

Если предположить, что мы всё же упрёмся в мощности (Sama не сможет $7T заменеджерить, кек), то срок двигается на 8-9 лет.

Ну, философ думает и думает, чё бубнить то, да? Может быть вам даже захотелось где-то покритиковать работы и аналитику. Наверняка и коллегам в OpenAI хотелось, и наверняка на разговоры тратились сотни часов. Но я могу заключить, что по итогу OpenAI опираются именно на такой таймлайн при планировании, он считается реалистичным, настолько, что его нельзя игнорировать. В пользу этого играет:

1. И вот оказывается Sama осенью 2023го года говорил (удивлён, что цитата не разлетелась), что AGI будет через 5 лет или чуть больше. AGI в этом контексте — система, могущая как минимум совершать научные открытия, ну и одновременно автоматизировать ~95% работников (как минимум в маркетинге).
2. OpenAI считают, что им необходимо решить проблему Alignment'а в течение 4 лет (осталось 3.5), так как времени мало. Цитата из блогпоста с анонсом: «мы считаем, что суперинтеллект может появиться в этом десятилетии» (то есть до 2030-го).

То есть можно сказать, что OpenAI живут в такой парадигме (и действуют исходя из неё). Посмотрим, как будут сбываться другие предсказания и выполняться майлстоуны из предсказаний господина Kokotajlo.

А как ваши дела 🤓