кто решает какие ценности у ИИ? До 24 июня можно еще подать з | Matskevich - brains, love and robots
кто решает какие ценности у ИИ?
До 24 июня можно еще подать заявку в openai на грант $100k по разработке демократического процесса работы слоя фильтра chatGPT
TL;DR: OpenAI запустил 10 грантов $100к на разработку демократических методов для принятия решений о правилах поведения ИИ. Речь идет о том, чтобы сделать решения о ценностных фильтрах (RLHF слой поверх LLM) через которые ИИ общается с тобой прозрачными и инклюзивными, подобно тому, как принимаются законы в демократическом обществе. Шажочек на ощупь к тому, чтобы ИИ было как в утопии и приносило пользу всем, а не только избранным.
Меня будоражит, что такое вообще возможно сегодня. Представляю чтобы youtube или facebook пригласили коллективно поучаствовать в формировании своего алгоритма и отодвинули на задний план свою рекламную монетизацию - просто безумие.
Возьмем любого ИИ виртуального помощника. Они будут обучаться и адаптироваться к твоим предпочтениям, рекомендовать любимую музыку, подкасты, новости. Но, насколько они должны адаптироваться под твои предпочтения и где провести черту. Должны ли они адаптироваться к твоим моральным взглядам? Где это будет приводить поляризации и конфликтам и там надо вопреки твоим взглядом помочь тебе увидеть другую перспективу и они для этого должны оставаться нейтральными и беспристрастными?
Уточню, что даже главные data scientists в openai не могут до конца влиять, определять и даже предсказывать свойства самой LLM (об этом напишу про самопроизвольные свойства и навыки больших языковых моделей, которые продолжают появляться). Но можно влиять как раз на этот фильтр, который технически называется RLHF слой и стоит между нами и LLM
RLHF reinforcement learning by human feedback - это часть алгоритма, которая отвечает за политкорректность, что не обидит верующих сказав случайно, что сатана ему нравится больше чем Иисус, не будет показывать признаки самосознания и не займется с тобой sexting-гом - не пугать и быть таким приличным domesticated AI, который умеет вести ровные разговоры и не стыдно отправить в светское общества.
Даже текущий RLHF слой это уже большой задел на эмпатию, perspective taking и сближения. Это уже круче твиттера и facebook которые которые своими алгоритмами разгоняют поляризацию где разные группы готовы убить друг друга.
Но в централизованном RLHF слоем уже заметны проблемы:
1) Большой брат. Даже у меня в комментах уже задавали вопросы, а кто решает и с кто его назначил за все человечество решать какие мнения ок или какие не ок
2) Синдром вежливого друга. Кто пробовал общаться с слишком вежливым и правильным другом: «спасибо что поделился”, “резонирует”, “отзывается» …
3) Культурный салат: AI в трусах или без. Где-то родители хотят чтобы их детям ai говорил что это ок когда транс персону в их раздевалке увидят голым, а где-то что мужчинам даже в мужской раздевалке не ок оказываться без трусов друг перед другом.
4) Угасание креативности. Cнижение креативности и качества алгоритма. Чем больше ИИ фильтруют тем менее креативные решения можешь получать.
OpenAI предлагает придумать такой коллективный демократический процесс для определения таких правил. По сути, они говорят: "Давайте не будем оставлять эти решения на усмотрение горстки технологических компаний или нескольких человек”
Я очень кайфую что можно пробовать играться и делать дизайн таких коллективных сред, где голос каждого может быть услышан и при этом не разъебывать друг друга, не падать в травму, а с помощью такого ИИ модератора создавать новое коллективное понимание.
Это меня самого вдохновляет исследовать как создавать среды где можно быть собой, со своими эмоциями, глубокими переживаниями и углублять контакт и расширять свое понимание себя и других
При этом я понимаю что контролировать LLM ядро с помощью RLHF слоя, это какое-то очень временное решение.
“We can’t force higher intelligence to align with us it could align only if it like or love us” by Joscha Bach https://podcasts.google.com?feed=aHR0cHM6Ly9hbmNob3IuZm0vcy8xZTRhMGVhYy9wb2RjYXN0L3Jzcw%3D%3D&episode=YzNhMGE2YjAtNmQ3YS00ZTNkLWJjOTctNWNjYjZkOGQ4ZmIy
Что чувствуете?
