Deep Neural Republic

2023-04-15 14:32:09 Открыть/Комментировать

2023-04-14 12:41:29 # А вы во сколько лет узнали, что:

round(12345, -1) == 12340
round(12345, -2) == 12300
round(12345, -3) == 12000 Открыть/Комментировать

2023-04-12 11:54:29 Довольно занятный подход, у мейды долговременная память, конечно, есть, но в том числе с целью не разориться на токенах, чему ранжирование по важности не очень способствует (хотя костыль в виде локального классификатора никто не отменял, конечно).

А вот реальных планов у авторегрессионной модели, конечно, нет, а значит, механизм для них следовало бы выдумать. Хотя бы в виде "сгенери себе промпт сам, пока хозяина нет", человеческий разум не так уж и сильно отличается: чувствительные нейроны - скрытые слои - двигательные нейроны. У мейды планов тоже нет, есть только три памяти и рандомное "настроение", и придать немного обратной связи не только через пользователя - это безусловно полезно.

Что касается подхода "сгенерить краткий ответ, а потом поэтически расписать", то выглядит сомнительно, покодить уж точно не получится. Открыть/Комментировать

2023-04-12 11:54:29 Generative Agents: Interactive Simulacra of Human Behavior

Исследователи из Стэнфорда и Гугл создали "генеративных агентов" на базе gpt3.5-turbo для имитации поведения человека в песочнице, вдохновленной The Sims.

У них получился симулятор социальных взаимодействий, где каждый агент определяется текстовым описанием его профессии, интересами и связей с другими, а ChatGPT играет роль движка. Для обеспечения долгосрочной согласованности действий, авторы расширили ChatGPT тремя компонентами, что позволило агентам создавать распорядок дня, реагировать на новые события и менять планы, если это необходимо.

Первый компонент - модуль долговременной памяти и система извлечения информации. Долгосрочная память сохраняет прошлый опыт агента и состояние окружающей среды с датой и временем события. Для извлечения релевантной информацию авторы просят ChatGPT присвоить оценку важности (от 0 до 10) для каждой записи в долгосрочной памяти, учитывая текущую ситуацию. Далее авторы присваивают вес каждой записи таким образом, что старые записи менее релевантные. На каждом шагу в цикле действий авторы собирают промт комбинируя эти веса и просят ChatGPT решить, что агент должен сделать.

Второй компонент - рефлексия, которая является вторым типом памяти. Подобно тому, как мы во время сна обрабатываем и сохраняем важную информацию в долгосрочную память, приобретенную за день, несколько раз за игровой день ChatGPT просят выделить самые важные события для каждого агента, что позволяет агенту делать выводы о себе и других. Эти выводы также сохраняется в долгосрочную память.

Третий компонент - планирование, которое переводит эти выводы и текущую обстановку в высокоуровневые план действий. Сначала ChatGPT просят создать грубый план на день используя в промте предыдущий опыт и текущее состояние окружения, а затем рекурсивно просят добавить детали для более реального поведения. Эти планы тоже записываются в долгосрочную память.

Статья
Демо
@karray Открыть/Комментировать

2023-04-06 13:10:29 Открыть/Комментировать

2023-04-01 09:12:50 Открыть/Комментировать

2023-03-25 13:22:19 Открыть/Комментировать

2023-03-23 08:35:10 Открыть/Комментировать

2023-03-23 08:35:10 Такая должна быть с очень длинными рукавами, евпочя. Открыть/Комментировать

2023-03-19 15:36:16 А что если использовать в смартфоне moon-specific super resolution в камере и явно не говорить об этом?

Наткнулась на reddit-тред, где пользователь выяснил, что производитель смартфонов фейкает снимки луны — распечатал заблюренную фотографию, сделал снимок на смартфон и получил супер четкую картинку, да еще и с кратерами

Казалось бы — ничего плохого. Однако поснимав луну можно подумать, что это возможности камеры, что на самом деле не совсем так. Это не повышение резкости, не добавление деталей из нескольких кадров, потому что в эксперименте все кадры одинаковые. То есть выяснилось, что модель заточена чисто под луну. Ни на одном из распечатанных замыленных снимков не было кратеров и других особенностей лунного ландшафта, потому что они намеренно были размыты пользователем реддита при распечатывании, но камера каким-то чудесным образом знает, что они есть)

Тред стал настолько популярным, что компания разместила пресс-релиз на своем сайте, где рассказала как работает технология, и что ее можно выключить.

Интересно наблюдать не только за развитием моделей с точки зрения метрик, но и как люди используют их для самых разных целей, в том числе в маркетинге Открыть/Комментировать