Получи случайную криптовалюту за регистрацию!

“…This approach reached GPT-3-level language model performance | Mikhail Samin

“…This approach reached GPT-3-level language model performance with a 7 billion parameter model and over a 10× reduction in training compute”

https://deepmind.com/blog/article/language-modelling-at-scale

Недавно, Пол Кристиано (занимавшийся в OpenAI GPT-3) сказал в споре с Юдковским, что будет очень удивлён, если в ближайшие несколько лет какое-нибудь умное изобретение приведёт к большему улучшению, чем 4x вычислений. А это 10x уже сейчас.

Одновременно, DeepMind научили модель выполнять в трёхмерном виртуальном мире произвольные задания людей, отвечать на их вопросы и задавать уточняющие вопросы, уже после обучения узнавать о новых объектах и заданиях за несколько часов демонстрации.

У Юдковского медиана вероятности появления AGI заметно раньше 2050 — и как же не хочется, чтобы он оказался прав :(