Без $100 ярдов в ИИ теперь делать нечего. В гонке ИИ-лидеров м | Малоизвестное интересное

Без $100 ярдов в ИИ теперь делать нечего.
В гонке ИИ-лидеров могут выиграть лишь большие батальоны.
Только за последние недели было объявлено, что по $100 ярдов инвестируют в железо для ИИ Microsoft, Intel, SoftBank и MGX (новый инвестфонд в Абу-Даби).

А на этой неделе, наконец, сказал свое слово и Google. Причем было сказано не просто о вступлении в ИИ-гонку ценой в $100 ярдов, а о намерении ее выиграть, собрав еще бОльшие батальоны - инвестировав больше $100 ярдов.

Гендир Google DeepMind Демис Хассабис сказал [1]:
• «… я думаю, что со временем мы инвестируем больше»
• «Alphabet Inc. обладает превосходной вычислительной мощностью по сравнению с конкурентами, включая Microsoft»
• «… у Google было и остается больше всего компьютеров»

Так что в «железе» Google не собирается уступать никому, а в алгоритмах, - тем более.

Что тут же получило подтверждение в опубликованном Google алгоритме «Бесконечного внимания», позволяющего трансформерным LLM на «железе» c ограниченной производительностью и размером памяти эффективно обрабатывать контекст бесконечного размера [2].

Такое масштабирование может в ближней перспективе дать ИИ возможность стать воистину всезнающим. Т.е. способным анализировать и обобщать контекст просто немеряного размера.

Так и видится кейс, когда на вход модели подадут все накопленные человечеством знания, например, по физике и попросят ее сказать, чего в этих знаниях не хватает.

1 https://finance.yahoo.com/news/deepmind-ceo-says-google-spend-023548598.html
2 https://arxiv.org/abs/2404.07143
#LLM