В епоху, коли LLMs стають доступними і дешевими, однією з конк | Brodetskyi. Tech, VC, startups

В епоху, коли LLMs стають доступними і дешевими, однією з конкурентних переваг для AI-продукту стає наявність унікальних даних, на яких можна навчати чи файнтюнити модель.

Тому я з великим інтересом прочитав, як в Bloomberg натренували мовну модель на фінансових даних і текстах.

Половина тренувальних даних — загальнодоступні датасети, на яких зараз навчаються всі мовні моделі. Інша половина — фінансові звіти компаній, ділові прес-релізи, новини і аналітика Bloomberg.

Результат — модель BloombergGPT з 50 млрд параметрів показує на звичайних тестах результати на рівні з GPT-3, а на фінансових — значно обганяє всі неспеціалізовані моделі такого ж розміру. До фінансових тестів тут відносять sentiment analysis (позитивна чи негативна новина для компанії та інвесторів), аналіз новин та заголовків, пошук та аналіз сутностей в текстах.

Найцікавіше — фінансовий аналіз: given input from S&P 500 earnings reports that includes text and at least one table with financial data, the task is to answer conversational questions that require numerical reasoning over the input. Я використовував для подібних задач Bing AI, що допомогло мені зекономити немало часу при написанні проекту з Financial Reporting and Analysis. Більшість часу пішло на написання промптів і упаковку цифр, а з таким інструментом як BloombergGPT це було б ще швидше.

Ще один приклад в коментарях — автоматична генерація заголовків для новин.

Було лише питанням часу, коли саме Bloomberg, компанія з найбільшим масивом фінансових даних, створить такий інструмент. Можна уявити, скільки процесів там оптимізують з його допомогою і скільки нових фіч додадуть для клієнтів.

Фінансовим аналітикам теж пора потроху освоювати prompt engineering.