2023-04-02 17:46:43
В епоху, коли LLMs стають доступними і дешевими, однією з конкурентних переваг для AI-продукту стає наявність унікальних даних, на яких можна навчати чи файнтюнити модель.
Тому я з великим інтересом прочитав, як в Bloomberg натренували мовну модель на фінансових даних і текстах.
Половина тренувальних даних — загальнодоступні датасети, на яких зараз навчаються всі мовні моделі. Інша половина — фінансові звіти компаній, ділові прес-релізи, новини і аналітика Bloomberg.
Результат — модель BloombergGPT з 50 млрд параметрів показує на звичайних тестах результати на рівні з GPT-3, а на фінансових — значно обганяє всі неспеціалізовані моделі такого ж розміру. До фінансових тестів тут відносять sentiment analysis (позитивна чи негативна новина для компанії та інвесторів), аналіз новин та заголовків, пошук та аналіз сутностей в текстах.
Найцікавіше — фінансовий аналіз:
given input from S&P 500 earnings reports that includes text and at least one table with financial data, the task is to answer conversational questions that require numerical reasoning over the input. Я використовував для подібних задач Bing AI, що допомогло мені зекономити немало часу при написанні проекту з Financial Reporting and Analysis. Більшість часу пішло на написання промптів і упаковку цифр, а з таким інструментом як BloombergGPT це було б ще швидше.
Ще один приклад в коментарях — автоматична генерація заголовків для новин.
Було лише питанням часу, коли саме Bloomberg, компанія з найбільшим масивом фінансових даних, створить такий інструмент. Можна уявити, скільки процесів там оптимізують з його допомогою і скільки нових фіч додадуть для клієнтів.
Фінансовим аналітикам теж пора потроху освоювати prompt engineering.
2.5K viewsAndrii Brodetskyi, edited 14:46
Т
