Я уже не пишу сюда когда очередная опенсорсная модель бьет все метрики и приближается к GPT4, потому что этот рейтинг меняется буквально каждую неделю (и вы быстро устанете от моих восторгов), но одна новая модель мне сильно понравилась — она подойдет для программистов и тех кто учится:
CodeQwen1.5-7B-Chat (gguf)
Модель небольшая, всего 7B параметров, но она сейчас находится на втором месте по качеству генерации кода среди всех опенсорсных моделей.
CodeQwen1.5-7B все еще хуже GPT4, но она:
1) Классно пишет код для небольших задач, этот код можно с ней же дебажить;
2) Работает на любом тостере;
3) Поддерживает 32K контекстного окна (то есть вы можете как часть промпта скармливать свой код и с ней его анализировать);
4) Очень быстрая из-за того что маленькая;
5) Поддерживает все эти прелести опенсорсных моделей, такие как негативный промпт, Lora и тп.
Если вы давно хотели поставить что-то локальное, а ChatGPT вам нельзя использовать из-за корпоративной политики, очень рекомендую рассмотреть.
В Видео CodeQwen1.5 сначала пишет код для HTML страницы с эффектом из матрицы (скорость реальная на моем ноуте), а во втором видео — эффект и код, что получился.
P.S. Маленькие модели наиболее подвержены правильному промптингу, поэтому делюсь своим промптом агента программиста и негативным промптом который вы можете передать с --cfg-negative-prompt (негативный промпт не обязателен, но помгает улучшить качество — насколько, я не замерял пока что).
P.P.S. Запуская я все классически тут — llama.cpp
