2023-03-22 17:09:53
Как установить текстового бота наподобие ChatGPT на свой ПК.Хотите чат-бота локально и бесплатно? Тогда следуйте инструкциям
Пошаговая инструкция (для Windows):
1. Установить Miniconda.
2. Открываем Anaconda и прописываем
conda create -n textgen python=3.10.9
затем
conda activate textgen
3. Устанавливаем Pytorch
команда для владельцев Nvidia pip3 install torch torchvision torchaudio
команда для владельцев карт AMD pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.4.2
4. Ставим оболочку
git clone https://github.com/oobabooga/text-generation-webui
Если будет ругаться, что команда git не опознана, устанавливаем Git по ссылке. И перезагружаем ПК.
cd text-generation-webui
pip install -r requirements.txt
5. Устанавливаем модель (GPT-J 6B, OPT, GALACTICA, LLaMA, Pygmalion и другие)
python download-model.py
На выбор дается 11 моделей, а еще можно выбрать здесь.
Модели весят кучу гигов, убедитесь, что у вас есть свободное место.
6. Запускаем модель поочередно вводя команды
conda activate textgen
cd text-generation-webui
python server.py
7. Как появится надпись "Running on local URL http://127.0.0.1:7860" кликайте по ссылке. Чат-бот запустится в браузере.
Полная инструкция на англ. языке здесь, но там не указаны некоторые нюансы, которые я описал выше.
Ну что, дерзайте, юные падаваны.
1.8K viewsedited 14:09
C
