Как запустить чат-бота на собственном компьютере

Зачем запускать модель локально

Если вы пользуетесь ChatGPT, Claude, Perplexity или похожими сервисами, вы взаимодействуете с большой языковой моделью. Такие модели применяют для программирования, написания и сокращения текстов, а также поиска информации в интернете.

При локальном запуске данные не отправляются в облако, где их могли бы анализировать или просматривать другие компании. Модель работает даже без подключения к интернету, а платить за подписку и следить за лимитами запросов не нужно.

Скачать можно множество бесплатных моделей, в том числе от Meta и Google. Они, как правило, менее продвинуты и работают медленнее, чем модели внутри платных приложений, но для обычных задач их возможностей достаточно. При необходимости можно выбирать разные модели под разные сценарии.

Обратная сторона — дополнительное обслуживание. Обновления придётся устанавливать самостоятельно, а часть удобства готового приложения ChatGPT исчезнет. Зато вы получаете персональную систему с большим контролем над данными, а начать работу достаточно просто.

Источник: wired.com

Какой компьютер нужен

Локальные языковые модели запускаются на Windows, macOS и Linux. Среди любителей ИИ чаще выбирают macOS: на компьютерах Apple программная и аппаратная часть более унифицирована, а чипы Apple Silicon объединяют центральный и графический процессоры с оперативной памятью. Такая архитектура удобна для работы с ИИ-моделями.

На любой платформе полезно иметь как можно больше оперативной памяти. Минимум — 8 ГБ, но при таком объёме выбор моделей и скорость работы будут ограничены. 16 ГБ — более подходящий вариант, а для самых крупных и быстрых моделей потребуется 32 ГБ или больше.

Для лучших результатов пригодится выделенная видеокарта с большим объёмом видеопамяти. Более 8 ГБ видеопамяти уже заметно помогают, поскольку такая память оптимизирована под задачи, которые выполняют ИИ-модели.

На Windows особенно полезна выделенная видеокарта Nvidia. Графические процессоры лучше подходят для ИИ-задач, чем обычные центральные процессоры, а собственная видеопамять даёт модели дополнительное пространство для работы.

Формального минимального требования для запуска локальной языковой модели нет. Однако большой объём оперативной памяти и отдельная видеокарта заметно расширяют доступный выбор. Кроме того, понадобится программа для запуска модели — внешняя оболочка — и файл самой модели. В обоих случаях есть разные варианты.

Какое приложение выбрать

Для начинающих на Windows и macOS обычно рекомендуют бесплатное приложение LM Studio Bionic. Среди других популярных вариантов — vLLM, Llama.cpp, Ollama и GPT4All. Они тоже работают на нескольких операционных системах, но требуют более технического подхода.

После выбора приложения нужно подобрать языковую модель. Программа предложит несколько вариантов, а найти дополнительные модели можно в каталогах в интернете. Самый известный из них — Hugging Face, где доступно более 3 миллионов моделей.

Источник: wired.com

Установка LM Studio Bionic

Возможных конфигураций для локальных моделей много, но разберём базовый вариант на Windows — установку LM Studio Bionic.

Сначала скачайте установочный файл с сайта приложения и запустите LM Studio Bionic. Для начала работы нажмите Создать проект и присвойте первому проекту название.

Откроется пустое окно диалога. Нажмите Выбрать модель в поле запроса, затем выберите Получить локальные модели — приложение откроет основной каталог моделей.

Каждая модель в списке сопровождается информацией о размере, популярности и характеристиках. Для первого запуска можно обратить внимание на рекомендации команды приложения. Небольшие модели обычно менее способны, зато быстрее скачиваются и занимают меньше места на компьютере.

Работа с интерфейсом

В окне диалога всё устроено примерно так же, как в обычном приложении для общения с диалоговым помощником. В нижнем поле запроса можно выбрать одну из установленных моделей. Если модель поддерживает изображения и файлы, слева от этого поля появится значок «+» для их добавления.

Слева находится панель навигации: через неё можно переключаться между проектами. В нижней левой части размещена ссылка Настройки — здесь открываются настройки LM Studio Bionic. В них можно менять разные параметры, включая обработку удалённых диалогов и отображаемые элементы интерфейса.

Источник: wired.com

В разделе Библиотека внутри настроек можно управлять уже установленными моделями. Через пункт Обзор выполняется поиск новых. Если вам нужны изображения и документы, выбирайте мультимодальные модели. Технически они расширяют возможности языковой модели, хотя их часто тоже называют языковыми моделями.

Наконец, справа находится боковая панель. Её можно показать или скрыть кнопкой в правом верхнем углу. Панель содержит дополнительные инструменты для управления файлами в разных проектах и для предоставления программе доступа к файловой системе компьютера, если это требуется.