Хотите использовать ChatGPT, но не хотите отправлять данные в облако. Ollama позволяет запустить аналогичную модель прямо на компьютере. Без интернета, без подписки, без ограничений.
Ollama — нейросеть у вас дома
Ollama — это программа, которая скачивает и запускает языковые модели (LLM) на вашем компьютере. Поддерживает LLaMA, Mistral, Gemma, Phi и десятки других. Установка — одна команда. Запуск — ещё одна.
Представьте, что Ollama — это плеер для музыки. Модели — это треки. Скачали трек — слушаете без интернета. Скачали модель — общаетесь с ней без облака.
Как установить Ollama
На macOS и Linux — одна команда в терминале. На Windows — установщик с сайта. После установки: ollama run llama3 — и модель загружается. Первый запуск скачивает 4–5 ГБ, дальше работает мгновенно.
Кстати, Ollama автоматически выбирает формат модели под ваше железо. Если видеокарта с 8 ГБ VRAM — загрузит 8-битную версию. Если только CPU — 4-битную квантованную.
Какие модели поддерживаются
LLaMA 3 (8B, 70B), Mistral (7B, 8x7B), Gemma (2B, 7B), Phi-3 (3.8B), Qwen (1.5B–72B). Всего — более 100 моделей в библиотеке Ollama. Каждая оптимизирована для локального запуска.
Минимальные требования: 8 ГБ оперативной памяти для маленьких моделей (2–3B). 16 ГБ — для средних (7–8B). 32 ГБ — для больших (70B на CPU). С видеокартой NVIDIA — быстрее в 5–10 раз.