Для Windows 11 випустили безкоштовний застосунок Llama, який дозволяє завантажувати та запускати локальні мовні моделі без складного налаштування. Програма працює через рушій llama.cpp і дає змогу спілкуватися зі штучним інтелектом безпосередньо на власному комп’ютері, не вдаючись до командного рядка.
Застосунок створили розробники llama.cpp у співпраці зі спільнотою Hugging Face. Він переносить на платформу Microsoft підхід, який раніше використовувався у версії Llama для macOS: користувач може вибрати модель зі списку, завантажити її та почати роботу за кілька кліків. Програма інтегрується в системний трей Windows 11, звідки можна керувати моделями та запускати чат із ШІ.
Однією з головних переваг застосунку є автоматизація встановлення. Якщо на комп’ютері ще немає необхідних компонентів llama.cpp, Llama може завантажити їх самостійно. Користувачеві не потрібно вручну шукати відповідну збірку, встановлювати додаткові інструменти або вводити команди в терміналі.
Моделі можна вибирати та завантажувати безпосередньо з каталогу Hugging Face. Застосунок також показує інформацію про доступні варіанти контекстного вікна й орієнтовні вимоги до пам’яті, що допомагає підібрати модель відповідно до можливостей комп’ютера. Для швидкого доступу до чату передбачено комбінацію клавіш Alt + Space. Вона відкриває окреме вікно з вебінтерфейсом завантаженої моделі незалежно від того, у якій програмі зараз працює користувач.
На відміну від хмарних чат-ботів, локальні моделі виконують обчислення на пристрої користувача. Це дає змогу працювати з ними без постійного підключення до інтернету після завантаження необхідних компонентів і самої моделі. Локальний запуск також може бути корисним для тих, хто не хоче передавати свої запити зовнішнім ШІ-сервісам або оплачувати використання моделей через API.
За описом розробників, запити та відповіді обробляються на комп’ютері, а сам застосунок поширюється безкоштовно з відкритим вихідним кодом. Водночас продуктивність залежить від апаратного забезпечення. Великі моделі потребують значного обсягу оперативної пам’яті або відеопам’яті, а швидкість генерації відповідей визначається можливостями процесора та графічного прискорювача.
Llama для Windows призначена не лише для спілкування з ШІ у власному інтерфейсі. Застосунок може запускати локальний сервер, до якого підключаються інші програми. Сумісність із API у форматі OpenAI дає змогу інтегрувати локальні моделі з інструментами для програмування, редакторами коду та власними скриптами. У такому разі застосунок може використовувати модель, запущену на комп’ютері, замість звернення до зовнішнього сервісу.
Ще одна особливість — спільне сховище моделей у кеші Hugging Face. Це дає змогу використовувати завантажені файли в інших сумісних інструментах, не зберігаючи окрему копію для кожної програми.
Застосунок доступний безкоштовно для Windows 11. Завантажити його можна на офіційному сайті Llama або переглянути вихідний код і доступні збірки в репозиторії на GitHub.
Таким чином, Llama спрощує доступ до локального штучного інтелекту для користувачів, які не мають досвіду роботи з командним рядком. Програма об’єднує завантаження моделей, їх запуск і доступ до локального API в одному інструменті, хоча для комфортної роботи з потужними моделями все одно знадобиться комп’ютер із достатнім обсягом пам’яті.
3
