На WWDC в июне Apple представила фреймворк Foundation Models, позволяющий разработчикам запускать модели ИИ локально на устройствах. Компания продвигает эту функцию в OS 26 выпусках для iPhone, iPad и Mac.

Фреймворк и поддержка устройств

Фреймворк Foundation Models предоставляет инструменты для интеграции компактных моделей прямо в приложения, при этом выполнение происходит на оборудовании конечного пользователя. Apple подчёркивает локальный вывод модели, чтобы сократить зависимость от внешних вычислений и сохранить отзывчивость при выполнении простых задач.

Размер моделей и типичные сценарии использования

Поставляемые Apple модели компактны, примерно 3B параметров, и не предназначены для сопоставления с мощностью ведущих облачных моделей других провайдеров. Эти модели рассчитаны на быстрые задачи, такие как суммирование текста и генерация меток на основе содержимого.

Интеграция, инструменты и расходы

Модели поддерживают вызов инструментов, позволяя разработчикам при необходимости связывать их с произвольными API и возможностями устройства. Поскольку инференс выполняется на устройстве, разработчики и пользователи избегают оплаты облачных вычислений за отдельные вызовы для этих локальных операций.

Private Cloud Compute для более крупных моделей

Apple планирует предложить Private Cloud Compute для размещения более крупных моделей, которые не могут эффективно работать на устройстве. Компания утверждает, что этот вариант позволит разработчикам комбинировать локальные модели с управляемой облачной инференцией для более тяжёлых нагрузок.

Демонстрация разработчиков и примеры

Apple выпустила демонстрацию, подчёркивающую, как разработчики применяют локальный ИИ в разных категориях, иллюстрируя практические интеграции и сценарии использования. В демонстрацию включены несколько сторонних приложений, демонстрирующих целевые применения моделей на устройстве.

• Lil Artist создаёт образовательные истории и викторины, адаптированные для детей, озвученные знакомыми персонажами и интерактивными подсказками.
• SmartGym использует данные о здоровье для составления персонализированных программ тренировок и адаптации рекомендаций под показатели пользователя.
• LookUp генерирует контекстные примерные предложения, чтобы помочь учащимся практиковать недавно встреченные иностранные слова в реалистичных контекстах.
• Essayist извлекает информацию из PDF-документов и перестраивает её в организованные справочные материалы и цитирования для облегчения обзора.

Фреймворк Foundation Models и локальные модели предлагают разработчикам путь для создания лёгких функций, ориентированных на конфиденциальность, без постоянной зависимости от облака. Подход Apple нацелен на баланс между мгновенной отзывчивостью на устройстве и опциональной облачной мощностью для рабочих нагрузок с более крупными моделями.