В течение последних нескольких месяцев было много слухов и сообщений о планах Apple по выпуску носимых устройств с возможностями искусственного интеллекта. В настоящее время похоже, что прямые конкуренты Apple Ray-Bans от Meta будут запущены примерно в 2027 году, наряду с AirPods с камерами, которые будут предлагать собственный набор функций, основанных на искусственном интеллекте. Хотя пока слишком рано знать, как они будут выглядеть, Apple только что предоставила представление о том, как может работать их искусственный интеллект. В 2023 году команда по исследованию машинного обучения Apple выпустила MLX, свою собственную открытую ML-платформу, специально разработанную для Apple Silicon. Вкратце, MLX предлагает легкий способ обучения и запуска моделей локально на устройствах Apple, оставаясь при этом знакомым для разработчиков, привыкших к более традиционно связываемым с разработкой ИИ фреймворкам и языкам. Теперь Apple выпустила FastVLM: Визуальную языковую модель, которая использует MLX для предоставления практически мгновенной обработки высокого разрешения изображений, требуя при этом значительно меньше вычислительных ресурсов, чем аналогичные модели. Как поясняет Apple: На основе всестороннего анализа эффективности взаимодействия между разрешением изображения, латентностью обработки видения, количеством токенов и размером языковой модели мы представляем FastVLM - модель, которая достигает оптимального баланса между латентностью, размером модели и точностью. В основе FastVLM лежит кодировщик под названием FastViTHD. Этот кодировщик был "специально разработан для эффективной работы VLM с изображениями высокого разрешения". Он работает в 3,2 раза быстрее и в 3,6 раза меньше, чем аналогичные модели. Это важно, если вы хотите, чтобы ваше устройство обрабатывало информацию локально, без обращения к облаку для генерации ответа на то, о чем спросил пользователь.