Слежка Apple без камер по звуку и движениям
Компания Apple опубликовала отчёт по результатам исследования, цель которого заключалась в изучении того, как большие языковые модели (LLM) могут анализировать аудиоданные и данные о движении, чтобы получить представление о том, что делает пользователь.
Опубликованная недавно научная работа «Использование LLM для последующего объединения мультимодальных данных датчиков для распознавания активности» позволяет понять, как Apple рассматривает возможность объединения данных анализа с помощью ИИ-моделей с традиционными данными от датчиков для более точного понимания активности пользователя. По мнению исследователей, это имеет большой потенциал для повышения точности анализа активности, даже в случаях, когда одних данных от датчиков для этого недостаточно.
«Потоки данных с датчиков предоставляют ценную информацию о деятельности и контексте для разных приложений, хотя интеграция дополнительной информации может быть сложной задачей. Мы показываем, что большие языковые модели можно задействовать для последующего объединения данных при классификации активности на основе временных рядов, аудио и данных о движении», — говорится в работе Apple.
Исследователи отобрали подмножество данных для разнообразного распознавания активности в разных контекстах, например, выполнения домашних дел или занятий спортом, из набора данных Ego4D. Было установлено, что большие языковые модели достаточно хорошо справляются с задачами, связанными с определением того, что пользователь делает, анализируя звуковые и двигательные сигналы. Примечательно, что они справляются с такими задачами достаточно хорошо, даже если их специально не обучали этому. Если же им предоставить всего один пример для обучения, то точность сразу значительно повышается. Отмечается, что LLM в исследовании обрабатывала не саму аудиозапись, а текстовое описание, сгенерированное аудиомоделями и моделью движения, которая получает данные от акселерометра и гироскопа.
В сообщении сказано, что в рамках исследования использовался набор данных Ego4D, снятых от первого лица. Эти данные содержат тысячи часов записей из реального мира, на которых запечатлены разные ситуации — от домашних дел, до занятий спортом и активного отдыха. «Мы создали набор данных о повседневных активностях из набора Ego4D, выполнив поиск действий из повседневной жизни в предоставленных текстовых описаниях. Отобранный набор данных включает в себя 20-секундные выборки из 12 видов активностей: уборка пылесосом, готовка, стирка, прием пищи, игра в баскетбол, игра в футбол, игра с домашними питомцами, чтение книги, работа за компьютером, мытьё посуды, просмотр ТВ, силовые тренировки. Эти активности были выбраны таким образом, чтобы охватить спектр домашних и связанных со спортом задач на основе их широкого распространения в исходном наборе данных», — говорится в исследовании.
Исследователи обработали звуковые данные и данные о движении с помощью небольших ИИ-моделей, которые генерировали текстовые описания и прогнозы касательно категории активности, после чего данные передавались в разные LLM (Gemini-2.5-pro и Qwen-32B), чтобы оценить, насколько хорошо они могут идентифицировать активность. Затем Apple сравнила производительность этих двух ИИ-моделей в разных ситуациях: в одной из них предоставлялся список из 12 возможных активностей (закрытый набор), а в другой не было никаких вариантов (открытый набор). Для каждого теста предоставлялись разные комбинации текстовых расшифровок аудио, аудиометок, прогнозов по активностям, а также дополнительный контекст.
Большие языковые модели показали значительно более точные результаты, чем базовые модели, работающие только с одним типом данных, особенно в сложных сценариях. Наивысшей точности удалось добиться при работе с закрытым набором данных, когда модель должна была выбирать одну из 12 активностей. При работе с открытым набором ИИ-модели также показали хорошие результаты, но иногда ответы были слишком обобщёнными или неточными. Gemini-2.5-pro и Qwen-32B показали сопоставимые результаты с небольшими преимуществами друг над другом в разных категориях, что говорит об универсальности такого подхода.
Исследование Apple показывает, что ИИ-модели могут выступать в роли мощного и гибкого инструмента для объединения и анализа мультимодальных данных с минимальным дообучением. Это может способствовать созданию более умных и контекстно-осознанных систем на мобильных устройствах и носимых гаджетах.
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Отправить донат на поддержку проекта "Аномальные новости"
Меню
Архив материалов
Проекты наших читателей
Контакты исследователей
Подписка на новости
Проекты
Новости криптозоологии
Хроники природных катастроф
Новости
26.02.2002 - 05.07.2002
05.08.2002 - 23.10.2002 (562)
24.10.2002 - 17.01.2003 (585)
20.01.2003 - 07.04.2003 (709)
08.04.2003 - 01.08.2003 (709)
04.08.2003 - 18.11.2003 (763)
19.11.2003 - 31.03.2004 (721)
01.04.2004 - 13.08.2004 (825)
16.08.2004 - 22.11.2004 (782)
23.11.2004 - 28.03.2005 (756)
29.03.2005 - 29.07.2005 (807)
30.08.2005 - 02.12.2005 (927)
05.12.2005 - 21.04.2006 (912)
24.04.2006 - 23.10.2006 (999)
24.10.2006 - 03.05.2007 (999)
04.05.2007 - 28.01.2008 (999)
29.01.2008 - 12.01.2009 (999)
13.01.2009 - 07.07.2009 (966)
22.08.2009 - 21.01.2010 (996)
22.01.2010 - 22.06.2010 (1000)
23.06.2010 - 14.01.2011 (1042)
17.01.2011 - 31.05.2011 (1008)
01.06.2011 - 03.11.2011 (1003)
07.11.2011 - 16.03.2012 (996)
19.03.2012 - 09.06.2012 (1009)
13.06.2012 - 07.09.2012 (988)
10.09.2012 - 19.11.2012 (1004)
20.11.2012 - 14.01.2013 (1015)
15.01.2013 - 22.02.2013 (1000)
23.02.2013 - 08.04.2013 (991)
09.04.2013 - 31.05.2013 (1015)
01.06.2013 - 18.07.2013 (992)
19.07.2013 - 03.09.2013 (1014)
04.09.2013 - 20.10.2013 (1001)
21.10.2013 - 02.12.2013 (1001)
03.12.2013 - 18.01.2014 (997)
19.01.2014 - 07.03.2014 (994)
08.03.2014 - 24.04.2014 (1000)
25.04.2014 - 18.06.2014 (1005)
19.06.2014 - 15.08.2014 (1019)
16.08.2014 - 07.10.2014 (1006)
08.10.2014 - 16.11.2014 (995)
17.11.2014 - 25.12.2014 (1004)
26.12.2014 - 09.02.2015 (989)
10.02.2015 - 20.03.2015 (998)
21.03.2015 - 22.04.2015 (1001)
23.04.2015 - 29.05.2015 (997)
29.05.2015 - 30.06.2015 (995)
30.06.2015 - 29.07.2015 (990)
29.07.2015 - 26.08.2015 (998)
27.08.2015 - 24.09.2015 (988)
25.09.2015 - 22.10.2015 (991)
23.10.2015 - 18.11.2015 (1000)
18.11.2015 - 16.12.2015 (990)
17.12.2015 - 23.01.2016 (1000)
24.01.2016 - 25.02.2016 (1000)
26.02.2016 - 24.03.2016 (1000)
24.03.2016 - 16.04.2016 (990)
17.04.2016 - 19.05.2016 (999)
20.05.2016 - 22.06.2016 (993)
23.06.2016 - 01.08.2016 (995)
02.08.2016 - 12.09.2016 (990)
13.09.2016 - 25.10.2016 (989)
26.10.2016 - 05.12.2016 (995)
06.12.2016 - 15.01.2017 (995)
16.01.2017 - 23.02.2017 (990)
24.02.2017 - 03.04.2017 (994)
04.04.2017 - 18.05.2017 (1000)
19.05.2017 - 05.07.2017 (1000)
06.07.2017 - 24.08.2017 (1000)
25.08.2017 - 06.10.2017 (991)
07.10.2017 - 15.11.2017 (990)
16.11.2017 - 24.12.2017 (1000)
25.12.2017 - 04.02.2018 (990)
05.02.2018 - 17.03.2018 (1000)
18.03.2018 - 02.05.2018 (990)
03.05.2018 - 11.06.2018 (1000)
12.06.2018 - 18.07.2018 (990)
19.07.2018 - 24.08.2018 (1000)
25.08.2018 - 02.10.2018 (1000)
03.10.2018 - 07.11.2018 (990)
08.11.2018 - 13.12.2018 (990)
14.12.2018 - 23.01.2019 (1000)
24.01.2019 - 02.03.2019 (1000)
03.03.2019 - 12.04.2019 (1010)
13.04.2019 - 23.05.2019 (990)
24.05.2019 - 03.07.2019 (1000)
04.07.2019 - 11.08.2019 (1000)
12.08.2019 - 16.09.2019 (990)
17.09.2019 - 26.10.2019 (1000)
27.10.2019 - 12.12.2019 (1000)
13.12.2019 - 25.01.2020 (1000)
26.01.2020 - 06.03.2020 (990)
07.03.2020 - 16.04.2020 (1010)
17.04.2020 - 19.05.2020 (1000)
20.05.2020 - 25.06.2020 (990)
26.06.2020 - 04.08.2020 (995)
05.08.2020 - 16.09.2020 (1005)
17.09.2020 - 26.10.2020 (990)
27.10.2020 - 27.11.2020 (990)
28.11.2020 - 07.01.2021 (990)
08.01.2021 - 15.02.2021 (1000)
16.02.2021 - 31.03.2021 (1000)
01.04.2021 - 12.05.2021 (1000)
13.05.2021 - 14.06.2021 (990)
15.06.2021 - 26.07.2021 (980)
27.07.2021 - 31.08.2021 (990)
01.09.2021 - 07.10.2021 (1000)
08.09.2021 - 07.11.2021 (1000)
08.11.2021 - 10.12.2021 (1000)
11.12.2021 - 24.01.2022 (990)
25.01.2022 - 04.03.2022 (1000)
05.03.2022 - 10.04.2022 (990)
11.04.2022 - 17.05.2022 (1000)
18.05.2022 - 23.06.2022 (980)
24.06.2022 - 31.07.2022 (990)
01.08.2022 - 13.09.2022 (990)
14.09.2022 - 21.10.2022 (990)
22.10.2022 - 29.11.2022 (1000)
30.11.2022 - 22.01.2023 (1000)
23.01.2023 - 02.03.2023 (990)
03.03.2023 - 21.04.2023 (1000)
22.04.2023 - 13.06.2023 (990)
14.06.2023 - 02.08.2023 (1000)
03.08.2023 - 21.09.2023 (1000)
22.09.2023 - 06.11.2023 (990)
07.11.2023 - 24.12.2023 (990)
25.12.2023 - 18.02.2024 (1000)
19.02.2024 - 05.04.2024 (990)
06.04.2024 - 25.05.2024 (1000)
26.05.2024 - 26.07.2024 (1000)
26.07.2024 - 25.08.2024 (990)
26.08.2024 - 28.09.2024 (980)
29.09.2024 - 01.11.2024 (1000)
02.11.2024 - 02.12.2024 (980)
03.12.2024 - 08.01.2025 (990)
09.01.2025 - 09.02.2025 (1000)
10.02.2025 - 20.03.2025 (1000)
21.03.2025 - 03.05.2025 (990)
04.05.2025 - 19.06.2025 (990)
20.06.2025 - 07.08.2025 (990)
08.08.2025 - 26.09.2025 (1000)
27.09.2025 - 15.11.2025 (1000)
16.11.2025 - 09.01.2026 (1000)
10.01.2026 - 03.03.2026 (1000)
04.03.2026 - 22.04.2026 (1000)
23.04.2026 - 04.06.2026 (990)
05.06.2026 - 25.07.2026 (1000)
26.07.2026 - 13.09.2026 (1000)
14.09.2026 - 02.11.2026 (1000)
03.11.2026 - ...
Статьи
Статьи: раздел 1 (1024)
Статьи: раздел 2 (1006)
Статьи: раздел 3 (1000)
Статьи: раздел 4 (1044)
Статьи: раздел 5 (1001)
Статьи: раздел 6 (1000)
Статьи: раздел 7 (1000)
Статьи: раздел 8 (1013)
Статьи: раздел 9 (1000)
Статьи: раздел 10 (1000)
Статьи: раздел 11 (329)
Статьи: раздел 12 (1000)
Статьи: раздел 13 (730)
Лента новостей

Астероиды у белых карликов не распадаются в пыль

Бактерии-зомби синтезируют ДНК после смерти

Водяной лед на Церере скрывает залежи солей

Звезды производят кислород для небольших галактик

Зверь с Брей Роуд, что ускользнуло от объективов камер

Зомби существуют - спросите хотя бы паразитов

Как определить происхождение космонейтрино

Квантовый вакуум уменьшает черные дыры

Комета 3I-ATLAS родилась в крайне холодных условиях

Куда нужно ударить, чтобы изменить траекторию астероида

Лавовый мир ставит непростые вопросы

Лед Марса меняется вместе с сезонным инеем

Малоизученный компонент в составе астероида Рюгу

Марсианская пыль менее абразивная, чем лунная

Модель Земли для поиска жизни на других планетах

Новые признаки вулканической активности на Марсе

Пределы массы для пар сверхмассивных черных дыр

Редкий метеорит проливает свет на прошлое Марса

Риски заболеваний растений на Луне и Марсе

Столкновения планет помогают атмосферам молодых миров

Архитектура миссии 'Обсерватория обитаемых миров'

Власти США годами высмеивали НЛО

Возмущения таинственного спутника Бетельгейзе

Довольно краткая история METI

Древний резервуар воды в области пояса Койпера

Защита экипажей от марсианской пыли

Как появилась вода на Земле

Кометы могли занести жизнь на Землю

Летающий аппарат готовится к воздушному патрулированию

Мозговой имплант вернул голоса пациентам с БАС

Мой опыт пребывания на грани смерти

Невидимый объект не укладывается в известную физику

Необычная теория приостановки полетов над США

Необычные орбиты горячих экзопланет

Планирование будущих космических баз

Правое полушарие мозга управляет левой стороной тела

Связь между кометой 3I-ATLAS и далекими ледяными телами

Создали ИИ для слежки за людьми по всему миру

Существует ли секретная программа по изучению НЛО

Теория игр помогает в поиске внеземных цивилизаций

Где может скрываться внеземная жизнь

Гигантский НЛО направил яркие лучи в спальню

Двойной диск обломков вокруг мертвой звезды

Древняя инопланетная цивилизация на Марсе

Женщина, фотографируя радугу, сняла НЛО

Земля может столкнуться с Марсом

ИИ может уничтожить человечество всего за три года

ИИ подрывает доверие к теме НЛО

Инопланетная пирамида обнаружена около Антарктиды

Обнаружена очередная карликовая планета

Обнаружена планета-океан недалеко от Земли

Обнаружили быстрорастущую черную дыру

Одни ли мы во Вселенной

Пара из Нью-Джерси заметила промокшего бигфута

Почему пятница, 13-е, считается несчастливым днем

Пять инопланетных сфер замечены в Висконсине

Самый грязный человек умер после мытья

Столкновения звезд были обычным явлением

Что произошло во время инцидента в лесу Рендлшем

Ярко-желтую рыбу поймали в Нью-Йорке

Почему спина болит по утрам и как вернуть себе легкость с первых секунд после пробуждения

Оптовая закупка счетчиков воды. На что обратить внимание при выборе поставщика

Британия - край фантастических существ

Выдержит ли ваш дом Апокалипсис

Гигантский НЛО со свисающими щупальцами

Загадочный радиосигнал каждые восемь минут

Когда наступит Конец Света

Луис Элизондо. Я нахожу истину

Мир магнетизма, о котором раньше не подозревали

Могут ли новые телескопы разгадать тайну НЛО

Может ли инопланетная жизнь процветать в кислоте

Небольшая деревня стала центром наблюдения НЛО

Огни Финикса - загадочное массовое наблюдение НЛО

От Лох-Несского чудовища до призраков и НЛО

Паранормальный феномен - эффект автостопщика

Планируется создание телескопов для наблюдения за НЛО

После встречи с НЛО очевидцы почувствовали недомогание

Проблема индукции. У науки есть проблема - так ли это

Руководство по противодействию социальной инженерии

Рядом с военной базой США на Аляске замечен НЛО

У экспертов есть объяснение странному явлению на Аляске

Шокирующие откровения на слушаниях в Конгрессе США

Автомобилист заметил мокрого бигфута

Аномальная зона зафиксирована на Ольхоне

Близкие контакты в Западном Йоркшире

Дональд Трамп может показать инопланетянина

Инопланетяне исследуют военную базу на Аляске

Когда призраки становятся жилищной проблемой

Мировой заговор источников бесперебойного питания

Мужчина видит людей с кошачьими глазами

Над Аляской заметили гигантский НЛО

НЛО-медузу сняли рядом с военной базой на Аляске

Очень странные рассказы о круглых НЛО

План строительства поселения на Луне

Почтовая служба США выпустит серию марок с криптидами

Разгорелись споры вокруг 'призрачного воспитания'

Странные случаи с медсестрами

Странный мир журнала 'Psychic Australian'

Тихоходки пережили космический полет

Трамп сообщает о загадочном наблюдении НЛО

У экспертов есть объяснение НЛО-медузы

Экзопланета TOI 2535 b - исчезла

Подготовка к ОГЭ по истории в 9 классе. Эффективная стратегия достижения высокого результата

Ави Лёб комментирует заявления Трампа об НЛО

В наших окрестностях должны быть черные дыры

Запущен зонд к загадочным спутникам Марса

Знакомые места из другой эпохи

Минерал из недр экзопланет преподносит сюрприз

Наблюдения за черными дырами

Наша Вселенная удерживается благодаря клею

НЛО со щупальцами завис рядом с военной базой США

Облака на лавовой планете ставят под сомнение ожидания

Обнаружены возможные следы Ноева ковчега

Пилот из Чешира сообщает о наблюдении НЛО

Протопланетные диски Ориона выглядят моложе

Решение неразрешимых матзадач

Связали картину Ван Гога с реальным ночным небом

Солнце ободрало межзвёздную комету 3I-ATLAS

Существуют ли мегаземли

Физики смогли удержать частицу антиматерии

Цели для первого в мире частного космотелескопа

Черные дыры могут разделиться на две части

Черные дыры, выброшенные из центров галактик

Применение многокамерных профилей в производстве пластиковых окон. Преимущества технологии

Подготовка к ЕГЭ по литературе онлайн. Плюсы обучения

Альтернативная космология без темной материи

Вандалы повредили древние петроглифы в Юте

Грядущее противостояние людей и нелюдей

Дональд Трамп не был сторонником теории об НЛО

ИИ научился шпионить через HDMI-кабель

Иные миры могут менять направление своего движения

Можем ли мы подключиться к сети связи инопланетян

Пилоты истребителей видели круглые объекты

После распятия Иисуса провозгласили Богом

Разработали роботизированную кисть из Семейки Аддамс

Раньше для поиска пропавших вещей можно было нанять мага

США испытали первого в мире робота-космостроителя

Съемочная группа запечатлела на камеру НЛО

Трамп обсуждает НЛО в программе '60 минут'

У властей нет данных о переписке по поводу НЛО

Удалось ли разгадать тайну острова Оук

Что видели соседи в окрестностях ранчо Скинволкер

Что на самом деле содержится в файлах об НЛО

Что такое катастрофическое раскрытие НЛО

Ясновидящий требует от сети кинотеатров деньги

Авиасообщение в США перестанет зависеть от дискет

Встречи, благодаря которым легенда о Чампе живет

Гигаканьон на Марсе остается тектонически активным

Доказательство вулканической активности на Марсе

Загадочный Меркурий останется тайной

ИИ решает неразрешимые задачи математики

Квантовую вероятность невозможно вывести

Крушения НЛО и лицо на Марсе

Лаборатории, заполненные тысячами ГМ-животных

Магнетар рождается при столкновении нейтронных звезд

Обнаружена очень редкая звездная система

Пилот из Чешира сообщает о наблюдении НЛО

Пилоты ВВС рассказали очень странные вещи

Пилоты ВВС сообщали о странных явлениях в небе

Почему так сложно распознать лжеца

Появление кометы Галлея повергло мир в ужас

Трон пришельца - уникальное скальное образование

Ученые исследуют феномен призраков в зеркалах

Экспериментальные конструкции лопастей для марсолетов

Я видел НЛО во время семи полетов

Автономера с криптидами стали настоящим хитом

Активный вулканизм на современном Марсе

Архивные материалы похищения в Паскагуле

Доказательств наблюдения черного НЛО - нет

Загадка алтарного камня Стоунхенджа

Загадочный парящий серебристый шар в Мексике

Закономерности в околосмертых переживаниях

Ключевые сторонники НЛО переизбраны

Кошачья царапина привела к некрозу селезенки

Крылатый НЛО снова замечен рядом с Солнцем

Нападение пришельцев в лесу Дечмонт

Невидимые спутники альпинистов и исследователей

Охотник в Айдахо почувствовал запах бигфута

Пилот наблюдал НЛО над Брюсселем

Светящийся НЛО в небе над Ютой

Скальные образования 'Трон пришельца' обрушились

Старинного шамана назвали потомком помора

Судебное разбирательство из-за слежки через Smart-TV

Фестиваль НЛО прошел в Белвилле

Ярко-синий объект над Колумбией

Детский психолог онлайн. Профессиональная помощь ребенку в комфортной обстановке

Наверх
Яндекс.Метрика