Инженеры из исследовательского подразделения компании Toyota научили робота с руками новым навыкам. Теперь он умеет качественно обнаруживать прозрачные и зеркальные предметы, а также снимать себя на экшн-камеру, подбирая оптимальный ракурс. Toyota не первый год разрабатывает роботов с руками, надеясь в итоге создать роботизированных помощников по дому для людей с ограниченными возможностями или пожилых. Один из прототипов компания испытала с инвалидом-ветераном войны в 2017 году, тогда робот уже умел хватать предметы, к примеру, бутылку с водой, нажимать на кнопки и выполнять другие базовые бытовые действия.
Но, как это часто бывает в робототехнике, от первичного прототипа, выполняющего базовые задачи, до полноценного серийного робота проходит большой срок, во время которого разработчики решают множество мелких сценариев, которые встречаются довольно редко, но без них разработку нельзя выпускать в коммерческую стадию из-за недостаточной безопасности или неудобства. В начале года инженеры показали один из таких этапов, решив проблему навигации по дому с предметами на полу, ходящими людьми и другими препятствиями: они предложили закреплять робота на потолке вверх ногами.
В новом видео инженеры показали, как обучили робота работать с прозрачными предметами и снимать себя при помощи селфи-палки. Как и в прошлые разы инженеры использовали две разновидности робота: напольную и потолочную. Но функционально и конструкционно они одинаковы и различия касаются лишь подвижной платформы, к которой крепится робот. Он состоит из корпуса, который в свою очередь собран из нескольких сегментов, которые могут сгибаться и разгибаться относительно друг друга. На его конце закреплены две руки и голова с двумя камерами.
Главная из новых способностей заключается в том, что теперь робот лучше работает с предметами, состоящими из прозрачного материала или с зеркальным покрытием. До недавнего времени это представляло большую проблему для роботов, потому что, как правило, они определяли форму и границу предмета, сравнивая его вид с разных ракурсов, а если предмет выполнен из стекла или дает очень яркие отражения, алгоритмы не могут рассчитать по снимкам адекватную 3D-модель и подготовить план захвата. Но в последние годы исследователи из разных групп научились бороться с этой проблемой, и разработчики из Toyota тоже смогли реализовать в своем роботе качественное распознавание объектов при помощи камеры глубины. Для этого они воспользовались симулятором, в котором алгоритм видел трехмерные объекты в разной обстановке и должен был рассчитать его форму и границы. Выученный в виртуальной среде навык удалось перенести на реальное устройство, благодаря чему теперь робот может захватывать и двигать стаканы и другие прозрачные предметы, встречающиеся в домах.
Второй из новых навыков — умение снимать себя. Инженеры научили робота брать в руку селфи-палку с экшн-камерой на конце и располагать ее так, чтобы робот оказывался в центре кадра и со стороны, в которой он выполняет действия, например, подметает пол. В пресс-релизе авторы приурочили эту возможность к американскому дню селфи 21 июня, однако, вероятно, у нее есть и практические применения. Например, записи выполнения действий с нового ракурса, отличающегося от ракурса с головы, гипотетически можно использовать для обучения алгоритмов методом самообучения. В прошлом году инженеры Toyota разработали мягкий захват, позволяющий захватывать хрупкие предметы. Он состоит из двух надувных контактных площадок, внутри которых есть камера, определяющая параметры контакта благодаря искривлению поверхности площадок.
