Видео
В мире
Используя крупные языковые модели, группа исследователей из Университета Бингемтона (Государственный университет Нью-Йорка) создала систему говорящего робота-поводыря, которая определяет оптимальный маршрут и безопасно ведет пользователей к месту назначения, предоставляя по ходу пути обратную связь в режиме реального времени.
«В рамках этой работы мы демонстрируем аспект роботизированной собаки-поводыря, который превосходит возможности биологических собак-поводырей», — сказал Шици Чжан, доцент Школы вычислительной техники Колледжа инженерии и прикладных наук имени Томаса Дж. Уотсона. «Настоящие собаки в лучшем случае могут понять около 20 команд. Но для роботизированных собак-поводырей достаточно просто установить GPT-4 с голосовыми командами. Тогда у них появятся очень мощные языковые возможности».
Чжан и его команда ранее обучали роботов-собак-поводырей вести людей с нарушениями зрения, реагируя на рывок поводка. Эта новая система выводит их работу на новый уровень, создавая голосовой диалог между пользователем и собакой и обеспечивая больший контроль и ситуационную осведомленность. Робот предоставляет информацию о маршруте перед выходом (то, что исследователи называют «вербализацией плана») и информацию во время движения («вербализацию обстановки»).
«Это очень важно для людей с нарушениями зрения или слепых, поскольку без зрения понимание ситуации и обстановки относительно ограничено», — сказал Чжан.
Для тестирования системы команда привлекла семерых официально признанных слепых участников, которым предстояло перемещаться по большому офисному помещению, состоящему из нескольких комнат. Робот спрашивал пользователя, куда тот хочет пойти (в этом эксперименте — в конференц-зал), а затем предлагал возможные маршруты к этому помещению и время, необходимое для достижения цели. Как только пользователь выбирал предпочтительный маршрут, робот сопровождал его до конференц-зала, описывая окружающую обстановку и препятствия по пути (например, «это длинный коридор») до тех пор, пока не достигал пункта назначения.
После тестирования пользователи заполнили анкету о своих впечатлениях, оценив полезность системы, легкость общения и ее практическую ценность. В целом участники отдали предпочтение комбинированному подходу, включавшему объяснения по планированию маршрута и описание обстановки роботом в режиме реального времени. Моделирование работы системы также показало, что этот подход оказался успешным.
В дальнейшем команда планирует провести дополнительные исследования с участием пользователей, повысить автономность системы и обеспечить навигацию роботов на более длинные расстояния как в помещениях, так и на улице.
Цель этого исследования — способствовать интеграции роботов-собак-поводырей в повседневную жизнь. Участники исследования с энтузиазмом отнеслись к этой возможности.
«Они были очень воодушевлены этой технологией, роботами, — сказал Чжан. — Они задавали много вопросов. Они действительно видят потенциал этой технологии и надеются, что она будет работать».
