Дистанционное программирование роботов

Программно-аппаратная платформа предназначена для дистанционного управления и программирования  роботизированных комплексов различного назначения, имеющих в своем составе манипулятор, а так же для ассистирования  операторам таких комплексов в режиме реального времени. При этом, при необходимости объединения различных квалификаций, компетенций или полномочий для выполнения той или иной задачи с помощью РТС, ассистенты оператора могут находится на удалении от РТС и представлять из себя распределенную группу пользователей.

Продукт может быть использован для программировании робототехнической системы или для привязки сгенерированной off-line программы к системе координат реального обрабатываемого объекта в случаях когда оператор или программист удален от объекта или отсутствует 3D модель обрабатываемого объекта. Так же продукт может использоваться при проведении работ с использованием робототехнических систем в режиме "ручного" управления, например при работах в открытом космосе, под водой, в условиях боевых действий, в радиоактивной или био-зараженной среде или в других опасных для человека условиях при выполнении, например, ремонтных операций, операций сборки-разборки сложных конструкций, обработки каких-либо материалов, разминирования, других психологически напряженных для оператора работ.

Разработка данного решения производится в  рамках НИОКР финансируемой грантом Федерального государственного бюджетного учреждения «Фонд содействия развитию малых форм предприятий в научно-технической сфере». Заявка на конкурс №ЦТ-69229, конкурс Развитие-ЦТ,  лот «Новые производственные технологии». Тема: «Программно-аппаратная платформа для обеспечения совместной работы распределенных групп пользователей в режиме реального времени при ассистировании операторам робототехнических систем и дистанционного программирования роботов-манипуляторов с визуализацией данных методами дополненной реальности».

Актуальность разработки

Функционирование манипулятора любой робототехнической системы (РТС) при манипулировании с предметами или при операциях обработки предметов может осуществляться в двух режимах: под ручным управлением и в автоматическом режиме. При этом ручное управление, в зависимости от вида системы, может осуществляться либо с пульта управления, либо с помощью органа управления манипулятора, копирующего движение руки оператора, либо с помощью экзоскелета, движения которого в режиме копирования передаются на андроидный робот. Автоматический режим предполагает операцию программирования робота.

Ручной режим позволяет осуществлять сложные работы, при которых в полной мере задействуется интеллект и навыки оператора, и программирование данных операций является трудной, а на сегодняшний день, иногда, и неразрешимой задачей. 

Однако, при работе в реальных условиях возможностей отдельного оператора может быть недостаточно. При работах в открытом космосе, под водой, в условиях боевых действий, в радиоактивной или био-зараженной среде или в других опасных для человека условиях при выполнении, например, ремонтных операций, операций сборки-разборки сложных конструкций, обработки каких-либо материалов, разминирования, других психологически напряженных для оператора работ, может сказываться дефицит у оператора знаний, опыта, времени на принятие решений.

Может просто быть недостаточно информации о расположении невидимых оператору объектов, о технологических режимах и последовательности обработки, о применяемых инструментах и т.д. Особенно затруднительно в ручном режиме осуществлять операции, где требуется достаточно точное позиционирование инструмента относительно обрабатываемого объекта и его точное траекторное движение. В таких случаях, если такую работу исполняет не робот, а человек, человеку требуется предварительная разметка обрабатываемого объекта, что далеко не всегда возможно в описанных выше условиях. Программирование манипуляторов РТС в настоящее время может осуществляться двумя принципиально различными способами: «по точкам», и в режиме «off-line». В первом случае оператор прямо на обрабатываемом объекте указывает последовательные положения инструмента, а также скорость и способ перемещения инструмента между этими положениями. Этот способ предполагает присутствие оператора возле обрабатываемого объекта, что в указанных выше условиях в большинстве случаев невозможно, либо опасно для человека.

Второй способ предполагает наличие математической модели (как правило 3D) обрабатываемого объекта и его расположения в системе координата робота. При этом, в указанных условиях математическая модель может либо отсутствовать вовсе, либо сильно отличаться от реального объекта. Кроме того, положение реального объекта отличается от положения, предполагаемого при программировании по математической модели.

Все указанные ограничения применения ручного и автоматического режима функционирования манипуляторов существенно сужают возможности их применения. Для снятия данных ограничений, необходимо иметь инструменты и методы, позволяющие обеспечить ясные и наглядные подсказки оператору в виде текстовой или графической информации, предоставляемый в нужный момент и, при необходимости, точно привязанной к конкретным точкам в системе координат робота или обрабатываемого объекта. В настоящее время для снятия этих ограничений начали применяться системы дополненной реальности (Augmented Reality(AR)), предполагающие наложение виртуальных объектов (цифровые окна, голограммы, виртуальный текст и т.д) на реальный мир. Для погружения в дополненную реальность используются очки со встроенным дисплеем или виртуальные объекты накладывается на видео с камеры.

Для привязки виртуальных объектов к системе координат реальных объектов используются опорные маркеры с визуальными особенностями, которые легко различаются программными методами машинного зрения. Маркеры должны находиться в зоне расположения обрабатываемых объектов. На практике, в указанных выше условиях, изготовление таких маркеров и расположение их в требуемом месте может быть так же затруднительным или вообще невозможным. Существует метод, когда в качестве точек привязки используются визуальные особенности самого обрабатываемого предмета, однако они не всегда четко распознаваемы и могут быть недостаточно точно локализованы в пространстве (не точно определены их координаты).

Таким образом, необходимы средства, позволяющие методами дополненной реальности, без специальных опорных маркеров и с точной привязкой к реальной системе координат, в необходимой временной последовательности обеспечить оператора РТС визуальной текстовой и графической информацией, необходимой для выполнения работ в ручном режиме или при дистанционном программировании манипуляторов в условиях отсутствия математической модели обрабатываемых объектов и при их затрудненной доступности. Наличие таких средств, обеспечит возможности наглядного, информационно насыщенного ассистирования операторам, существенным образом расширит возможности РТС с манипуляторами и значительно увеличит число решаемых с их помощью задач.

Кроме того, визуализация траектории движения инструмента робота позволит упростить процесс программирования промышленных роботов-манипуляторов и в обычных условиях эксплуатации, а так же снизить требования к квалификации операторов практически любых промышленных роботов.

Система дополненной реальности для использования оператором робототехнических систем в качестве модуля-ассистента при  дистанционном управлении и дистанционном программировании манипуляторов РТС, не требующая наличия опорных маркеров и обеспечивающая точность привязки виртуальных объектов дополненной реальности достаточную для программной обработки объектов при операциях манипулирования, резки, сварки, различных видов мехобработки, других операциях, операциях имитационного моделирования.  Система будет настраиваема  для различных типов РТС, таких как промышленные роботы-манипуляторы, подводные роботы, роботы – андроиды, мобильные роботы-манипуляторы, сервисные роботы и т.п.

Данный программно-аппаратный модуль-ассистент позволяет осуществить объединение возможностей оператора и одного или нескольких экспертов-ассистентов и (либо) существенно упростить процесс программирования роботов и снизить требования к квалификации операторов РТС. Тем самым обеспечивая совместную работу  распределенных групп пользователей в режиме реального времени с визуализацией данных методами дополненной реальности.

Обсудить в соцсетях