16 - NAOTherapist.pdf - Google Drive

Inteligencia Artificial y Robótica Social dan vida a NAO, el robot terapeuta José Carlos Pulido, José Carlos González y Fernando Fernández Institute for Process Control and Robotics (IPR), Automation and Robotics Grupo de Planificación y Aprendizaje

of the State of Baden-Wuerttemberg and 18KIT de– University noviembre de 2016 National Research Center of the Helmholtz Association

Dpto. de Informática www.kit.edu

Índice

1. 2. 3. 4. 5.

@NAO_Therapist NAOTherapist

Robótica Inteligencia Artificial NAOTherapist Evaluación Conclusiones y estado actual

Inteligencia Artificial y Robótica Social dan vida a NAO, el robot terapeuta

2



3

Robótica • La robótica es la ciencia o disciplina que estudia el diseño y construcción de máquinas capaces de realizar tareas del ser humano y que en muchos casos requieren uso de “inteligencia”. El término “robot” viene de la palabra checa “robota”, que significa trabajos forzados. Viene de la obra R.U.R. (Robots Universales Rossum) escrita por Karel Čapek en 1920.



4

Robótica militar Petman

AlphaDog

Bomb Squad Robot

Spot



5

Robótica de exploración y vigilancia


Drones o UAVs

Mars Rovers

Rhex

Sand Flea


6

Robótica industrial


Industrial Robots

ABB Robots

AgroBot

Kiva Amazon


7

Otros…



8

Robótica asistencial MIT Intelligent Wheelchair

Care-O-Bot

Modular Prosthetic Limbs



9

Robótica social de asistencia “Robots que ofrecen un servicio o asistencia a personas de forma interactiva” PARO Robot

ROBEAR



10



11

¿Qué es una conducta consciente?



12

¿Qué es la Inteligencia Artificial? • IA Fuerte: La inteligencia puede reducirse a seguir un conjunto de reglas computables. • IA Débil: Cualquier acción física puede ser computacionalmente simulada.

Se reduce a un conjunto de técnicas/algoritmos que permite automatizar procesos o resolver problemas que requieren inteligencia.



13

IA con inspiración biológica Redes de neuronas artificiales



14

IA con inspiración biológica Enjambres y comportamientos colectivos



15

Aprendizaje Automático Aprendizaje por Refuerzo



16

Búsqueda Heurística Algoritmo de búsqueda de caminos A*



17

Planificación Automática • Coger (B) • Apilar (B1,B2) • PonerEnMesa (B) B = Bloque


A

B

B

A

Estado inicial

Estado final


1. 2. 3. 4.

Coger(A) PonerEnMesa(A) Coger(B) Apilar(B,A)

18

Planificación Automática • Mover (R,W) • Analizar (R,M) R = Rover W = Waypoint M = Muestra

?

?

W

?

?

Rover 1

W

? ?

?

W

Meta

? W

Rover 2



19



20

Contexto del problema • Niños de 3 a 14 años • Parálisis Braquial Obstétrica (PBO) • Parálisis cerebral (CP)

Columna vertebral

Plexo braquial

• Se reflejan en trastornos motrices.

• Necesitan rehabilitación física para:  Recuperar la movilidad de las extremidades.  Reducir la rigidez muscular.  Incrementar la autonomía del paciente • •

Vestirse Comer ©2007 RelayHealth



21

Restricciones del modelo • Una sesión tiene una duración máxima y mínima 1. Calentamiento 2. Entrenamiento 3. Enfriamiento

Intensidad Dificultad 20%

60%

20%

• La distribución de los ejercicios debe ser lo más variada posible. • Restringir cierto grupo de ejercicios de acuerdo a las condiciones del paciente. @NAO_Therapist NAOTherapist


22

Protocolo terapéutico

• Fase A. Tarea costosa para el terapeuta. • Fase B. Ejercicios repetitivos, pérdida de interés y compromiso del paciente.



23

Nuevos métodos de terapia

¡El uso de robots sociales puede mejorar la adherencia al tratamiento! @NAO_Therapist NAOTherapist


24

Objetivos • Arquitectura cognitiva para el desarrollo de sesiones de rehabilitación física asistidas por un robot social humanoide: – Basado en interacción humano-robot – Autonomía total sin intervención humana – Monitorización y validación de la sesión – Adaptación a las dificultades del paciente – Diseño automático del plan de terapia – Generación de informes clínicos



25

¿Cómo es una sesión de rehabilitación con NAO?



26



27

Arquitectura NAOTherapist • Utiliza técnicas de Inteligencia Artificial • Consta de tres niveles de Planificación Automática • Formada por componentes independientes • Fácilmente extensible y configurable • Independiente de la plataforma robótica • Ofrece autonomía completa al robot



28



29

Tres niveles de planificación Therapy configuration

High-level planning

Therapy Designer

Step A: Therapy definition Planned sessions

Step B: Session execution Medium-level planning

Anthropometric data

Decision Support Kinect Sensor Perception Actions Low-level Instructions

Low-level planning

Robot Controller Cognition


Action Inteligencia Artificial y Robótica Social dan vida a NAO, el robot terapeuta

Humanoid robot 30



31

Proceso de planificación Ejercicios almacenados E3

E7 E2

Sesiones planificadas … S1 S2 S3

E5 E9

E1

Restricciones

E6 E4

E0 E8

…

Objetivos terapéuticos

E9

E7

E8

E1

E0

E2

E6

E5

E0

E3

E4

E3

E5

E6

E8

E1

Sugerir un nuevo L0 ejercicio E9

E1

E5

• Planificación Automática: Modelo jerárquico HTN @NAO_Therapist NAOTherapist


32



33

Esqueleto de Kinect



34

Esqueleto de Kinect HandLeft(X,Y,Z)

ElbowLeft(X,Y,Z)

KneeRight(X,Y,Z)

HandRight(X,Y,Z)

y y

z x


ElbowRight(X,Y,Z)

z x


35

Reconocimiento de poses Kinect SDK + Captura de datos + Cálculo de ángulos Postura del paciente Postura esperada

Comparador de posturas

Modelo de visión

Correcta o incorrecta @NAO_Therapist NAOTherapist


36

Reconocedor de expresiones faciales Sensor 3D Kinect

Reconocedor



37



38

Componente Ejecutivo Contiene un modelo del estado actual del mundo  Para recibir acciones desde el soporte a la decisión

Visión

Robot NAO

Ejecutivo

PELEAComp

Pred. exógenos

Decision Support

detected_patient identified_patient patient_distracted emergency_situation posture_changed paused_session uncontrolled_situation posture_state correct_pose

Metric-FF

Monitoring Estado mundo

Execution

Pred. no exógenos

Acción



39

Comportamiento nominal detect-patient claim-sit-down

identify-patient

claim-stand-up

start-training

claim-attention pause-session

introduce-exercise

resume-session cancel-session correct-pose

greet-patient

stand-up

sit-down

start-exercise execute-pose finish-pose finish-exercise finish-training

say-good-bye finish-session @NAO_Therapist NAOTherapist


40



41

Evaluación • Interacción social con más 120 niños de colegios (5 – 9 años)

• Primer contacto con tres pacientes del HUVR • Criterios de evaluación: – Interacción social y presencia del robot – Actitud y comportamiento de los niños – Compromiso activo – Rendimiento de los pacientes – Utilidad del prototipo @NAO_Therapist NAOTherapist


42

Mecanismo de evaluación

• Cuestionarios • Etiquetado de vídeos • Registros de ejecución



43

Evaluación con pacientes del HUVR



44

Personalidad del robot



45

Conclusiones • Los participantes se muestran motivados y hacen un esfuerzo por seguir la sesión con el robot. • Consideran al robot como una entidad sociable. • Son capaces de seguir las sesiones sin explicaciones previas. • El robot lleva a cabo la sesión de forma autónoma y fluida. • Los expertos consideran que el robot es una herramienta de terapia útil para la rehabilitación.



46

¡Evaluaciones a largo plazo!



47

Publicaciones •

Playing with Robots: An Interactive Simon Game: Mısra Turp, José Carlos Pulido, José Carlos González, Fernando Fernández, in proceedings of the Workshop on Social Robotics and Human-Robot Interaction (RSIM), CAEPIA 2015 Albacete (Spain), 2015.

•

Therapy Monitoring and Patient Evaluation with Social Robots: Alejandro Martín, José Carlos González, José Carlos Pulido, Ángel García-Olaya, Fernando Fernández and Cristina Suárez-Mejías, in proceedings of the 3rd Workshop on ICTs for improving Patients Rehabilitation Research Techniques, REHAB 2015 Lisbon (Portugal), 2015.

•

Planning, Execution and Monitoring of Physical Rehabilitation Therapies with a Robotic Architecture: José Carlos González, José Carlos Pulido, Fernando Fernández and Cristina Suárez-Mejías, in proceedings of the 26th Medical Informatics Europe conference (MIE), Studies in Health Technology and Informatics, vol. 210, pp. 339-343, Madrid (Spain), 2015, doi:10.3233/978-1-61499-512-8-339.

•

Goal-directed Generation of Exercise Sets for Upper-Limb Rehabilitation: José Carlos Pulido, José Carlos González, Arturo González-Ferrer, Javier García, Fernando Fernández, Antonio Bandera, Pablo Bustos and Cristina Suárez, in proceedings of the 5th Workshop on Knowledge Engineering for Planning and Scheduling (KEPS), ICAPS conference, pp. 38-45, Portsmouth (New Hampshire, USA), 2014.


Terapias de Rehabilitación Motora con el robot NAO

48

¡NAO, nacido para jugar al futbol!



49


of the State of Baden-Wuerttemberg and 14KIT de– University noviembre de 2016 National Research Center of the Helmholtz Association



Gracias por vuestra atención

of the State of Baden-Wuerttemberg and 24KIT de– University febrero de 2016 National Research Center of the Helmholtz Association
