Ser

Scientific Reports volumen 13, Número de artículo: 8966 (2023) Citar este artículo

2 Altmetric

Detalles de métricas

Un fenómeno autoorganizado en la coordinación postural es esencial para comprender el mecanismo de cambio automático de los modos de coordinación postural en fase y antifase durante la bipedestación y actividades supraposturales relacionadas. Anteriormente, se propuso un enfoque basado en modelos para reproducir este fenómeno autoorganizado. Sin embargo, si planteamos este problema incluyendo el proceso de cómo establecemos el modelo predictivo interno en nuestro sistema nervioso central, es fundamental considerar el proceso de aprendizaje para establecer una red neuronal para gestionar el control postural adaptativo. Particularmente cuando las características del cuerpo pueden cambiar debido al crecimiento o al envejecimiento o son inicialmente desconocidas para los bebés, una capacidad de aprendizaje puede mejorar la hiperadaptabilidad del control motor humano para mantener la estabilidad postural y ahorrar energía en la vida diaria. Este estudio intentó generar una red neuronal autoorganizada que pueda coordinar adaptativamente el modo postural sin asumir un modelo corporal previo con respecto a la dinámica y cinemática del cuerpo. Los modos de coordinación postural se reproducen en tareas de seguimiento cabeza-objetivo a través de un algoritmo de aprendizaje de refuerzo profundo. Las transiciones entre los tipos de coordinación postural, es decir, los modos de coordinación en fase y antifase, podrían reproducirse cambiando la condición de tarea del objetivo de seguimiento de la cabeza, cambiando las frecuencias del objetivo en movimiento. Estos modos se consideran fenómenos emergentes existentes en las tareas de seguimiento de la cabeza humana. Se analizan varios índices de evaluación, como la correlación y la fase relativa de la articulación de la cadera y el tobillo, para verificar el rendimiento de la red neuronal autoorganizada para producir la transición de coordinación postural entre los modos en fase y antifase. Además, después del aprendizaje, la red neuronal también puede adaptarse a cambios continuos en las condiciones de la tarea e incluso a condiciones de masa corporal no aprendidas, manteniendo una alternancia constante de modo en fase y antifase.

Comprender la coordinación postural humana es esencial para diseñar ejercicios de rehabilitación para mejorar la calidad de vida de las personas mayores y las personas con deficiencias motoras o con trastornos cerebrales como un accidente cerebrovascular. Es importante explorar los mecanismos de control de la postura adaptativos y sinérgicos para promover la recuperación del equilibrio a través de un diseño de entrenamiento físico efectivo.

Los estudios de control del equilibrio humano se han realizado ampliamente para comprender las habilidades de aprendizaje motor humano en las tareas diarias de pie1,2. Las estrategias básicas de control del equilibrio humano, como la estrategia del tobillo y la estrategia de la cadera, han sido bien estudiadas a través de experimentos humanos3,4,5 y simulaciones de modelos computacionales6,7,8,9,10. Estas estrategias, incluidas las restricciones cinemáticas y cinéticas de los motores del cuerpo, nos ayudarían a comprender el cambio de modo funcional existente de coordinación postural en el control del equilibrio bajo diversas perturbaciones externas o en actividades supraposturales relacionadas.

Se han definido patrones de control postural sobre las articulaciones de la cadera y el tobillo3 y las fases relativas, como en fase y antifase, para evaluar los patrones de coordinación. Sus fortalezas y limitaciones se discutieron en un estudio11 para la coordinación postural de la cadera y el tobillo en varias tareas de alcance. Como unidades de coordinación del movimiento12, los movimientos entre las articulaciones de la cadera y el tobillo son necesarios para el control postural en la postura13. La coordinación del tobillo y la cadera durante la estrategia de bipedestación tranquila14, para dos condiciones: ojos abiertos y cerrados, se observó con los correspondientes retratos de fase del desplazamiento angular, la velocidad y la aceleración de la cadera y el tobillo. Las contribuciones de las articulaciones del tobillo y la cadera se destacaron por el control multisegmento en experimentos humanos en participantes sanos y con Parkinson, así como en simulaciones de modelos computacionales15. De manera similar, la coordinación del movimiento entre segmentos entre las articulaciones de la cadera y el tobillo influenciada por las frecuencias de balanceo con respecto a las estrategias de control del equilibrio, como la estrategia del tobillo y la cadera-tobillo, se utilizó para evaluar las deficiencias sensoriales y motoras en la lesión incompleta de la médula espinal (iSCI) dieciséis. Con respecto al fenómeno de autoorganización de la coordinación postural, los trabajos del grupo de Bardy son bien conocidos en cuanto a que el modo de autoorganización surge naturalmente con dos modos, "en fase o antifase", de las articulaciones de la cadera y el tobillo en los experimentos de seguimiento de la cabeza humana17 ,18,19. Dependiendo de la frecuencia objetivo en la tarea asignada al sujeto, se empleó el modo en fase para frecuencias bajas y el modo antifase para frecuencias altas.

Vale la pena señalar que los algoritmos de optimización se pueden aplicar para implementar una reproducción de movimiento postural similar a la humana. Por ejemplo, la transición entre los modos de coordinación postural en fase y antifase fue predicha por el modelo de optimización dinámica en los estudios previos20,21, y se evaluó la influencia de las restricciones en la selección de estrategias de postura para comprender la capacidad de control postural. . Se propuso un proceso de optimización con restricciones, basado en la minimización de un criterio energético con una restricción de equilibrio21, pero este modelo solo consideró el comportamiento en estado estacionario. El comportamiento dinámico transitorio podría reproducirse20 con pseudoinverso jacobiano para proporcionar una solución de norma mínima. Sin embargo, los modelos anteriores requieren conocimientos de cinemática o dinámica del cuerpo para el enfoque de optimización del modelo.

Sin embargo, hasta donde sabemos, no existe literatura sobre un enfoque sin modelo que pueda reproducir modos de coordinación postural autoorganizados para tareas de seguimiento de la cabeza. Particularmente cuando las características del cuerpo pueden cambiar debido al crecimiento o al envejecimiento o son inicialmente desconocidas para los bebés, una capacidad de aprendizaje puede ser esencial para la hiperadaptabilidad del control postural humano. Por lo tanto, en este estudio, proponemos y verificamos si podemos reproducir una red neuronal autoorganizada entrenada con un algoritmo de aprendizaje sin modelo para la transición de fase 'cadera-tobillo' similar a la humana dependiendo de las condiciones de la tarea.

Por lo tanto, desarrollamos el método basado en el aprendizaje para estudiar los mecanismos emergentes de los modos de coordinación postural en diversas situaciones. Las principales contribuciones de nuestro estudio se resumen a continuación.

Se ha propuesto una aplicación de aprendizaje de refuerzo profundo (DRL) para formar redes neuronales que reproducen modos de coordinación postural autoorganizados durante las tareas de seguimiento de la cabeza.

Se han tenido en cuenta las limitaciones basadas en la tarea y las frecuencias del punto objetivo y se estudia su influencia en el cambio de los modos de coordinación postural.

Se han utilizado diferentes índices de evaluación, como la correlación y la fase relativa del tobillo y la cadera, para distinguir las fases posturales durante las tareas de seguimiento de la cabeza, y el comportamiento transitorio entre en fase y antifase se reprodujo con la red neuronal aprendida mediante un alternancia continua de la condición de la tarea.

La red neuronal aprendida también demostró alternancia en fase y antifase para diferentes condiciones de masa de la parte superior del cuerpo no aprendidas para la capacidad transferible. Se empleó antifase para las condiciones de mayor masa superior para gestionar el aumento del efecto de inercia manteniendo el equilibrio.

Elegimos usar el aprendizaje de refuerzo profundo en este estudio porque es un algoritmo adecuado para investigar la solución de control bajo redundancia y con la condición de una dinámica corporal inaccesible para la optimización multiobjetivo22.

El siguiente del artículo está organizado de la siguiente manera. La sección "Modelo y metodología" presenta el modelo y la metodología, incluida la configuración de la simulación, el algoritmo, la función objetivo y de recompensa, y el diseño del experimento. Los resultados del aprendizaje motor adaptativo con diferentes escenarios experimentales se analizan en la sección "Resultados del aprendizaje motor en tareas posturales". En la sección "Discusión adicional", se analiza más detalladamente la relación entre los factores influyentes y la coordinación de fase. Las conclusiones y perspectivas de este estudio se resumen en la sección "Conclusión y perspectiva".

(a) Modelo de simulación de un humanoide en Isaac Gym. (b) El marco de capacitación de PPO, que es un tipo de aprendizaje de refuerzo profundo con estructura de crítico de actor.

El entrenamiento de redes neuronales mediante el aprendizaje por refuerzo profundo requiere la recopilación de datos generados durante la interacción del agente humanoide con el entorno físico externo bajo gravedad. Realizamos nuestros experimentos en el entorno de simulación con el motor de física proporcionado por Isaac Gym23.

Isaac Gym es un motor de simulación de física basado en GPU de alto rendimiento diseñado para el aprendizaje de robots por la empresa NVIDIA23. Con aceleración de GPU de extremo a extremo y procesamiento paralelo de miles de entornos de simulación, Isaac Gym puede aumentar considerablemente la velocidad de entrenamiento al realizar tareas de aprendizaje de refuerzo en comparación con otros entornos de software de simulación.

El modelo de simulación que usamos para el experimento está modificado en base al agente humanoide en Isaac Gym, como se ilustra en la Fig. 1. La versión original del robot humanoide tiene 21 grados de libertad. Para excluir variables irrelevantes, mantuvimos solo las articulaciones de la cadera y el tobillo en ambos lados del cuerpo y fijamos las otras articulaciones en nuestras simulaciones. La distancia entre dos pies era el ancho de los hombros. Al dar la entrada reflejada a las mismas articulaciones, reducimos el rango de movimiento del humanoide a un espacio 2D. Entonces el robot tiene cuatro grados de libertad: cadera y tobillo para la pierna derecha e izquierda. Los otros parámetros físicos del modelo de simulación se muestran en la Tabla 1.

Utilizamos la optimización de política próxima (PPO)22 para entrenar al robot en nuestro experimento, que es uno de los algoritmos de aprendizaje de refuerzo profundo de última generación basado en el marco actor-crítico. PPO puede recopilar simultáneamente datos de capacitación de varios agentes en función de una arquitectura paralela con actualizaciones sincrónicas. Esto le permite aprovechar al máximo la simulación paralela del gimnasio Isaac en la GPU para precisar el proceso de entrenamiento.

Como se muestra en la Fig. 1b, en el marco de entrenamiento de PPO, hay dos redes neuronales, una es la red de actores \(\pi _{\theta }\left( a_{t} \mid s_{t}\right) \) y la otra es la red crítica \(V_{\phi }\left( s_{t}\right)\). La red de actores \(\pi _{\theta }\) se usa para muestrear la acción \(a_t\), de acuerdo con el estado de entrada \(s_t\) en cada paso de tiempo de control. La red crítica \(V_{\phi }\left( s_{t}\right)\) es la función de valor que puede estimar el rendimiento promedio esperado a partir del estado \(s_t\).

PPO actualiza la red de actores y la red de críticos en función de la experiencia recopilada de la interacción entre el agente y el entorno. La función de pérdida utilizada para actualizar el actor-red \(\pi _{\theta }\) se expresa de la siguiente manera:

donde \(\hat{A}_{t}\) es la ventaja estimada en el tiempo t. La ventaja \(A_t\) se usa para evaluar qué tan buena o mala es la acción \(a_t\) tomada en el estado \(s_t\). \(A_t\) mayor que cero indica que la acción realizada actualmente puede obtener más recompensa de la esperada y viceversa.

PPO utiliza un método llamado "recorte" para limitar la magnitud de las actualizaciones, lo que ayuda a mejorar la estabilidad del entrenamiento. La razón de verosimilitud \(\omega _t\) se usa para medir la diferencia entre la nueva política \(\pi _{\theta }\) y la antigua política \(\pi _{\theta _{\text{ old } }}\).

Si \(\omega _t\) está más allá del rango de \(\left( 1-\varepsilon , 1+\varepsilon \right)\), la función de recorte \({\text {clip}}\left( \omega _ {t}(\theta ), 1-\varepsilon , 1+\varepsilon \right)\) establecerá el gradiente en cero. Luego, la función mínima seleccionará un límite inferior para \(L^{CLIP}(\theta )\) entre las ventajas recortadas y no recortadas.

La función de pérdida para la red crítica se denota como:

donde \(V_{\theta }\) es el valor estimado y \(V_{t}^{{\text {objetivo}}}\) es el valor real. Los hiperparámetros de PPO, utilizados en nuestros experimentos, se enumeran en la Tabla 2.

Nuestro objetivo es dejar que la cabeza del humanoide siga un movimiento recíproco periódico en la dirección del eje X en el plano sagital. Usamos la bola roja sobre la cabeza del humanoide para indicar la ubicación del punto objetivo para una mejor visualización. La ecuación de movimiento de la trayectoria para el objetivo de seguimiento de la cabeza se formula como:

donde A es la amplitud, tal que el punto objetivo se mueve a lo largo del eje X en el rango [0, 2A]. f denota la frecuencia de movimiento del punto objetivo. Esta configuración de objetivo es idéntica al experimento de seguimiento de cabeza humana empleado en el estudio19, ya que realizaron un seguimiento de objetivo direccional anteroposterior con la cabeza para los participantes de pie.

La función de recompensa \(R_{total}\) se expresa de la siguiente manera:

donde \(R_{stay}\) se usa para limitar el movimiento del pie del humanoide en relación con el suelo, donde \(P_{f0}\) es la posición inicial del pie humanoide y \(P_{ft}\) es la posición del pie humanoide en el tiempo t. \(R_{target}\) se usa para animar al humanoide a rastrear el objetivo, donde \(P_{target_x}\) es la posición del punto objetivo en el eje x y \(P_{head_x}\) es la posición de la cabeza humanoide en el eje x. \(R_{energy}\) y \(R_{torque}\) se utilizan para limitar el consumo de energía del robot, donde \(\tau _j\) es el torque de la articulación j, \(\omega _j\) es la velocidad angular de la articulación j y \(\Delta t\) es el intervalo de tiempo entre los datos de simulación de muestreo. Si la altura del centro de masa del torso humanoide es inferior a 1 m, se considera que el humanoide ha caído y \(R_{total}\) se establecerá en -1. Los pesos para ajustar cada término de recompensa son \(\alpha\), \(\beta\) y \(\gamma\).

Hay muchos factores que pueden afectar la coordinación del movimiento postural del humanoide. En nuestros experimentos, analizamos los efectos de la frecuencia de movimiento del punto objetivo, el peso del consumo de energía en la recompensa del proceso de aprendizaje, y después de aprender la condición de masa de la parte superior del cuerpo no aprendida, se cambió para verificar también una nueva tarea.

El consumo de energía se ajusta ajustando la variable \(\gamma\) en la Eq. (6). La frecuencia del punto objetivo se ajusta a través de las variables f en la ecuación. (5).

Esta sección estudia la influencia de las restricciones basadas en tareas en la autoorganización de los modos posturales entre en fase y antifase durante las tareas de seguimiento y equilibrio. También se ha estudiado el impacto de la penalización del consumo de energía en las tareas de seguimiento de la cabeza. El consumo de energía se ha verificado como un factor esencial para las tareas de pie en experimentos con humanos24 y simulaciones7,20,21,25. Esto es razonable ya que nuestro cuerpo humano trata de ahorrar el consumo de energía con una política de energía óptima al completar tareas específicas de movimiento en nuestras actividades diarias.

Estas restricciones de tareas se consideran en simulaciones de equilibrio de seguimiento implementadas a través de un método de aprendizaje sin modelo, y su mecanismo de influencia se explora en este estudio. Las restricciones basadas en tareas y la frecuencia del punto objetivo de seguimiento de la cabeza se han estudiado para determinar la influencia en la coordinación de la cadera y el tobillo en experimentos con humanos17,19,26 y la simulación del modelo de doble péndulo invertido con retroalimentación20. Sin embargo, su trabajo no estudió la adaptabilidad basada en el aprendizaje de la coordinación motora. Por lo tanto, es importante verificar si los métodos de aprendizaje sin modelo pueden establecer una red neuronal para crear un comportamiento de autoorganización adaptativo, para estudiar más a fondo la efectividad de los modos de coordinación en fase y antifase entre las articulaciones de la cadera y el tobillo.

Aunque la tarea de seguimiento de la cabeza no es una actividad común en la vida diaria, es equivalente a mantener la estabilidad de la cabeza cuando el piso está acelerando o desacelerando. Para perturbaciones pequeñas, el balanceo en fase es suficiente, pero para perturbaciones más grandes, se requiere balanceo antifase. Esta situación ocurre a menudo cuando viajamos en autobús o tren en la vida diaria. Al ajustar la velocidad de la cabeza, podemos alterar la intensidad de la perturbación.

Capturas de pantalla de aprendizaje de tareas de equilibrio de seguimiento en la frecuencia de seguimiento de movimiento f del punto objetivo en Eq. (5) con respecto a 0,15 [Hz] y 1,5 [Hz]. Donde, el parámetro de penalización del consumo de energía \(\gamma\) en la Eq. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1 [m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad].

Posición del objetivo de seguimiento y la cabeza del agente humanoide y su distancia a la frecuencia de seguimiento de movimiento f en la ecuación. (5) con respecto a 0,15 [Hz] y 1,5 [Hz]. Donde, el parámetro de penalización del consumo de energía γ en la Ec. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1[m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad].

Ángulo articular del tobillo y la cadera a la frecuencia de seguimiento de movimiento f en la ecuación. (5) con respecto a 0,15 [Hz] y 1,5 [Hz]. Donde, el parámetro de penalización del consumo de energía \(\gamma\) en la Eq. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1 [m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad]. \(t_0\) y \(t_1\) son los intervalos de tiempo correspondientes a los ángulos máximos del tobillo y la cadera en el ciclo de movimiento actual.

Esta sección demuestra cómo la frecuencia de seguimiento afecta el modo de coordinación postural autoorganizado. El cambio en la frecuencia del objetivo de seguimiento puede determinar la velocidad de movimiento de la cabeza del modelo humanoide para completar las tareas de seguimiento del objetivo. Además, el cambio de velocidad de movimiento puede influir en los modos de coordinación conjunta manteniendo la estabilidad del rendimiento del equilibrio. Por lo tanto, los patrones en fase y antifase pueden reclutarse con respecto a la frecuencia de seguimiento. Las diez frecuencias de seguimiento diferentes se establecen como: 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 y 1,50 [Hz]. Capturas de pantalla de aprendizaje de tareas de equilibrio de seguimiento en la frecuencia de seguimiento de movimiento f del punto objetivo en Eq. (5) con respecto a 0,15 [Hz] y 1,5 [Hz] se muestran en la Fig. 2. En el caso de que el parámetro de penalización del consumo de energía \(\gamma\) en la Eq. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1[m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad]. En la Fig. 2, los patrones motores en fase entre las articulaciones del tobillo y la cadera en la primera fila se mantienen para la frecuencia objetivo de 0,15 [Hz], mientras que aparecen los patrones motores en contrafase entre las articulaciones del tobillo y la cadera en la segunda fila. en fase objetivo \(60^{\circ }\), \(120^{\circ }\), \(180^{\circ }\), \(240^{\circ }\) y \(300 ^{\circ }\) para la frecuencia objetivo de seguimiento 1,5 [Hz]. El ejemplo de movimiento de la cabeza correspondiente se muestra en la Fig. 3. La posición del objetivo de seguimiento y la cabeza del agente humanoide se traza a una frecuencia de seguimiento de movimiento de 0,15 [Hz] y 1,5 [Hz]. Los ángulos articulares correspondientes para el tobillo y la cadera se muestran en la Fig. 4, donde podemos confirmar que están en fase para frecuencias bajas y en contrafase para frecuencias más altas.

En primer lugar, la precisión de seguimiento correspondiente se cuantifica a través de la correlación objetivo-cabeza R, la amplitud media del movimiento de la cabeza y la velocidad media de la cabeza, como se muestra en la Tabla 3. La correlación objetivo-cabeza R se calcula mediante coeficientes de correlación de persona. Podemos confirmar que la tarea de seguimiento de la cabeza podría haberse realizado correctamente a partir del alto valor de correlación R en la Tabla 3. Para la frecuencia de movimiento del objetivo más alta sobre 1.2 [Hz], observamos una pequeña disminución en la correlación R objetivo-cabeza desde el alto la velocidad de seguimiento puede aumentar la dificultad de las tareas de seguimiento.

El diagrama de caja del centro de presión (CoP) influenciado por diferentes frecuencias de seguimiento de movimiento f del punto objetivo en Eq. (5) 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 y 1,50 [Hz], respectivamente. Donde, el parámetro de penalización del consumo de energía \(\gamma\) en la Eq. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1 [m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad].

En segundo lugar, el centro de presión (CoP) se utiliza para estimar la estabilidad del equilibrio. El diagrama de caja del centro de presión (CoP) influenciado por las siguientes frecuencias de seguimiento de movimiento f del punto objetivo en la ecuación. (5) 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 y 1,50 [Hz], respectivamente, se muestran en la Fig. 5. La distribución de CoP aumenta con el aumento de la frecuencia de seguimiento. Para un rendimiento de seguimiento de alta velocidad, debería existir el riesgo de perder el equilibrio. Por lo tanto, el mantenimiento del equilibrio es un componente crucial en las tareas de seguimiento y equilibrio de alta velocidad. En nuestro modelo, el agente humanoide puede terminar las tareas de seguimiento y equilibrio para una amplia gama de frecuencias y los pies tienen restricciones unilaterales. Esto demuestra la solidez de nuestra propuesta de redes capacitadas por PPO.

Evolución del coeficiente de correlación y la fase relativa influenciada por diferentes frecuencias de seguimiento de movimiento f del punto objetivo en la ecuación. (5) 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 y 1,50 [Hz], respectivamente. Donde, el parámetro de penalización del consumo de energía \(\gamma\) en la Eq. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1 [m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad].

La frecuencia de seguimiento es un factor de impacto para cambiar los patrones de coordinación motora de las articulaciones del tobillo y la cadera, como en fase y antifase para tareas de equilibrio de seguimiento27. Por lo tanto, tratamos de comprender la autoorganización de los modos de coordinación postural influenciados por la frecuencia de seguimiento en nuestras tareas de seguimiento y equilibrio. La evolución del coeficiente de correlación, fase relativa influenciada por las siguientes frecuencias de seguimiento de movimiento f del punto objetivo en la ecuación. (5) de 0,15 a 1,50 [Hz], respectivamente, se muestra en la Fig. 6. Donde, el parámetro de penalización del consumo de energía \(\gamma\) en la Ec. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1[m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad]. El coeficiente de correlación de los ángulos de las articulaciones de la cadera y el tobillo puede resumir las características de todos los patrones de coordinación. Como podemos observar en la Fig. 6, para las frecuencias de seguimiento de 0,15, 0,30, 0,45 y 0,60 [Hz], la correlación positiva correspondiente significa que los patrones en fase funcionaron entre las articulaciones del tobillo y la cadera. Sin embargo, la correlación negativa para las frecuencias de seguimiento de 0,75, 0,90, 1,05, 1,20, 1,35 y 1,50 [Hz] indica patrones en contrafase entre las articulaciones del tobillo y la cadera. Por lo tanto, la transición de los modos de coordinación postural depende del cambio de las frecuencias de seguimiento con respecto a valores relativamente bajos y altos como la configuración del experimento anterior. Además, los coeficientes de correlación de cadera y tobillo se correlacionan negativamente con la fase relativa.

A continuación, discutimos cómo el cambio en la frecuencia de seguimiento influye en los ángulos de las articulaciones del tobillo y la cadera. En la Fig. 6, la fase relativa se correlaciona positivamente con la frecuencia de seguimiento. La fase relativa se calculó como \(\left| t_0-t_1\right| \times f \times \pi\), donde f es la frecuencia de movimiento del objetivo, \(t_0\) y \(t_1\) son los intervalos de tiempo correspondiente a los ángulos máximos del tobillo y la cadera en el ciclo de movimiento actual, como se muestra en la Fig. 4. Porque la alta frecuencia de seguimiento significa tareas de movimiento de seguimiento de alta velocidad. Esta respuesta rápida de los agentes humanoides puede causar un desempeño inseguro a menos que las articulaciones del tobillo y la cadera aumenten la intensidad del movimiento en una dirección opuesta para compensar la aceleración/desaceleración de la extremidad superior por los posibles riesgos de caída. Entonces, no hay espacio de solución con uso conjunto en fase debido a los requisitos de mantenimiento del equilibrio. Sin embargo, existe una solución para mantener la proyección del centro de masa de todo el cuerpo hacia el suelo, cerca del área del pie si el tobillo y la cadera están coordinados en antifase.

Las posiciones articulares promedio de pico a pico para la cadera y el tobillo se representan en la Fig. 7 para mostrar cómo se cambió el rango de la articulación de la cadera de baja frecuencia a alta frecuencia. Podemos observar el aumento de la amplitud de la cadera junto con el aumento del torque de la cadera mientras tenemos un rango de movimiento similar para la articulación del tobillo. Esta tendencia está de acuerdo con la medición humana anterior19 y también con los resultados de simulación basados ​​en modelos anteriores20. Es bueno confirmar que el mismo proceso de autoorganización podría reproducirse con la red neuronal aprendida sin el uso previo de información dinámica y cinemática. Dado que el rango de movimiento considerando las posiciones angulares de las articulaciones de la cadera es mucho mayor que el de las articulaciones del tobillo para el seguimiento de alta frecuencia, podemos entender que las articulaciones de la cadera desempeñan la coordinación activa y principal para los movimientos de seguimiento de alta velocidad. Vale la pena señalar que la frecuencia de seguimiento en la tarea dada puede determinar cómo emplear los modos de coordinación de las articulaciones del tobillo y la cadera.

El estudio del control del equilibrio con diferentes frecuencias de seguimiento de la cabeza y su análisis con diferentes modos de coordinación motora tiene implicaciones significativas para las aplicaciones clínicas. Comprender cómo la frecuencia de seguimiento de la cabeza afecta los modos de coordinación motora puede informar el desarrollo de programas de rehabilitación efectivos para personas con problemas de equilibrio, como aquellas con afecciones neurológicas. Al diseñar programas de rehabilitación que se enfocan en modos específicos de coordinación motora, podemos mejorar el control postural y reducir el riesgo de caídas. Además, estudiar los modos de coordinación motora puede ayudar a identificar a las personas que pueden tener un mayor riesgo de caídas debido a patrones de coordinación alterados. Al examinar los modos de coordinación motora y su relación con las velocidades de seguimiento de la cabeza, los médicos pueden desarrollar intervenciones específicas para mejorar el control postural y reducir el riesgo de caídas en poblaciones de alto riesgo, como adultos mayores o personas con afecciones neurológicas.

(a) Posiciones conjuntas de pico a pico. Cada punto es el valor medio de los resultados de la simulación en 100 s. (b) Amplitudes de torsión de tobillo y cadera. El torque de cadera es menor para en fase y mayor para antifase.

Después de estudiar las transiciones del modo postural por las limitaciones de la tarea, centrémonos ahora en otro factor, la penalización energética en la recompensa. El consumo de energía puede determinar qué tipo de política de movimiento se aplicará para implementar tareas de movimiento. Por lo tanto, asumimos que el consumo de energía podría cambiar la coordinación postural entre las articulaciones del tobillo y la cadera. De la ecuación. (6), \(R_{energy}\) y \(R_{torque}\) se utilizan para limitar el consumo de energía del robot. En este trabajo, para comprender la influencia de la penalización energética en la coordinación postural durante las tareas de seguimiento-equilibrio, ajustamos el peso energético (índice de energía) \(\gamma\) en la Ec. (6) con los siguientes valores: 0, 5, 10, 15, 20, 25, 30, 35 y 40. Luego, se estudia por separado la realización de tareas de seguimiento-equilibrio y la transición de la coordinación postural.

La correlación objetivo-cabeza R podría mantenerse alta para cada índice de energía de acuerdo con los resultados de la Tabla 4. Estas correlaciones muestran que las tareas se realizaron correctamente para las tareas de seguimiento de la cabeza incluso para diferentes configuraciones de penalización de energía. La amplitud de la cabeza correspondiente también muestra una tendencia de movimiento de la cabeza similar, independientemente de la penalización energética. Por lo tanto, podemos suponer que se puede ahorrar energía sin afectar la precisión del seguimiento de la cabeza. La Tabla 4 también demuestra que el costo de energía requerido podría disminuirse siguiendo la penalización de energía. Por lo tanto, el movimiento podría crearse con menos energía manteniendo el rendimiento de la tarea.

Evolución del coeficiente de correlación, fase relativa influenciada por diferentes parámetros de penalización del consumo de energía \(\gamma ~=\) 0, 5, 10, 15, 20, 25, 30, 35 y 40 en la Eq. (6), respectivamente. Donde la amplitud de movimiento A del punto objetivo en la Ec. (5) es 0,1 [m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad]. Y la frecuencia de seguimiento de movimiento f del punto objetivo en la ecuación. (5) es 0,4 [Hz].

En este escenario, la coordinación postural entre las articulaciones del tobillo y la cadera se estudia ajustando el peso energético en la función de recompensa del entrenamiento. El coeficiente de correlación y la fase relativa se reclutan para cuantificar la transición de los modos de coordinación. La evolución del coeficiente de correlación, fase relativa influenciada por diferentes parámetros de penalización energética \(\gamma ~=\) 0, 5, 10, 15, 20, 25, 30, 35 y 40 en la Eq. (6), respectivamente, se muestran en la Fig. 8. Donde la amplitud de movimiento A del punto objetivo en la Eq. (5) es 0,1[m]. La rigidez del tobillo y la cadera sigue siendo de 25 [Nm/rad] y 125 [Nm/rad]. Y la frecuencia de seguimiento de movimiento f del punto objetivo en la ecuación. (5) es 0,4 [Hz].

Con el aumento del peso energético, el coeficiente de correlación de cadera y tobillo cambia de un valor negativo a uno positivo. El coeficiente de correlación negativo para los casos de peso de energía \(\gamma ~=\) 0 y 5 en Eq. (6) expresa los modos antifase entre las articulaciones del tobillo y la cadera. Sin embargo, los modos en fase entre las articulaciones del tobillo y la cadera aparecen para un gran peso de energía \(\gamma ~=\) 10, 15, 20, 25, 30, 35 y 40 en la ecuación. (6), respectivamente. Desde el punto de vista del ahorro de energía, la coordinación en fase consume menos energía que la coordinación en antifase entre las articulaciones del tobillo y la cadera si existe una solución para gestionar la tarea de equilibrio y seguimiento de la cabeza dada. Entonces, en este caso, se puede considerar que había dos tipos de soluciones en fase y antifase, pero al emplear la penalización energética, la solución energéticamente ineficiente podría eliminarse y dar como resultado una solución en fase. Los modos antifase mejoran la flexibilidad adaptativa del motor al consumir más energía durante las tareas de equilibrio de seguimiento, incluso cuando no hay solución con los modos en fase. Sin embargo, cuando pueden estar disponibles tanto en fase como en antifase, es mejor eliminar la solución en antifase empleando una penalización de energía. Esto es comprensible, considerando la relación entre el consumo de energía y la gestión de tareas.

Además, la fase relativa disminuye con el aumento del peso del consumo de energía. Esto indica que la modificación del consumo de energía para las tareas de seguimiento y equilibrio puede cambiar las características cinemáticas de la coordinación motora entre las articulaciones del tobillo y la cadera. Como se discutió anteriormente, los modos de movimiento cambian de antifase a en fase para perseguir objetivos de ahorro de energía durante la gestión de la tarea dada. Además, podemos concluir que la penalización de la energía tiende a cambiar los modos de coordinación de las articulaciones del tobillo y la cadera hacia un modo de motor energéticamente eficiente en fase en principio, sin embargo, la configuración del peso energético no es muy sensible para la selección del modo postural, ya que podemos observar estable relación de fase relativa después de tener más de 10 valores para el peso. El peso de la penalización energética en la recompensa es un hiperparámetro en el proceso de aprendizaje. Podríamos confirmar que necesitamos alguna consideración de penalización de energía en la recompensa, sin embargo, no es un factor muy sensible para reproducir el empleo consistente en modo en fase y antifase.

Estudios previos muestran que la rigidez articular humana difiere principalmente por edad28,29, tamaño corporal30,31 y sexo32,33,34,35,36. La rigidez articular es un factor esencial para el control del equilibrio en la bipedestación tranquila28 y aumenta con la edad en el control postural29. El cambio en la rigidez de la cadera puede influir en el rango de movimiento ya que la rigidez de la cadera cambia su par de recuperación para volver a la posición neutra de la articulación de la cadera. Por ejemplo, el estudio reciente37 indica que las relaciones entre un rango máximo de movimiento y la rigidez de la cadera durante la bipedestación son consistentes en ángulos comunes. Por lo tanto, el aumento de la rigidez de la cadera puede cambiar la coordinación postural de la cadera y el tobillo durante las tareas de seguimiento y equilibrio. En este estudio, proponemos cambiar juntas la rigidez de la cadera izquierda y derecha del modelo humanoide. Las ocho condiciones se dan aquí en base a los estándares biomecánicos: 25, 50, 75, 100, 125, 150, 175 y 200 [Nm/rad]20,38,39,40.

Evolución del coeficiente de correlación, fase relativa influenciada por diferentes valores de rigidez de cadera 25, 50, 75, 100, 125, 150, 175 y 200 [Nm/rad], respectivamente. Parámetro de penalización del consumo de energía \(\gamma\) en la ecuación. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1 [m]. La rigidez del tobillo se mantiene en 25 [Nm/rad]. Y la frecuencia de seguimiento de movimiento f del punto objetivo en la ecuación. (5) es 0,5 [Hz].

En este escenario, tratamos de comprender la influencia de diferentes rigideces de cadera en la coordinación motora postural. Como se mencionó anteriormente, la rigidez puede ser una restricción mecánica importante que puede cambiar los modos de movimiento. Se han propuesto dos índices de evaluación, como el coeficiente de correlación y la fase relativa, para estudiar el cambio de modos de movimiento de en fase a antifase entre la cadera y el tobillo. La evolución del coeficiente de correlación, fase relativa influenciada por diferentes valores de rigidez de la cadera 25, 50, 75, 100, 125, 150, 175 y 200 [Nm/rad], respectivamente, se muestran en la Fig. 9. Donde el parámetro de penalización del consumo de energía \ (\gamma\) en la ecuación. (6) es 20. La amplitud de movimiento A del punto objetivo en la ecuación. (5) es 0,1[m]. La rigidez del tobillo se mantiene en 25 [Nm/rad]. Y la frecuencia de seguimiento de movimiento f del punto objetivo en la ecuación. (5) es 0,5 [Hz].

A medida que aumenta la rigidez de la cadera, el coeficiente de correlación de la cadera y el tobillo cambia de un valor negativo a uno positivo. Para valores de rigidez pequeños, como 25, 50, 75 y 100 [Nm/rad], la correlación negativa correspondiente expresa la coordinación antifase entre el tobillo y la cadera durante las tareas de seguimiento y equilibrio. Sin embargo, una correlación positiva con respecto a la rigidez de la cadera de 125, 150, 175 y 200 [Nm/rad] demuestra los modos posturales en fase entre el tobillo y la cadera durante las tareas de seguimiento y equilibrio. Para los casos con mayor rigidez, hay un par de apoyo para volver a su posición neutral, luego el efecto de inercia de la parte superior del cuerpo durante la tarea de seguimiento de la cabeza parece relativamente menor que el modo en fase que todavía se puede emplear. Para casos de aumento de frecuencia, el modo antifase se hace necesario para gestionar el efecto de inercia del cuerpo superior. En el caso de una mayor rigidez, el efecto de la inercia disminuye, por lo que aún se puede utilizar una solución en fase. En cambio, cuando la rigidez de la articulación disminuye, la necesidad de compensar la inercia del cuerpo aumenta, por lo que se requiere más la coordinación del modo antifase. Esto es razonable ya que la coordinación motora antifase para una rigidez pequeña necesita reclutar una gran intensidad de movimiento. Por el contrario, la coordinación motora en fase para una gran rigidez recluta una pequeña intensidad de movimiento del tobillo y la cadera. La curva verde correspondiente muestra que a medida que aumenta la rigidez de la cadera, la fase relativa disminuye, lo que se ha observado en experimentos con humanos17,19.

Las personas con determinadas afecciones o lesiones musculoesqueléticas pueden experimentar cambios en la rigidez de las articulaciones que afectan a articulaciones específicas durante la rehabilitación clínica. Por ejemplo, las personas con artrosis de cadera pueden experimentar una mayor rigidez de la cadera debido a cambios en el cartílago articular o en la cápsula articular, mientras que la rigidez de la articulación del tobillo puede permanecer sin cambios. De manera similar, las personas que se han sometido a una cirugía de reemplazo de cadera pueden experimentar cambios en la rigidez de la cadera. El sistema de control postural autoorganizado, que involucra el reclutamiento de modos de coordinación cadera-tobillo como en fase y antifase, podría ayudar a comprender mejor la capacidad de estar de pie en la vida diaria de estas personas.

En las secciones anteriores, podríamos formar una red neuronal autoorganizada que emplee la alternancia de modo según las tareas dadas o las condiciones. Para el proceso de aprendizaje se contó con la información y la experiencia para las frecuencias dadas. Además, la red neuronal se entrena bajo diferentes frecuencias, pero se les dio como configuración fija, no con variación continua de la frecuencia.

En esta sección, frente al modelo de redes neuronales aprendidas, se estudia el comportamiento bajo la variación continua de frecuencia en cuanto a la coordinación postural de las articulaciones del tobillo y la cadera. Se empleó la fase entre la articulación de la cadera y el tobillo para la baja frecuencia. Con el aumento de la frecuencia objetivo, el modo se cambió gradualmente a antifase, como se muestra en la Fig. 10, donde la frecuencia se incrementó linealmente con el tiempo. La tasa de crecimiento de la frecuencia es de 0,036 Hz/s durante 25 s. La Fig. 10 revela un cambio transitorio en el modo de coordinación incluso para la frecuencia continua, incluso cuando la red neuronal se entrena solo con las diferentes configuraciones fijas. Indica que la red neuronal tiene cierta capacidad transferible incluso para la nueva tarea que se da en primer lugar si el rango de frecuencia está dentro de la escala experimentada. El movimiento generado en el experimento 4 se puede confirmar en el video (Archivo complementario 1).

Resultado típico para la variación continua de la frecuencia objetivo. (a) Variación del ángulo articular del tobillo y la cadera. ( b ) Los coeficientes de correlación entre las articulaciones del tobillo y la cadera con una frecuencia objetivo creciente. La frecuencia de transición es de 0,69 Hz. La longitud de la ventana para calcular el coeficiente de correlación es de 300 pasos de tiempo. La tasa de crecimiento de la frecuencia es de 0,036 Hz/s. El tiempo de simulación es de 25 s.

Al aumentar la frecuencia durante la tarea de seguimiento de la cabeza, la velocidad del objetivo cambia a una escala más grande, lo que naturalmente implica una mayor aceleración y desaceleración de la parte superior del cuerpo. También puede ocurrir una mayor aceleración y desaceleración de la masa de la parte superior del cuerpo para el aumento de la masa de la parte superior del cuerpo, incluso para la frecuencia objetivo normal. Esperando que la red neuronal aprendida maneje el mayor efecto de inercia, hemos verificado cómo la red neuronal puede comportarse para la nueva tarea con un aumento de masa en la parte superior del cuerpo. Vale la pena señalar que la red neuronal se entrena solo con diferentes frecuencias objetivo como se describe en la sección del Experimento 1.

Este escenario trata sobre la capacidad de transferencia de aprendizaje de la red neuronal autoorganizada sobre la coordinación postural de las articulaciones del tobillo y la cadera, y se evaluó a través del correspondiente coeficiente de correlación y fase relativa. Estos índices pueden ilustrar la transición de los modos emergentes y las características cinemáticas, como se discutió en el Experimento 1. La evolución del coeficiente de correlación y la fase relativa influenciada por diferentes masas corporales superiores añadidas de 0,0 a 4,0 [kg], respectivamente, se ilustran en la Fig. 11. La frecuencia de seguimiento de movimiento f del objetivo en la ecuación. (5) es 0,4 [Hz]. A esta frecuencia objetivo, ya que es una frecuencia relativamente baja, el modo en fase se emplea normalmente como en el Experimento 1, como se puede confirmar en el gráfico superior de la Fig. 12. Mientras que la parte superior del cuerpo aumenta de 0,0 a 4,0 [kg] , el coeficiente de correlación de la cadera y el tobillo disminuyó de positivo a negativo. Esto significa que los modos de coordinación postural cambiaron de en fase a antifase. Es interesante observar esta alternancia de modo de autoorganización incluso cuando esta tarea de aumentar la masa corporal superior se asigna nuevamente a la red neuronal.

Muchas personas se desplazan con mochilas al trabajo o al colegio como actividad diaria, el peso de estas mochilas varía día a día. Llevar una mochila a menudo puede conducir a un aumento en la masa de la parte superior del cuerpo, lo que puede desafiar el control del equilibrio y la estabilidad postural. Esto es especialmente cierto cuando se desconoce de antemano el peso de la mochila. Como tal, incluimos este escenario en el estudio para examinar los efectos de llevar una carga en la espalda sobre el control del equilibrio y la estabilidad postural con un enfoque en el modo de coordinación motora de la cadera y el tobillo. Por ejemplo, las personas con lesiones en la cadera o el tobillo pueden tener un modo de coordinación motora cadera-tobillo comprometido, lo que puede aumentar el riesgo de caídas durante las actividades de la vida diaria. Al investigar los efectos del peso de la mochila en el modo de coordinación motora de la cadera y el tobillo, podemos diseñar mejor los programas de rehabilitación que mejoran la estabilidad postural y reducen el riesgo de caídas.

Evolución del coeficiente de correlación, fase relativa influenciada por el diferente peso de la carga añadida en la parte superior del cuerpo. Donde el parámetro de penalización del consumo de energía \(\gamma\) en la Eq. (6) es 20. La rigidez del tobillo y la cadera sigue siendo 25 [Nm/rad] y 125 [Nm/rad]. La frecuencia de seguimiento de movimiento f del punto objetivo en la ecuación. (5) es 0,4 [Hz].

Ángulo articular del tobillo y la cadera en los diferentes pesos de la carga. Donde el parámetro de penalización del consumo de energía \(\gamma\) en la Eq. (6) es 20. La rigidez del tobillo y la cadera sigue siendo 25 [Nm/rad] y 125 [Nm/rad]. La frecuencia de seguimiento de movimiento f del objetivo en la ecuación. (5) es 0,4 [Hz].

El coeficiente de correlación de los ángulos de las articulaciones de la cadera y el tobillo en todas las tareas de seguimiento y equilibrio está determinado por la rigidez de las articulaciones de la cadera de 25 a 200 [Nm/rad] y la frecuencia de movimiento f del punto objetivo en la ecuación. (5) de 0,05 a 0,5 [Hz].

En esta sección, discutimos la influencia de los factores de impacto combinados de la rigidez de la cadera y la frecuencia de seguimiento en el rendimiento del seguimiento y el cambio de patrones de coordinación de las articulaciones del tobillo y la cadera. Como se discutió anteriormente en los cuatro experimentos anteriores, las restricciones mecánicas y basadas en tareas tienen un impacto crucial en la autoorganización entre las articulaciones del tobillo y la cadera. Por lo tanto, nos gustaría explorar más casos combinando estas restricciones. Aquí, tomamos la rigidez de la cadera y la frecuencia de seguimiento como ejemplo, considerando las restricciones mecánicas y basadas en tareas.

El objetivo principal de este trabajo es explorar el mecanismo de los modos de coordinación emergentes entre las articulaciones del tobillo y la cadera. Aquí, el coeficiente de correlación de los ángulos de las articulaciones de la cadera y el tobillo se utiliza para evaluar los modos de coordinación. Teniendo en cuenta las limitaciones mecánicas y basadas en tareas para explorar la transición continua entre los modos en fase y antifase, se seleccionan dos factores esenciales, que incluyen la rigidez de las articulaciones de la cadera y la frecuencia de seguimiento del objetivo que influyen en la fase de coordinación postural. En la Fig. 13, con el aumento de la frecuencia de seguimiento del objetivo y la disminución de la rigidez de las articulaciones de la cadera, el coeficiente de correlación cambia de un valor positivo a uno negativo, lo que significa que la coordinación postural cambia de fase a fase opuesta. Las restricciones mecánicas como la rigidez de la cadera pueden influir en los modos de fase, ya que el efecto de inercia de la parte superior del cuerpo aparece de manera más significativa para la condición de rigidez de la cadera reducida. En alta rigidez de cadera, los modos de coordinación postural permanecen en fase mientras que la antifase se mantiene en baja rigidez de cadera. Para la rigidez de la cadera que oscila entre 50 y 150 [Nm/rad], los modos de coordinación están fuertemente influenciados por la frecuencia de seguimiento del objetivo. Además, la transición continua de en fase a antifase entre la articulación del tobillo y la cadera se produjo a medida que aumentaba la frecuencia de seguimiento del objetivo en la condición de rigidez fija de la cadera, como se discutió en los experimentos humanos anteriores17.

También probamos la exploración del efecto de la amplitud del movimiento de la cabeza en la alternancia de modo, pero la alternancia observada no fue tan clara como la del efecto de frecuencia. Como se explicó anteriormente, la aceleración y desaceleración de la masa juegan un papel crucial en la inducción de la alternancia de modos. De acuerdo con la dinámica mecánica, la propia amplitud tiene un efecto relativamente menor sobre este fenómeno. En el caso de los humanos, la amplitud puede tener cierto impacto, pero nuestro pie, al ser un cuerpo rígido en el suelo, no proporciona mucha capacidad de agarre. Como resultado, el rango de amplitud sustentable no es lo suficientemente amplio para observar una alternancia significativa para la prueba de amplitud. Para profundizar en este aspecto, necesitaríamos factores como la función de agarre del pie con los dedos del pie o la fricción.

Este estudio propuso y estudió para producir una red neuronal autoorganizada que pueda coordinar adaptativamente el modo postural sin asumir un modelo corporal previo con respecto a la dinámica y cinemática del cuerpo. Los modos de coordinación postural se reproducen en tareas de seguimiento cabeza-objetivo a través de un algoritmo de aprendizaje de refuerzo profundo. Tal resultado es difícil de obtener con modelos basados ​​en optimización fuera de línea21 o el modelo de control basado en modelos20. Las transiciones entre los tipos de coordinación postural, es decir, los modos de coordinación en fase y antifase, podrían reproducirse cambiando las frecuencias del objetivo en movimiento (Fig. 6). La alternancia de modos fue consistente con las observaciones reportadas en la literatura17,19.

El coeficiente de correlación y la fase relativa indicaron los dos modos de coordinación, en fase y antifase de las articulaciones del tobillo y la cadera. Estos índices pueden indicar las características espaciales de los ángulos de las articulaciones del tobillo y la cadera. El surgimiento de la modalidad postural estuvo influenciado por limitaciones mecánicas y basadas en tareas con respecto a la rigidez de la cadera, el consumo de energía y la frecuencia del objetivo de seguimiento. Del resultado de la Fig. 8, podemos concluir que la penalización energética tiende a cambiar los modos de coordinación de las articulaciones del tobillo y la cadera hacia el modo en fase. Desde el punto de vista del ahorro de energía, la coordinación en fase consume menos energía que la coordinación en antifase entre las articulaciones del tobillo y la cadera si hay una solución. Sin embargo, la tarea involucra un complejo efecto de inercia de masa, se requiere que la articulación de la cadera se articule intensamente, luego se convierte en modo antifase. También se pudo confirmar que parámetros corporales como la rigidez de la articulación de la cadera influyen en la alternancia de modos. Cuando la rigidez de la articulación disminuye, la necesidad de compensar la inercia del cuerpo aumenta, entonces se requiere más la coordinación del modo antifase (Fig. 9).

Finalmente, se realizó la transición continua entre los modos de coordinación postural, lo que pudo demostrar la adaptabilidad de la red neuronal aprendida para una nueva tarea manteniendo la alternancia de modo autoorganizado. Incluso si la red neuronal no está entrenada bajo variaciones de frecuencia continuas, podría adaptarse a los cambios de frecuencia objetivo que varían en el tiempo mientras mantiene una alternancia de modo constante de en fase a antifase. Además, esperando que la red neuronal aprendida maneje el mayor efecto de inercia, hemos verificado cómo la red neuronal puede comportarse para la nueva tarea con un aumento de masa en la parte superior del cuerpo. Vale la pena señalar que la red neuronal se entrena solo con diferentes frecuencias objetivo. Para aumentar la inercia de la parte superior del cuerpo, el modo se alteró en antifase de manera autoorganizada.

Este trabajo proporciona un nuevo enfoque para el aprendizaje motor humano computacional e ilustra la modalidad postural de autoorganización para tareas de seguimiento de la cabeza. Para investigaciones futuras, podemos explorar la dinámica de coordinación continua entre las articulaciones del tobillo y la cadera bajo otras limitaciones o tareas, como el tamaño corporal y la obesidad, y el alcance funcional mientras está de pie. Además, los segmentos múltiples completos, incluidas las articulaciones del cuello, el brazo, la cadera, la rodilla y el tobillo, pueden considerarse para el modelado corporal para mejorar el estudio actual hacia tareas de todo el cuerpo. Finalmente, la alternancia en fase y antifase es uno de los fenómenos de sincronización en los sistemas mecánicos. Una perspectiva más generalizada sobre la oscilación sincronizada sinérgica también es una importante dirección de investigación futura para inducir el equilibrio dinámico en los sistemas mecánicos naturales41.

Todos los códigos utilizados para realizar los análisis están disponibles en el repositorio. https://github.com/Li-Guanda/SwingHumanoid.

Winter, D. Equilibrio humano y control de la postura durante la bipedestación y la marcha. Postura de marcha 3 (4), 193–214 (1995).

Artículo Google Académico

Nashner, LM La organización de los movimientos posturales humanos: una base formal y una síntesis experimental. Comportamiento Ciencia del cerebro. 8(1), 135–150 (1985).

Artículo Google Académico

Horak, FB & Nashner, LM Programación central de movimientos posturales: Adaptación a configuraciones alteradas de superficies de apoyo. J. Neurofisiol. 55(6), 1369–1381 (1986).

Artículo CAS PubMed Google Académico

Horak, FB, Nashner, LM & Diener, HC Estrategias posturales asociadas con pérdida somatosensorial y vestibular. Exp. Res. cerebral. 82(1), 167–177 (1990).

Artículo CAS PubMed Google Académico

Shen, K., Chemori, A. & Hayashibe, M. Clasificación de las estrategias de recuperación del equilibrio humano a través del análisis de sinergia motor cinemática. En la 44.ª Conferencia Internacional Anual de la Sociedad de Ingeniería en Medicina y Biología del IEEE, EMBC 2022, págs. 1792–1796 (2022).

Kuo, AD & Zajac, FE Postura de pie humana: estrategias de movimiento multiarticular basadas en restricciones biomecánicas. prog. Res. cerebral. 97(C), 349–358 (1993).

Artículo CAS PubMed Google Académico

Kuo, AD Un modelo de control óptimo para analizar el equilibrio postural humano. Trans. IEEE. biomedicina Ing. 42(1), 87–101 (1995).

Artículo ADS CAS PubMed Google Scholar

Shen, K., Chemori, A. & Hayashibe, M. Recuperación del equilibrio similar a la humana basada en la estrategia de control predictivo del modelo numérico. Acceso IEEE 8, 92050–92060 (2020).

Google Académico

Shen, K., Chemori, A. y Hayashibe, M. Evaluación de la eficacia del uso de los brazos para la recuperación del equilibrio humano en reposo a través del control predictivo del modelo no lineal. En 3ra Conferencia Internacional sobre Control y Robots, ICCR 2020, pp. 150–153 (2020).

Shen, K., Chemori, A. & Hayashibe, M. Reproducción de la estrategia del brazo humano y su contribución a la recuperación del equilibrio a través del control predictivo del modelo. Frente. neurorobot. 15 de mayo (2021).

Galgon, AK & Shewokis, PA Uso de la fase relativa media absoluta, la fase de desviación y la fase relativa de estimación puntual para medir la coordinación postural en una tarea de alcance en serie. J. Ciencias del deporte. Medicina. 15(1), 131–141 (2016).

PubMed PubMed Central Google Académico

Bernshtein, N. La coordinación y regulación del movimiento (Pergamon Press, Oxford, 1967).

Google Académico

Bonnet, T. & Lepeut, M. Adoptado por personas con deficiencias periféricas: una revisión. J.Mot. Comportamiento 43(4), 219–228 (2011).

Artículo Google Académico

Aramaki, Y. et al. Aceleración angular recíproca de las articulaciones del tobillo y la cadera durante la bipedestación en humanos. Exp. Res. cerebral. 137(1), 463–473 (2001).

Artículo Google Académico

Boonstra, TA, Schouten, AC & Van Der Kooij, H. Identificación de la contribución de las articulaciones del tobillo y la cadera al control del equilibrio multisegmentario. J. NeuroEng. Rehabilitación.10(23) (2013).

Noamani, A., Lemay, JF, Musselman, KE y Rouhani, H. Estrategia de control postural después de una lesión incompleta de la médula espinal: efecto de las entradas sensoriales en la coordinación del movimiento del tronco y la pierna. J. Neuroeng. rehabilitación 17(1), 1–12 (2020).

Artículo Google Académico

Bardy, BG, Marin, L., Stoffregen, TA & Bootsma, RJ Modos de coordinación postural considerados como fenómenos emergentes. Exp. J. psicol. Tararear. Percepción. Llevar a cabo. 25(5), 1284–1301 (1999).

Artículo CAS PubMed Google Académico

Marin, L., Bardy, BG, Baumberger, B., Flückiger, M. & Stoffregen, TA Interacción entre las demandas de la tarea y las propiedades de la superficie en el control de la postura orientada a objetivos. Tararear. mov. ciencia 18(1), 31–47 (1999).

Artículo Google Académico

Bardy, BG, Oullier, O., Bootsma, RJ & Stoffregen, TA Dinámica de las transiciones posturales humanas. Exp. J. psicol. Tararear. Percepción. Llevar a cabo. 28(3), 499–514 (2002).

Artículo PubMed Google Académico

Bonnet, V. et al. Un modelo de control estructuralmente óptimo para predecir y analizar la coordinación postural humana. J. Biomech. 44(11), 2123–2128 (2011).

Artículo PubMed Google Académico

Martin, L., Cahouët, V., Ferry, M. & Fouque, F. Predicciones del modelo de optimización para los modos de coordinación postural. J. Biomech. 39(1), 170–176 (2006).

Artículo PubMed Google Académico

Schulman, J., Wolski, F., Dhariwal, P., Radford, A. y Klimov, O. Algoritmos de optimización de políticas proximales. arXiv:1707.06347[cs.LG] (2017).

Makoviychuk , V. , Wawrzyniak , L. , Guo , Y. , Lu , M. , Storey , K. , Macklin , M. , Hoeller , D. , Rudin , N. , Allshire , A. , Handa , A. & et al. Isaac Gym: simulación de física basada en GPU de alto rendimiento para el aprendizaje de robots. preimpresión de arXiv arXiv:2108.10470[cs.RO] (2021).

Houdijk, H., Fickert, R., van Velzen, J. & van Bennekom, C. El costo de energía para el control del equilibrio durante la bipedestación. Postura de marcha 30(2), 150–154 (2009).

Artículo PubMed Google Académico

Shen, K., Chemori, A. & Hayashibe, M. Reproducción de la estrategia del brazo humano y su contribución a la recuperación del equilibrio a través del control predictivo del modelo. Frente. neurorobot. 15 (2021).

Bardy, BG, Oullier, O., Lagarde, J. & Stoffregen, TA Sobre la perturbación y la coexistencia de patrones en la dinámica de la coordinación postural. J.Mot. Comportamiento 39(4), 326–336 (2007).

Artículo PubMed Google Académico

Sofianidis, G., Elliott, MT, Wing, AM y Hatzitaki, V. Interacción entre la coordinación interpersonal y postural durante el balanceo rítmico escalado en frecuencia: el papel de la experiencia en danza. Postura de marcha 41(1), 209–216 (2015).

Artículo PubMed Google Académico

Winter, DA, Patla, AE, Prince, F., Ishac, M. y Gielo-Perczak, K. Control de rigidez del equilibrio en posición tranquila. J. Neurofisiol. 80, 1211–1221 (1998).

Artículo CAS PubMed Google Académico

Cenciarini, M., Loughlin, PJ, Sparto, PJ & Redfern, MS La rigidez y la amortiguación en el control postural aumentan con la edad. Trans. IEEE. biomedicina Ing. 57, 267–275 (2010).

Artículo PubMed Google Académico

Nguyen, AP et al. Efecto de la edad y el tamaño corporal sobre la viscoelasticidad de la muñeca en participantes sanos de 3 a 90 años y evaluación de la confiabilidad. Frente. Deporte Activo Liv. 2, 4 (2020).

Google Académico

Nguyen, AP, Detrembleur, C., Fisette, P., Selves, C. y Mahaudens, P. Myotonpro es un dispositivo válido para evaluar la rigidez biomecánica de la muñeca en adultos jóvenes sanos. Frente. Deporte Activo Liv. 4, 2 (2022).

Google Académico

Nishiwaki, M., Kurobe, K., Kiuchi, A., Nakamura, T. y Matsumoto, N. Diferencias de sexo en la relación flexibilidad-rigidez arterial y su aplicación para el diagnóstico de rigidez arterial: estudio observacional transversal. PLoS ONE 11, 9 (2016).

Google Académico

Fouré, A., Cornu, C., McNair, PJ & Nordez, A. Diferencias de género en las partes activas y pasivas de la serie de flexores plantares, rigidez del componente elástico y parámetros geométricos del complejo músculo-tendinoso. J. Orthop. Res. 30(5), 707–712 (2012).

Artículo PubMed Google Académico

Ahimastos, AA, Formosa, M., Dart, AM y Kingwell, BA Diferencias de género en la rigidez de las arterias grandes antes y después de la pubertad. J. Clin. Endocrinol. metab. 88(11), 5375–5380 (2003).

Artículo CAS PubMed Google Académico

Padua, DA, Garcia, CR, Arnold, BL & Granata, KP Diferencias de género en la rigidez de las piernas y la estrategia de reclutamiento de rigidez durante los saltos de dos piernas. J.Mot. Comportamiento 37, 111–126 (2005).

Artículo PubMed Google Académico

DuPont, JJ, Kenney, RM, Patel, AR & Jaffe, IZ Diferencias sexuales en los mecanismos de rigidez arterial. Hermano J. Pharmacol. 176, 4208–4225 (2019).

Artículo CAS PubMed PubMed Central Google Scholar

Elliott, BJ, Hookway, N., Tate, BM & Hines, MG ¿La rigidez pasiva de la cadera o el rango de movimiento se correlacionan con la curvatura de la columna y la postura al estar de pie en silencio? Postura de marcha 85, 273–279 (2021).

Artículo PubMed Google Académico

van der Kooij, H., Fricke, SS, Veld, RC vt, Prieto, AV, Keemink, AQL, Schouten, AC & van Asseldonk, EHF Dispositivo y método para identificar la impedancia de las articulaciones de la cadera, la rodilla y el tobillo al caminar (2021) .

Loram, ID y Lakie, M. Medición directa de la rigidez del tobillo humano durante la posición tranquila: la rigidez mecánica intrínseca es insuficiente para la estabilidad. J. Physiol. 545(3), 1041–1053 (2002).

Artículo CAS PubMed PubMed Central Google Scholar

Koopman, B., Van Asseldonk, EH & Van Der Kooij, H. Estimación de la dinámica multiarticular de la cadera y la rodilla humanas utilizando el andador LOPES. Trans. IEEE. Robar. 32(4), 920–932 (2016).

Artículo Google Académico

Hayashibe, M. & Shimoda, S. Oscilación sincronizada sinérgica mediante integradores neuronales distribuidos para inducir el equilibrio dinámico en los sistemas de disipación de energía. ciencia Rep. 12, 17163 (2022).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Descargar referencias

Este trabajo fue apoyado por la subvención JSPS Grant-in-Aid for Scientific Research on Innovative Areas Hyper-Adaptability Project bajo Grant 22H04764.

Estos autores contribuyeron por igual: Keli Shen y Guanda Li.

Departamento de Robótica, Escuela de Graduados en Ingeniería, Universidad de Tohoku, Sendai, Japón

Keli Shen, Guanda Li y Mitsuhiro Hayashibe

LIRMM, Universidad de Montpellier, CNRS, Montpellier, Francia

Ahmed Chemori

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

KS y GL contribuyeron al trabajo por igual y deben ser considerados co-primeros autores. KS y GL implementaron el código y escribieron el manuscrito. AC supervisó el aspecto de ingeniería de control. MH concibió el diseño de investigación y escribió el manuscrito. Todos los autores revisaron el manuscrito.

Correspondencia a Mitsuhiro Hayashibe.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Información complementaria 1.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Shen, K., Li, G., Chemori, A. et al. Red neuronal autoorganizada para reproducir la alternancia del modo postural humano a través del aprendizaje de refuerzo profundo. Informe científico 13, 8966 (2023). https://doi.org/10.1038/s41598-023-35886-y

Descargar cita

Recibido: 19 enero 2023

Aceptado: 25 de mayo de 2023

Publicado: 02 junio 2023

DOI: https://doi.org/10.1038/s41598-023-35886-y

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.