索尼专利提出基于Avatar私人健身指导的AR健身解决方案

由于时间或金钱等各种原因，有人会选择在家锻炼，而不是前往健身房。实际上，基于沉浸式现实的AR/VR健身正在逐渐普及，成为大家寓“健”于乐的好方法。然而，这种健身的一个问题是缺乏专门私教的一对一指导。

针对这个问题，索尼为AR健身提出了名为“Personalized fitness activity training using augmented-reality based avatar”的专利申请，以提供基于Avatar的私人健身指导。对于AR健身，穿戴AR头显/眼镜的用户可以在叠加各种数字图形的世界中进行健身锻炼，而系统可以利用神经网络模型，并通过Avatar的动作演示和语言说明来指导用户跟随模仿。

电子设备可以在用户参与健身活动时捕获图像，并基于图像集生成包括Avatar的增强现实叠加。电子设备同时可以基于图像集来确定用户的姿势信息，然后利用神经网络模型对所确定的姿势信息来确定实时和个性化的反馈，最后控制Avatar通过动作和语音演示所确定的实时反馈。

例如，当系统根据捕获图像的姿势信息分析出用户正在以错误的方式执行健身活动，电子设备可以提醒用户暂停健身活动，并控制第一Avatar展示健身活动的正确姿势。在另一示例中，在用户对健身活动的重复次数小于阈值时，电子设备可以控制第一Avatar发出激励短语的语音，或者执行加油动作以激励用户完成动作。

在一个实施例中，电子设备可以配置为接收与用户的一组身体参数、用户的用户简档、用户的健身目标或用户的医疗状况等。电子设备可以进一步获取与用户的一个或多个先前健身活动相关联的表现历史。然后，电子设备可以相应地生成健身例程，包括健身项目，时间表和饮食表等，从而帮助用户更好地完成健身锻炼。

电子设备可以周期性地更新个性化健身例程，从而提供关于健身目标的进展和实现健身目标的见解建议。

参考图1，网络环境100可以包括电子设备102、一组图像传感器104、第一神经网络（NN）模型106、显示设备108、服务器110和通信网络112。电子设备102可以经由通信网络112通信地耦合到图像传感器组104、第一NN模型106、显示设备108和服务器110。

在图1中，第一NN模型106与电子设备102分离。但在其他实施例中，第一NN模型106可以包括在电子设备102中。图1同时示出了增强现实设备114。尽管图例114是智能手机，但它同时可以是头戴式显示器和智能眼镜。

根据一个实施例，电子设备102可以根据与图像集相关的一个或多个特征、与第一用户118的姿势信息相关的一种或多种特征等来训练第一NN模型106，从而获得训练后的第一NN模型。

可以训练第一NN模型106以将第一用户118的姿势信息分类为好姿势或坏姿势，并且基于第一用户118对健身活动的表现来生成实时反馈。例如，电子设备102可以输入第一用户118的一组图像116、第一用户118档案、与第一用户118生物信息相关联的传感器数据、与每个健身活动的姿势信息相关联联的一组关键点、每个健身活动持续时间、与每个健身活动相关联的呼吸模式等等，从而训练第一NN模型106。

在用户进行健身时，电子设备可以通过图像传感器组104捕获图像信息，并由经过训练的第一NN模型分析姿势信息，以确定实时反馈。电子设备102可以进一步控制第一Avata120在增强现实显示器114中输出所确定的实时反馈。例如，Avatar可以为输出移动、合成语音或文本反馈之一。例如，在图3A和3B中提供了实时反馈的确定和输出的细节。

通过这种方式，电子设备102可以为第一用户118提供交互式体验，并且可以在增强现实环境中基于第一Avatar120的实时反馈来模拟个性化私教体验。

例如在姿势信息指示第一用户118以错误的方式执行第一健身活动时，电子设备102可以控制第一Avatar120暂停第一健身活动，并且可以使用动作来演示健身活动的正确姿势。电子设备102同时可以输出言语反馈，例如关于姿势的反馈、关于节奏的反馈、对于呼吸模式的反馈等等。

图3A示出了流程框图300A。框图300A中所示的示例性操作可以在302A开始，并且可以由任何设备执行，例如头戴式显示器或智能眼镜。

在302A，可以创建第一用户118的用户简档。在一个实施例中，电路202可以配置为创建第一用户118的用户简档。为了创建用户简档，电路202可以接收与第一用户118的一组身体参数相关联的初始用户输入304。第一用户118的一组身体参数可以包括第一用户118的年龄、身高、体重、性别、腰围、手臂尺寸和胸部尺寸等。

在另一个实施例中，所接收的初始用户输入304可以进一步与第一用户118的健身目标、医疗状况和经验水平等相关联。第一用户118的健身目标可以包括用于实现健身目标的时间段。例如，第一用户118的健身目标可以是在特定时间段内减掉特定量的体重，例如在3个月内减掉10公斤。第一用户118的医疗状况可以包括第一用户118一种或多种预先存在的疾病或状况。第

在302B，可以执行数据获取操作。在数据采集操作中，电路202可以被配置为接收用于从一组健身活动中选择第一健身活动的第一用户输入306。第一NN模型106基于在第一用户118的健身程序中推荐的运动类别中选择第一健身活动，并将其发送到电路202。例如，电路202可以控制显示设备108显示列出一个或多个健身活动以供选择的图形用户界面，并且可以基于经由遥控器、手持控制器或触控输入来接收用户选择。

基于对第一用户输入306的接收，电路202可以配置为控制图像传感器组104以捕获第一用户118的第一图像组116。第一组图像116可以在第一用户118可以参与第一健身活动的持续时间内被捕获。在另一个实施例中，电路202可以配置为基于第一用户输入306的接收来控制音频内容的播放，以模拟用于第一健身活动的健身房环境，和/或可以设置用于第一健身运动的节奏。

在302C，可以生成增强现实显示。在一个实施例中，电路202可以配置为生成增强现实显示114。电路202可以配置为基于第一用户118的第一组图像116来生成增强现实显示114。所生成的增强现实显示114可以包括第一Avatar120和来自第一组图像116的第一用户118的实时图像。在生成的增强现实显示114中，第一Avatar120和第一用户118的实时图像可以在真实的3D世界环境中组合，其中第一Avatar120可以使得能够与第一用户118进行实时交互。

在302D，可以执行增强现实显示渲染操作。在增强现实显示渲染操作中，电路202可以配置为控制显示设备108来渲染生成的增强现实显示114。渲染的增强现实显示114可以包括第一Avatar120，其可以配置为在显示设备108演示第一健身活动。

在302E，可以应用第二NN模型。在一个实施例中，电路202可以配置为在第一组图像116上应用第二NN模型210。第二NN模型210可以应用于第一组图像116，以确定第一用户118在第一健身活动的持续时间内的姿势信息。第二NN模型210可以在第一健身活动的持续时间内输出第一用户118的姿势信息（或姿势）。第二NN模型210可以对应于OpenPose模型或任何其他实时姿态估计算法。

在302F，可以确定姿势信息。在一个实施例中，电路202可以配置为基于第二NN模型210的应用来确定第一用户118在第一健身活动的持续时间内的姿势信息。姿势信息可以指示第一组图像116中的每个图像中的第一用户118的姿势。

图3B示出了基于增强现实Avatar的个性化健身活动训练操作框图300B。

在302G，可以确定一组关键点。在一个实施例中，电路202可以配置为在302B处基于所选择的第一健身活动从多个关键点308中确定一组关键点。关键点集合可以与特定的健身活动相关联，并且可以因一种健身活动而不同。例如，在第一健身活动是二头肌卷曲的情况下，第一组关键点310可以包括多个关键点308中与肘部、手腕、肩关节和臀部相关的关键点。在另一示例中，在第一健身活动是跑步或步行的情况下，第一组关键点310可以包括与颈部、肩部、臀部和膝盖相关的关键点。

在302H，可以确定连接关键点的线之间的一个或多个角度。在一个实施例中，电路202可以配置为确定与所确定的第一组关键点310相关联的一组坐标值。基于所确定的坐标值集合，电路202可以配置为确定连接坐标值集合的线312之间的一个或多个角度。

在302I处，可以将得到的角度与参考角度进行比较。在一个实施例中，电路202可以配置为将所确定的一个或多个角度与参考姿势314的一组参考角度进行比较。参考姿势可以对应于有经验的用户的姿势，例如健身专家。在一个实施例中，参考姿态314可以对应于关于第一NN模型106的ground truth姿态。参考姿势314可以包括第一组关键点310之间的一组参考角度。举例来说，参考姿势可以包括第一参考角度和第二参考角度。躯干和上臂之间的第一参考角度可以在0度至35度的范围内，并且可以通过第一NN模型106表征为二头肌卷曲的好姿势。

在302J，可以应用第一NN模型106。在一个实施例中，电路202可以配置为将第一NN模型106应用于所确定的第一组关键点310。第一NN模型106可以配置为生成分类结果。第一NN模型106可以基于所确定的与第一用户118相关联的一个或多个角度与参考角度集合的比较来生成分类结果。

图3C示出了Avatar的演示操作。

在302K，可以确定实时反馈。在一个实施例中，电路202可以配置为基于第一NN模型106对姿势信息的应用和所确定的第一组关键点310来确定实时反馈。可以响应于第一用户118的第一健身活动的执行来确定实时反馈。例如，电路202可以基于与第一用户118的姿势相关联的分类结果来确定实时反馈。

在一个实施例中，与第一用户118的姿势相关联的实时反馈可以通知第一用户118保持背部挺直，使得在健身期间不会伤害用户的背部。

在302L，可以呈现所确定的实时反馈。在一个实施例中，电路202可以配置为控制第一Avatar120在增强现实显示114中输出所确定的实时反馈。电路202可以配置为以增强现实显示器114中的第一Avatar120的移动、合成语音或文本反馈之一输出所确定的实时反馈。

在302M，可以选择第二健身活动。在一个实施例中，电路202可以接收用于从一组健身活动中选择第二健身活动的第二用户输入。电路202可以进一步配置为基于对第二健身活动的选择从多个关键点308中确定第二组关键点。第二组关键点可以不同于第一组关键点310。电路202可以进一步配置为将第一NN模型106应用于第二组关键点，以对第一用户118的姿势进行分类。电路202可以配置为基于分类来确定第一实时反馈，并且可以控制第一Avatar120在增强现实显示114中输出所确定的第一实时反馈。

通过以上方式，系统可以通过基于增强现实的Avatar来为用户提供专业的一对一个性化私教体验。