基于RK3399平台的3D人脸建模设计与实现

时间:2023-09-26 11:40:03 来源:网友投稿

关耀枢 汪金辉

关键词:医美;
3D建模;
RK3399;
DSP

近几年,医美行业迅猛发展,但目前存在获客成本高、转化率低、潜在客户整形前顾虑较多等痛点,因此基于行业现状以及发展前景,开发一款基于人脸高精度扫描,得到客户面部数字化彩色三维高还原人脸模型,通过对模型进行面部特征分析,并按客户需求进行预整形并呈现最终效果的一体解决方案,才能很好地满足消费者的需求,带来更好的应用体验,占领魔镜产品的中高端市场,提高用户黏性,提升品牌认知度。本项目采用瑞芯微新一代应用处理器方案RK3399+DSP 芯片RK1608,RK3399 芯片是一款低功耗、高性能的处理器,集成双核Cortex-A72+ 四核Cortex-A53 CPU,集成ARM NEON 技术,可增强较多的多媒体应用体验。另外集成高性能Mali-T860 MP4 GPU,嵌入式3DGPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX 11.1,并且带有MMU 的专用二维引擎将最大限度地提高显示性能并提供非常平稳的操作。RK1608 用于对MIPI CSI 信号进行DSP 加速等预处理。方案支持各主流的多媒体解码、USB3.0、SD3.0、TYPE C 信源输入;
视频解码支持H.264/H.265/VP9 等,支持H.264/MVC/VP8 1080P@30Hz 视频编码,同时可支持多屏异显。采用RTK 的codec ALC5616,功放采用ESMT 的模拟功放ESMT52050,同时该项目还具有网络、多路USB、串口、RS232 接口等功能,完全满足医美行业需要的各种性能要求,使产品具备强劲的竞争力。

1 3D人脸建模硬件设计

1.1 硬件系统架构

本项目采用瑞芯微的RK3399+RK1608 集成方案,在核心處理模块,RK3399 需要将3D CAMERA 采集的USB 数据解码后再编码成MIPI DSI 信号发送到RK1608,2D 摄像头直接将MIPI CSI 信号送入RK1608,经RK1608 做DSP 加速以及预处理后送入RK3399 做ISP 处理,此时需要通过HDMI OUT 转LVDS 进行屏显。方案同时兼容3 个2D 摄像头输入设计,可扩展性极强。在信号输入部分,由于芯片内部没有集成PHY,网络信号MDI/MDIX 经PHY 芯片转换成RMII 信号送入主芯片处理。3G/4G 信号需经模块转换成USB 信号送入主芯片。SD 以及TYPEC 信号直接送入主芯片处理。USB 信号因兼容设计,部分经过HUB 后送入主芯片。在信号输出部分,本方案兼容两路屏输出(LVDS+EDP),支持双屏异显或者同显,支持HDMI OUT;
音频信号,因RK3399 芯片接口只有I2S 输出,需要外接CODEC芯片进行转换成模拟音频信号,为兼容大功率要求,模拟音频信号送入功放进行放大后输出,另外耳机以及MIC 均由codec 芯片进行处理。系统框图如图1 所示。

1.2 系统电源框图

系统采用单12 V 供电,通过PMIC RK808-D 产生核心系统部分供电,通过其他DCDC/LDO 产生其他部分供电,如SY837/SY838/SY8120 系列IC 等,TYPE C供电需要考虑外部3D 摄像头瞬间抽电需求,因此预留单独DCDC 供电给TYPE C 接口。整体系统电源框图如图2 所示。

1.3 核心摄像头选型以及设计要素

本方案采用intel 3D 摄像头+12MPFF 2D camera(sony IMX378),1 200万像素高清拍摄,100 万像素纹理贴图,3 万深度信息,完美呈现人脸细节,实现3D 精准建模。因RK3399 自带ISP 处理,支持MIPI CSI 信号输入,因此2D 摄像头采用MIPI 接口接入到RK3399,考虑到整机尺寸较大,2D 摄像头走线较长,约360 mm,而MIPICSI 信号因信号幅度低,容易受干扰,业内普遍建议线材长度不能长于70mm。同时该摄像头Sensor 功耗较大,对于MIPI 走线(软FPC 铜线)要求非常高。因此我们对线材进行了优化,包括信号走线阻抗控制,供电走线线宽以及铜厚处理等措施确保2D 摄像头信号质量,考虑到人脸建模过程中的用户体验感,我们设计2D 摄像头的焦距在45 cm 左右。3D 结构光模组采用TYPE C 接口,因此RK3399 主板同样采取TYPE C 接口以保证线材的通用性,支持正反插设计,支持固定电压供电。在结构设计上,需要保证3D 结构光模组与2D 摄像头的相对位置固定,并且3D结构光模组的视角范围要小于2D 摄像头以确保3D结构光的贴图数据完整。

2 3D人脸建模软件设计

2.1 软件系统架构

软件系统采用安卓8.1,自主开发医美整形APP,主要核心是将Camera 经过RK1608 处理后的数据通过3D 建模算法形成3D 人脸模型。通过人脸模型可以进行人脸美学分析、整形模拟。其次我们也可以导入客制化的AI 肌肤检测SDK,实现肌肤检测功能,并可推荐相关产品。除了整形模拟、人脸美学分析、AI 肌肤检测,我们还自研商城模块,可根据人脸分析结果,智能推荐医美商品,并可后台配置,在线升级等功能。软件系统架构如图3 所示。

2.2 3D建模软件流程图

设备开机后,系统先进行初始化以及自检,正常后直接进入3D 建模APP,此时2D、3D 摄像头开启,系统通过2D 摄像头生成的预览流实时侦测是否有人脸处于合适位置。当系统检测到人脸处于合适位置时,提示用户可以开始建模,用户点击确认后,系统打开补光灯,同时开始扫描用户人脸数据,采样频率为30 Hz,待扫描完成后系统会将精确的2D/3D 数据进行贴图,生成人脸3D 数据模型,接下来用户就可以根据3D 模型做整形模拟分析等。流程图如下图4 所示。

3 结束语

随着大家对更高生活品质的要求,医美市场前景非常广阔,本文简要介绍了医美魔镜的市场现状以及行业痛点,详细阐述了通过RK3399 平台开发来实现3D 人脸建模设计的设计流程以及注意要素,对后续其他品类医美魔镜开发具备一定借鉴意义。

猜你喜欢走线人脸摄像头浙江首试公路非现场执法新型摄像头中国交通信息化(2022年9期)2022-10-28摄像头连接器可提供360°视角图像汽车工程师(2021年12期)2022-01-18有特点的人脸少儿美术·书法版(2021年9期)2021-10-20一种大承重集装袋塑料包装(2019年6期)2020-01-15三国漫——人脸解锁动漫星空(2018年9期)2018-10-26基于太赫兹技术的新一代摄像头及其在安防领域的应用探讨电子测试(2018年13期)2018-09-26浅析PCB中DDR3等长线的设计中国公共安全(2015年15期)2015-12-24PCB板内阻抗测试需求与技术印制电路信息(2015年11期)2015-10-24奔驰360°摄像头系统介绍汽车维修与保养(2015年8期)2015-04-17马面部与人脸相似度惊人发明与创新(2015年33期)2015-02-27

推荐访问:建模 设计 平台