Nuvoton Technology Corporation · TWSE:4919
Nuvoton Technology — Non-Deal Roadshow (2021)
39 slides from Nuvoton Technology's roadshow presentation, 2021
Slide 1: 新唐科技 车用平台应用方案
新唐科技 车用平台应用方案 賈雪巍 James Jia 市場拓展一處 處長
Slide 2: 车用平台应用方案
车用平台应用方案 抬头显示器 电子后视镜 仪表盘 暖通空调 音响显示系统 （Gerda 产品） （MCU 产品） 人脸识别，驾驶行为识别 (ToF 产品) 2
Slide 3: 车用平台应用方案 – MCU 解决方案
车用平台应用方案 – MCU 解决方案 车载资通讯 抬头显示器 CAN/LIN NUC131U 仪表 AEC- Body control CAN NUC131U Q100 Grade 2 NUC131U T-Box - CAN Bridge NUC131U CAN / LIN ADAS CAN/LIN 倒车雷达 AEC- M0A23 Q100 Grade 1 车窗, 车灯, 座椅 M0A23 M0A23 3
Slide 4: NuMicro CAN 系列产品组合
NuMicro® CAN 系列产品组合 Memory NuMicro® M0 家族 NuMicro® M4 家族 NUC230/240 特色 M487 特色 512 KB M487 Series M487 Series 。 运算速度 72 MHz 。 运算速度 192 MHz Flash 。 USB 2.0 FS/HS OTG 。 USB FS Device 。 100M 以太网 MAC M483 Series M253 特色 256 KB M483 Series M483 Series M483 特色 M453 Series Flash 。 运算速度 48 MHz 。 运算速
Slide 5: NUC131SD2AEU AEC-Q100 Grade 2 认证 MCU
NUC131SD2AEU AEC-Q100 Grade 2 认证 MCU AEC-Q100 Grade 2 系统 NUC131U • 50 MHz Arm® Cortex®-M0 • 68 KB Flash / 8 KB SRAM • 工作电压: 2.5 ~ 5.5V • 工作温度: -40 ~ 105 °C • ESD: 4.4kV 模拟 • 8-ch 12-bit ADC • 支援 BOD/LVR 功能 周边 • 1x CAN 2.0B1 (Licensed from Bosch) • 3x LIN • 6x UART, 1x SPI, 2x I²C • 24-ch 100 MHz PWM
Slide 6: CAN Bridge – T-Box/ 车载资通讯/ ADAS
CAN Bridge – T-Box/ 车载资通讯/ ADAS 除了DSP/MPU做图形显示， T-Box/ 车用影音装置/ADAS还需要一个 MCU。该 MCU 用于电源管理、IO 控制和信息传输。 Feature: CAN x1: 信息传递/沟通 SPI: 连接MPU/DSP I2C: 储存客制化数据 ADC: Host NUC131U MPU Display 。 电压侦测 CAN SPI GPIO: 。 电源管理/开关控制 6
Slide 7: M0A23EC1ACU AEC-Q100 Grade 1 认证 MCU
M0A23EC1ACU AEC-Q100 Grade 1 认证 MCU AEC-Q100 Grade 1 系统 M0A23 • 48 MHz Arm® Cortex®-M0 • Supports Hardware Divider • 32 KB Flash / 4 KB SRAM • 5 路 PDMA • 工作电压: 2.5 ~ 5.5V • 工作温度: -40 ~ 125 °C 周边 • CANx1 (Licensed from Bosch) • UART, SPI, I²C, LIN 界面 • 四组计时器 • 6 路 PWM 模拟 • 17 路 12-bit ADC • 内建比较器 x2
Slide 8: M0A23 成功案例_ADAS
M0A23 成功案例_ADAS 倒车雷达 360° 环景 Toggle IO 超音波 雷达 Toggle CAN IO 超音波 Front View Camera /LIN 雷达 Side View Camera (Right) 仪表 M0A23 Video Decoder AP CAN I/F Toggle IO 超音波 Side View Camera (Left) (Option) (AVM Algorithm) M0A23 SPI Display 雷达 Rear View Camera Toggle 超音波 Optional Front Camera IO 雷达 Flash Memor
Slide 9: M0A23 成功案例_Body Control
M0A23 成功案例_Body Control 车灯 电热/通风座椅 HVAC 风扇 Voltage I2C Voltage EEPROM detection detection ADC/ Current ACMP ADC Car I2C detection Fan Sensor Current lights Temperature Master CAN/LIN detection M0A23 control M0A23 M0A23 detection ADC PWM Temp. LED Driver PWM LED Driver /SPI CAN PWM Car seat CAN/ Mast
Slide 10: 车用解决方案 - 电动车
车用解决方案 - 电动车 Traction DC-DC BMS Inverter HV/48 V/12 V HV 10
Slide 11: 电动车 - DC-DC (模拟电源转换器)
电动车 - DC-DC (模拟电源转换器) 24 通道 100MHz PWM 。 200KHz 输出: 500 分辨率 High Voltage side Low Voltage side 。 死区控制 (400V) 。 相位延迟 Low Voltage (72V) 。 煞车 x4 (触发时间 < 26uS) ADC x8: 电压, 电流, 温度 CAN x1 AEC-Q100 PWM NUC131U ADC 11
Slide 12: 电动车 - 家用充电桩
电动车 - 家用充电桩 特点： 。 AC-DC: 220V -> 300V MOS 控制: PWMx4 (死区控制) 。 BMS 通讯界面 :CANx1 。 电压/电流感测器通讯界面: RS485 。 侦测相电流/总电流: ADC Power PWM CAN NUC131U ADC BMS UART/ GND SPI Sensor Module 12
Slide 13: 车用平台应用方案 – Gerda 解决方案
车用平台应用方案 – Gerda 解决方案 抬头显示器 电子后视镜 仪表盘 暖通空调 音响显示系统 （Gerda 产品） （MCU 产品） 人脸识别，驾驶行为识别 (ToF 产品) 13
Slide 14: Gerda 系列特性
Gerda® 系列特性 用于 HMI 系统的图形和显示控制芯片 开机快速启动: 上电后0.5秒以内启动 出色的图像质量：具有各种图像校正和增强功能 Gerda系列通用软件平台 摄像头 Gerda® 仪表盘 平视显示器 暖通空调 CPU m 视频信号输入 模拟和数字 单通道或双通道 导航/影音 视频输入 液晶输出 LCD Km/h DRGB/LVDS 2D/3D 图形 画面质量增强 电子式后视镜 音响显示系统 USB 内嵌帧内存 声音控制 汽车网络 网络接口 行车电脑 CAN/以太网 选项 单片机 DDR/SDRAM 闪存 14
Slide 15: 销售业绩
销售业绩 • 自2009年以来，Gerda®累计销售量超过5500万台 抬头显示器 电子后视镜 仪表盘 音响显示 仪表盘/ 家电 系统 平视显示器 暖通空调 音响显示系统 （Gerda 产品） ’08 ’09 ’10 ’11 ’12 ’13 ’14 ’15 ’16 ’17 ’18 ’19 ’20 15
Slide 16: Gerda 发展计划
名称 Gerda 发展计划 ® 日程 • 功能/ 状态 Gerda-4H T.B.D. 高中档 Gerda-C2 • 正在规划中 （外置内存） Full HD Gerda-Cdash MP (1920×1080) MP • Linux 应用 • 汽车网络安全 Gerda-C • Open GL ES2.0 • Ethernet AVB MP • USB 3.0 • 双操作系统 WXGA • Wi-Fi/BT (1280×800) 功能与性能 • AV-DEC Gerda-4L ES: Q3/2022 中低档 Gerda-EINS • 正在开发中 Gerda-3 Gerda-M ES: avai
Slide 17: Gerda 优化用户体验
Gerda® 优化用户体验 图形 增强效果 安全 2.5D / 3D 图形 失真校正 图形异常检测 • 7inch WVGA • 校正前 • 错误检测 • 诊断 HUD 导航 后视监控 • 12inch Full-HD • 校正后 • 颜色检测 正确 错误 在输入视频上叠加图形 低延时 通知注意 更好的能见度 抗眩光 高分辨率 局部对比度校正 • 前 • 后 • 前 • 后 更清晰的图像 更好的夜视 17
Slide 18: 仪表盘方案
仪表盘方案 按分辨率推荐 Gerda®-EINS Gerda®-Cdash 3.5 - 10.25” / WQVGA-WXGA 10.25 - 12.3” / WXGA-1,920× 720 LCD out CAN CAN MCU (LVDS) MCU 1,920 x 1,080 2.0M 像素相 自由调整窗口大小 2.0M 像素 机 相机 LCD 输出 DRGB 图像增强 MIPI 图像增强 Des REC656 Des (DRGB/LVDS) 快速启动<0.5s 快速启动 <0.5s 1,280 x 720 2.0M 像素相 自由调整窗口大小 模拟 失真校正 2ch 机 低延时失真校正 3
Slide 19: Gerda - EINS
Gerda® - EINS 汽车仪表盘 / 电子后视镜 / 抬头显示器 / 暖通空调系统 MIPI LVDS 特色 Gerda® • 高分辨率系统 (推荐尺寸：1280x720) 数字/模拟 -EINS DAC 仪表盘 • 增强 2.5D 图形 or Pluto is now a dwarf planet MCU FLASH • 相机 I/F: 模拟, 数字 和 MIPI 电子后视镜 • 图像处理后进行显示输出 or • 图像质量处理引擎 (在镜头起雾、进光量少或镜头脏污 平视显示器 警告铃声 / 语音声音 or 的情况下也能实现高可视化) • 嵌入式帧缓冲存储器 8/10MB 暖通空调
Slide 20: Gerda - Cdash
Gerda® - Cdash 全面屏仪表盘系统 特色 数字/模拟 LVDS • 分辨率仪表盘 (Full-HD + WVGA) 以太网音视频 Gerda® • 增强 2.5D / 3D 图形 Pluto is now a dwarf planet 桥接技术 Cdash DRGB Full-HD LCD 仪表盘 • 相机I/F 2ch DAC (模拟/数字和以太网络音视频技术) MCU DDR FLASH • 图像处理后进行双显示输出 平视显示器 or eMMC or • 平视显示器失真补偿 • 声音输出 HVAC • 安全快速启动 警告播报/ • 双操作系统 (RTOS / Linux)
Slide 21: 仪表盘 / 平视显示器 / 电子后视镜 效果图
仪表盘 / 平视显示器 / 电子后视镜 效果图 仪表盘和抬头显示器 电子后视镜 抬头显示器 ・ 分辨率: 800 x 480 后视镜 ・ 分辨率: 1,920 x 480 ・ 开发板大小: 215 x 50 [mm] 抬头显示器 平视显示器 仪表盘 ・ 分辨率: 1280x480 ・ 分辨率: 1,920 x 1,200 21
Slide 22: 车用平台应用方案 – ToF 解决方案
车用平台应用方案 – ToF (Time-of-Flight) 解决方案 抬头显示器 电子后视镜 仪表盘 暖通空调 音响显示系统 （Gerda 产品） （MCU 产品） 人脸识别，驾驶行为识别 (ToF 产品) 22
Slide 23: 议程
议程 ToF 技术 应用场景 。 驾驶状态监测 。 演示录像 。 司乘人员监测应用 。 人脸识别 ToF 传感器的解决方案 23
Slide 24: ToF 技术
ToF 技術 ToF 传感器通过 NIR 脉冲的飞行时间测量物体距离 本系统可以输出无背景光的 NIR-2D 和 3D 图像 输出图像 光/快门脉冲时序 NIR-2D image TOF Camera Round trip time Emitting Light Sunlight Receiving Light TOF Sensor VCSEL Shutter 1 Shutter 2 3D image Shutter 3 Time 背光消除 背景光的测量部分 然后从捕获的信号中减去它 24
Slide 25: ToF 3D 传感器系统
ToF 3D 传感器系统 通过系统设计和 IPs 提供一流的 ToF 传感器 ToF camera System on module PM IC *ToF Sensor I2C Application Processor *PoC LENS *ToF ISP mipi (Proof of concept) Application SW OS (Linux…) BPF Shutter Driver *ToF Library LD Driver *ToF Driver VCSEL 实像 深度图像 NIR 图像 3D 图像 (点云) Change to 3D Objects XY＋3D Imag
Slide 26: ToF 技术用于车载应用
ToF (Time of Flight) 技术用于车载应用 在不久的将来，驾驶状态监测、司乘人员监测等功能将陆续推出. 降低事故率 创造舒适空间 Drowsiness Carelessness Fatigue Natural U/I Classification Safer space 独特的近红外传感器技术 3D与2D的融合 高分辨率3D，覆盖范围广 去除背景光以保持对 对目标检测具有高耐光性 眼睛的跟踪 Conventional TOF based IR Conventional TOF based IR IR IR 26
Slide 27: ToF 技术应用 - 驾驶状态监测 (1)
ToF 技术应用 - 驾驶状态监测 (1) 去除背景光的效果：获得不受阳光影响的稳定图像 卤素灯 模拟太阳光干扰 测试环境 无背景消除 背景消除 Disturbance by halogen light Disturbance by halogen light NIR-2D 影像 27
Slide 28: ToF 技术应用 - 驾驶状态监测 (2)
ToF 技术应用 - 驾驶状态监测 (2) 去除背景光的效果：消除眼镜反光侦测眼镜后面的眨眼 无背景消除 背景消除 由于眼镜反射，很难检测到 由于眼镜上没有反射， 眼睛的开/闭 因此可以检测眼睛的开/闭 28
Slide 29: ToF 技术应用 - 演示录像 (照相机比较)
ToF 技术应用 - 演示录像 (照相机比较) 面部识别 PERCLOS* *Percent of Eyelid Closure (Left, Entire, Right) 面方向（黄色）， 注视方向（红色） 张口/闭口情况 垂直角度 从左到右 ・安全驾驶 ・接打电话 ・抽烟 面方向（黄色），注视方向（红色）垂直角度 29 Disclosure restricted to General Motors Company only
Slide 30: ToF 技术应用 - 演示录像真实场景
ToF 技术应用 - 演示录像真实场景 良好 佩戴眼镜 戴口罩 阳光照在脸上 NTCJ的ToF 像机 普通的红外像机 30 Disclosure restricted to General Motors Company only
Slide 31: ToF 技术应用 - 司乘人员监测应用
ToF 技术应用 - 司乘人员监测应用 安装位置 ToF camera H134 x V100 应用场合 座位侦测 人脸识别 举手检测 出风口控制 手势识别 安全气囊控制 身体姿势 儿童在场检测 200mm *The image by the test chip / module under development. 1050mm 指法侦测 31
Slide 32: 司乘人员监测应用示范录像
ToF 技术应用 - 司乘人员监测应用示范录像 时间表 0:00–0:15 : 进入车内 0:15–0:25 : 触碰中控台. 0:25–0:35 : 轻弹手指 0:35-0:50 : 接触/释放转向 0:50-1:05 : 帮助孩子 1:05-1:11 : 把手放在门窗上 1:05-1:35 : 下车 200mm 1050mm *The image by the test chip / module under development. 32
Slide 33: ToF 技术应用 - 人脸识别
ToF 技术应用 - 人脸识别 内置TOF传感器, 车载智能锁 3D 人脸识别在1米左右 车载人脸支付 智能锁 人脸支付 33
Slide 34: ToF 技术解决方案 - 优化设置参考
ToF 技术解决方案 - 优化设置参考 ToF 摄像系统 • 设备 : ToF 系统驱动设置，温度漂移校 I2C 准 (Real-time phase timing aligner) 1 mipi • 光学设备 : 镜头与光源选择 (FOV/FOI, 850nm/940nm, VCSEL数量) 2 • 相机参考设计 : 高级电路设计，外壳设 计，摄像机校准 3 • 软件 : 处理软件库 (Coring, Edge error removing, 3D-NR, WDR) 4 34 34
Slide 35: CCD-ToF 传感器 - KM34906 特色
CCD-ToF 传感器 - KM34906 特色 KM34906B1S 是一种直接支持 1/4英寸 VGA 的 ToF 传感器 设备结构图 适用于强光甚至太阳光在 (0lux~150Klux) 温度范围在 (Ta:-40℃~85℃) 单位像素大小 ：5.6um × 5.6um 有效像素 ：640 ( H ) × 480 ( V ) 水平驱动频率：45.0 MHz 显示比例：4:3 扫描模式 : 逐步扫描 帧率：30fps (典型值) 封装：KM34906B1S FBGA057-P-0808 车规标准：Grade 2 35
Slide 36: CIS-ToF 传感器 - KW33000 特色
CIS-ToF 传感器 - KW33000 特色 集成深度数据处理单元减少了App SoC 中的数据流量和处理资源 单位像素大小 : 5.6um x 5.6um 结构图 有效像素 : 640 (H) x 480 (V) KW33000 显示比例: 4:3 VCSEL Driver 扫描模式 : 逐步扫描 ROM PTA 帧率 : 30fps (典型值)，60fps (最大值) ToF Driving 封装: 97 管脚 BGA Pixel 设备特性 App SoC IIC/SPI Array 片上深度数据处理和校准 slave 用PTA (脉冲定时器)做
Slide 37: 摄像机概念验证 (PoC) 规格
摄像机概念验证 (PoC) 规格 外观尺寸 参考摄像机規格 84mm Short & Outdoor Wide & Indoor Wide & Outdoor Ultra Wide KHKT000 系列 技术参数 单位 40mm (Driver Monitoring) (Obstacle Detection) (Security) (Robotics) 室内范围 20klux *1 0.2-1.2/ m 0.4-1.0 0.2-3.0 0.3-4.0 (无图像融合处理) 1.0-6.0 精度 % <2 30mm 帧率(IR, depth) *1 fps 15 20 15 ~ 30 20 H
Slide 38: ToF 产品及解决方案路线图
ToF 产品及解决方案路线图 产 品 历 史 穿戴设备 工厂自动化 手机 汽车 运输 智能锁 自动移动机器人 农业机器人 先进的2D/3D 融合 可侦测多个物体 避障移动 2D/3D 融合 对低移动物体的模糊 高稳定性的传感器用于 可侦测物体的位置 用于物体侦测 侦测 行为监测 宽视角和长距离的侦测 宽视角和长距离的侦测 0.5~15m, 120°x80°/~150klux 宽视角和短距离侦测 0.3~10m, 120°x80°/~50klux 个人空间感知 KW3XXXX Performance 0.2～6m, 110°x70°/~50klux G R G R 0.2～3m, 110°x70
Slide 39: Toy of innovation
Toy of innovation NUVOTON Kiitos — Merci Danke Grazie BUDES HAPS LCt Dziekujemy Obrigado Cnacu6o Gracias Tesekktir ederim Cam on