产品文档 : Apex Xavier II用户手册


安全警示及使用注意事项

请在使用本产品前仔细阅读本手册,未经授权的操作会导致错误或意外。制造商对因错误操作而导致设备出现的任何问题均不负责。

  • 避免热插拔设备接口。
  • 要正确关闭电源,请先关闭Ubuntu系统,然后再切断电源。由于Ubuntu系统的特殊性,在Nvidia的开发板上,如启动未完成的时候强行断电,会有0.03%的概率出现异常,进而导致设备无法启动。由于使用Ubuntu系统,米文的设备上也会存在同样的问题。
  • 请勿使用本手册提及以外的线缆。
  • 避免在强磁场环境下使用本设备。
  • 长期不使用及运输前需要对数据进行备份。
  • 推荐使用原包装进行运输。
  • 警告! 此为A级产品,在生活环境中,该产品可能会造成无线电干扰。在这种情况下,可能需要用户对干扰采取切实可行的措施。
  • 若使用电源适配器供电,则应该购买使用获CCC认证并满足标准要求的电源适配器。

Apex Xavier II 产品介绍


简介 Brief

米文Apex Xavier II是一款嵌入式人工智能计算机,能够为众多终端设备赋予人工智能计算力,从而有效降低人工智能产品的落地门槛。Apex Xavier II可以在满足抗振防水等工业级标准的同时,提供高达32Tops计算能力,能够很好的满足低速无人驾驶等场景的视觉计算需求。除此之外Apex Xavier II还可提供高效的多传感器时钟同步功能与基于主流的AI算法加速SDK。

产品清单

  • Apex Xavier II×1

  • 电源适配器×1

  • PORT 1转接线×1

  • PORT 2转接线×1

  • 4合1 MINI FAKRA转接线×2

  • 4G模块×1(非标配,可选)

  • 4G天线×2

  • WiFi模块×1(非标配,可选)

  • WiFi天线×2

  • SSD×1(非标配,可选)

  • 保修卡×1

  • 合格证×1

产品规格 Specifications

处理器模组 Processor


Specification
ProcessorNVIDIA Jetson AGX Xavier
AI PerformanceUp to 32T OPS
CPU8-core ARM v8.2 64-bit CPU
GPU512-core Volta GPU
Memory

32GB 256-Bit LPDDR41

DL Accelerator2×NV DLA Engines
Storage32GB eMMC 5.1
Video Encode

4x 4Kp60
8x 4Kp30
16x 1080p60
32x 1080p30
(H.265)

4x 4Kp60
8x 4Kp30
14x 1080p60
30x 1080p30
(H.264)

Video Decode

2x 8Kp30
6x 4Kp60
12x 4Kp30
26x 1080p60
52x 1080p30
(H.265)

4x 4Kp60
8x 4Kp30
16x 1080p60
32x 1080p30
(H.264)

1

Jetson AGX Xavier DRAM内存规格由16GB提升到32GB。

接口 I/O

接口 Interface规格/Specifications
网络接口 Network2×PoE+ Gigabit Port(IEEE 802.3 at PoE+ 25.5W)
相机接口 Camera2×GMSL2 4 IN 1 MINI FAKRA TYPE(10V,Transmission distance up to 15 meters,GMSL2 compatible with GMSL1)
视频输出 Video output1×HDMI 2.0(TYPE A)
USB2×USB 3.0(TYPE A)
通用输入/输出口 GPIO4×In(0-12V) 4×Out(3.3V)
CAN FD5×CAN FD(With CAN chip Terminal resistor 120Ω)
串口 UART1xDebug(RS232),3xRS232,2xRS485
同步输入/输出口 Sync I/O1xSYNC_IN(0-12V) 1xSYNC_OUT(3.3V) 1xSYNC_PPS(3.3V)
扩展接口 User Expansion1×M.2 M Key(PCIe x4, 2280) 2×Mini PCle(For 4G or WiFi expansion) 2×Nano SIM Socket
按键 Function Key1xPower KEY,1xReset KEY,1xRecovery KEY(Button)


供电 Power Supply

Power SupplySpec
Input TypeDC
Input VoltageWide input 9-36V DC
Typical consumption30W

结构 Mechanical

MechanicalSpec
Dimensions (W×H×D)276mm×66mm×212mm (I/O ports and mounting holes included) 240mm×66mm×173mm (I/O ports and mounting holes excluded)
Weight2.7Kg

环境 Environmental

EnvironmentalSpec
Operating Temperature-25℃-70℃
Storage Temperature-40℃-80℃
Storage Humidity10%-90% non-condensing
Vibration3Grms,10Hz~500Hz,1h/axis
Protection

IP5X(默认)

IP65 1(可选)

1. Apex Xavier  II接口的接头选型均为IP65级别。若对整体产品有高防水要求则需要在购买时联系米文动力要求进行产品防水预处理。 

尺寸及安装 Install Dimension

Apex Xavier II主体尺寸及安装孔位尺寸如图:

Dimensions and mounting hole position as below:

俯视图 Up view(Unit:mm)

主视图 Front view(Unit:mm)

左视图 Left view(Unit:mm)

安装孔位图 Mounting Hole(Unit:mm)

服务与支持

技术支持

如果您遇到问题,或者您认为您的产品有缺陷,请发问题到email: helpdesk@miivii.com,我们将帮助您解决问题。也可访问米文技术论坛http://forum.miivii.com,搜索我们的知识库,以查找常见问题的解决方案。

保修

保修期:米文设备保修期为自购买之日起一年。 保修条例:保修期内产品,若出现非人为损坏的故障米文将进行免费保修。请联系helpdesk@miivii.com获取保修协助。

接口说明及扩展安装方式

接口说明

正面接口

图 Apex Xavier II正面接口示意图
接口接口名称接口说明
EXPANSION PORT①多功能接口IO_1

1路DEBUG口

3路232串口

2路485接口

2 路 CAN FD口(带有CAN芯片,终端电阻120Ω)

1路SYNC_PPS 接口(3.3V)

1路 SYNC_OUT接口(3.3V)

1路 SYNC_IN 接口(Logic High 1V-12V, Logic Low 0V-0.8V)

1 个 POWER_ONKEY启动按钮

1个FORCE_RECOVERY救砖按钮

1个RESET复位按钮

EXPANSION PORT②多功能接口 IO_2

1路输入电源9-36V

3 路 CAN FD口(带有CAN芯片,终端电阻120Ω)

8路GPIO 口(4×In(Logic High 1V-12V, Logic Low 0V-0.8V),4×Out(3.3V))

1路FAN口(5v PWM)

LAN1(PoE+)以太网千兆口独立千兆网口, 向下兼容百兆网口 IEEE 802.3at PoE+ 25.5W
LAN2(PoE+)以太网千兆口独立千兆网口, 向下兼容百兆网口 IEEE 802.3at PoE+ 25.5W
GMSL/GMSL2 4 IN 1 MINI FAKRAGMSL /GMSL2输入可接入8路GMSL/GMSL2协议的摄像头



其中,多功能接口介绍如下:

EXPANSION PORT ①与EXPANSION PORT②,位于Apex Xavier II 正面位置,如图所示:

图 多功能接口图

其中,LAN1/LAN2以太网千兆口具有POE功能,POE功能默认关闭

如需使用POE功能,详细的关闭/开启操作方法如下:

开启POE输出:打开设备的/usr/local/bin/poe-control.sh文件,将 Poe_enable=1 和Poe_pow=1;

关闭POE输出:打开设备的/usr/local/bin/poe-control.sh文件,将Poe_enable=0 和Poe_pow=0;


其中,摄像头接口引脚定义如下:

图 Apex Xavier II摄像头接口示意图
Circuit设备节点
0video0
1video1
2video2
3video3
4video4
5video5
6video6
7video7


Apex Xavier II提供8路GMSL2摄像头接口,接口特性描述如下:

  • 支持两组共8路GMSL2摄像头输入。

  • Apex Xavier II为GMSL2摄像头的供电电压为10V,请确认所使用摄像头的电压允许范围,避免过压烧毁摄像头。

  • 8路GMSL2摄像头支持摄像头自触发(默认设置)。

  • 8路GMSL2摄像头支持被同一个固定输出频率的同步信号触发。

###

EXPANSION PORT ① 接口信号定义

图 EXPANSION PORT ①接口序号图


接口名称引脚序号接口信号定义接口说明
UART(DEBUG) 8G1UART(DEBUG)_RXUART(DEBUG)信号:232-RX
H1UART(DEBUG)_TXUART(DEBUG)信号:232-TX
J1GND
UART(232)BD1UART(232)B_RXUART(232)B信号:232-RX
E1UART(232)B_TXUART(232)B信号:232-TX
F1GND
UART(232)CB2UART(232)C_RXUART(232)C信号:232-RX
A2UART(232)C_TXUART(232)C信号:232-TX
A3GND
UART(485)AK1UART(485_A)AUART(485)A信号:485_A
L1UART(485_B)AUART(485)A信号:485_B
L2GND
UART(485)BG2UART(485_A)BUART(485)B信号: 485_A
F2UART(485_B)BUART(485)B信号: 485_B
C2GND
CAN_AB3CAN_A_LCAN_A信号 低位数据线
C3CAN_A_HCAN_A信号 高位数据线
CAN_BD3CAN_B_LCAN_B信号 低位数据线
E3CAN_B_HCAN_B信号 高位数据线
PPS_AA1PPS_A_RXPPS_A信号:TTL-RX
B1PPS_A_TXPPS_A信号:TTL-TX
C1GND
F3PPS_A_SYNCPPS_A_SYNC 秒脉冲信号
G3GND
UART(232)AK2UART(232)A_RXUART(232)A信号:232-RX
J2UART(232)A_TXUART(232)A信号:232-TX
H2GND
H3
J3GND
SYNC_IOK3SYNC_INSync in同步信号
L3GND
M3SYNC_OUTSync out同步信号
M4GND
K4GND
RESET按键J4RESET复位按钮
RECOVERY按键G4FORCE_RECOVERY恢复按钮
POWER 按键E4POWER_ONKEY启动按钮
GNDH4GND
F4
D4


[8]  UART(DEBUG) 接口为DEBUG接口*

外接GPS授时

若需要使用GPS外部授时功能,接线方案如下:

GPS的NMEA输出串口对接Apex Xavier II的UART(232)B硬件串口(串口波特率为9600),映射到Linux系统为/dev/ttyUART_232_B设备节点。

GPS的pps秒脉冲输出信号线对接Apex Xaiver II的SYNC_IO线的PIN1管脚,映射到Linux系统为/dev/miivii-sync-in-a设备节点。

在GPS授时模式下,如上两个节点会被后台GPS授时处理程序占用。请勿对这两个节点进行其他操作,否则GPS授时功能会被打断。

GPS授时串口波特率调整

gps授时串口节点可调:

在/etc/systemd/sync_auto.sh脚本中进行修改,具体如下;

例如修改为115200启动:

/usr/local/bin/sync_auto 115200 > /var/log/miivii_sync.log &

如果不填写波特率参数,则默认为9600

支持波特率参数如下:

2400    4800   9600    57600   115200    460800


EXPANSION PORT ②接口信号定义

图 EXPANSION PORT②接口序号图


接口名称引脚序号接口信号定义接口说明
POWERH1VIN电源正DC电源接口
H2VIN电源正(航插电源接口,棕色
H3VIN电源正航插电源接口,灰色
H4VIN电源正
G1GND电源负DC电源接口
G2GND电源负航插电源接口,蓝色
G3GND电源负航插电源接口,黑色
G4GND电源负
CAN_CD3CAN_C_LCAN_C信号 低位数据线
C3CAN_C_HCAN_C信号 高位数据线
CAN_DB3CAN_D_LCAN_D信号 低位数据线
A3CAN_D_HCAN_D信号 高位数据线
CAN_EB1CAN_E_LCAN_E信号 低位数据线
A1CAN_E_HCAN_E信号 高位数据线
8路 GPIO口A2GPIO_1GPIO_IN信号
C2GPIO_13
E3GPIO_12
F3GPIO_11
E2GPIO_24GPIO_OUT信号
F1GPIO_26
D1GPIO_33
F4GPIO_7
GNDB2GND
D2
F2
E1
E4
C1
FANB4GND
A4DC_5V电源正
D4FAN_TACH转速
C4FAN_PWM调速

背面接口

图 Apex Xavier II后侧接口示意图
接口接口名称接口说明
USB3.0USB 3.0USB 3.0(TYPE A)
USB 3.0/FlashUSB 3.0/FlashUSB 3.0(TYPE A)/烧写口
HDMIHDMIHDMI 2.0(TYPE A)
ANT1/ANT2ANT1/ANT22.4G/5.8G wifi天线外延口
ANT3/ANT4ANT3/ANT44G天线外延口

蜂鸣器

一声短嘀音:上电后,电源正常

一声长嘀音:系统处于刷机模式

循环五声短嘀音:系统启动不成功

IO转接线说明

Apex Xavier II附带两根IO转接线,对应EXPANSION PORT ①/PORT ②

PORT 1转接线说明

EXPANSION PORT ①转接线有10个DB9端子和3个按键,功能如表所示:

序号功能个数引出方式
1UART_2324黑色DB9接头
2UART_4852灰色DB9接头
3CAN(CAN FD)2白色DB9接头
4PPS1深蓝色DB9接头
5同步信号2在同一个墨绿色DB9接头中
63个按键31个RESET按键 1个RECOVERY按键 1个POWER_ONKEY按键

图 IO转接线实物图


UART(232)连接线及引脚定义

Apex Xavier II支持4路232串口通信,分别为UART(232)A,UART(232)B,UART(232)C。其中UART(DEBUG)是debug接口。转接线中使用黑色DB9端子引出,如图:

图 UART(232)转接线实物图

4路UART(232)的DB9端子引脚定义:

图 UART(232)接口序号图


接口名称PinSignal
UART(DEBUG)2UART(DEBUG)_RX
3UART(DEBUG)_TX
5GND
UART(232)A2UART(232)A_RX
3UART(232)A_TX
5GND
UART(232)B2UART(232)B_RX
3UART(232)B_TX
5GND
UART(232)C2UART(232)C_RX
3UART(232)C_TX
5GND



UART(485)连接线及引脚定义

Apex Xavier II支持2路485串口通信,分别为UART(485)A,UART(485)B。RS485为半双工。转接线中使用灰色DB9端子引出,如图:

图 UART(485)转接线实物图

2路UART(485)的DB9端子引脚定义:

图 UART(485)接口序号图


UART(485)AUART(485)B
PinSignalPinSignal
2UART(485_A)A2UART(485_A)B
3UART(485_B)A3UART(485_B)B
5GND5GND



UART接口的设备节点对应关系如下:

序号UART接口设备节点
1UART(232)AttyUART_232_A
2UART(232)BttyUART_232_B
3UART(232)CttyUART_232_C
4UART(485)AttyUART_422_485_A
5UART(485)BttyUART_422_485_B
6UART(DEBUG)DEBUG


CAN(CAN FD)连接线及引脚定义

Apex Xavier II支持5路CAN总线通信,在PORT 1中含有2路,分别为CAN_A,CAN_B。转接线中使用白色DB9端子引出,如图:

图 CAN转接线实物图

2路CAN总线的DP9端子引脚定义:

图 CAN接口序号图


CAN_ACAN_B
PinSignalPinSignal
2CAN_A_L2CAN_B_L
7CAN_A_H7CAN_B_H



PPS连接线及引脚定义

Apex Xavier II支持一路PPS同步信号,波特率为9600。对应于IO转接线中一个深蓝色DB9端子,如图所示:
 PPS 同步功能的使用方法请见“同步功能使用说明”中的“PPS同步模式”部分。

图 PPS同步转接线实物图

引脚定义:

图 PPS同步接口序号图


PPS
PinSignal
1GND
2PPS_A_RX
3PPS_A_TX
5GND
6PPS_A_SYNC


SYNC连接线及引脚定义

Apex Xavier II支持1路的Sync-out和1路的Sync-in同步信号11。对应IO转接线中一个墨绿色DB9端子,如图所示:

图 Sync IO转接线实物图

SYNC_IO的DP9端子引脚定义:

图 Sync IO接口序号图


Sync同步信号
PinSignal
1SYNC_IN_A
2SYNC_OUT_A
3NC
6GND
7GND
8GND


[11]  Sync-out与Sync-in 同步功能的使用方法请见“同步功能使用说明”中的“Sync out 同步模式”与“Sync in 同步模式”部分。

功能按键

Apex Xavier II转接线中提供了3个功能按键,分别为RESET按键,POWER_ONKEY按键和FORCE_RECOVERY按键。

图 功能按键实物图
按键名称按键功能颜色区分
RESET按键设备重新启动白色
POWER_ONKEY按键设备启动红色
FORCE_RECOVERY按键进入刷机模式黑色

PORT 2转接线说明

EXPANSION PORT ②转接线有2个电源端子,5个DB9端子和1个风扇,功能如表所示:

序号功能个数引出方式
1电源输入1

1个5x2.5 DC电源头

1个4pin航插电源头

2CAN(CAN FD)33个DB9接头
3GPIO82个DB9接头
4FAN11个4芯5v-PWM风扇接头


图 IO转接线实物图


电源接口

Apex Xavier II转接线中提供了2路电源输入接口,2路接口为电气并联。

图 DC电源接口实物图


图 航插电源接口实物图


Pin
信号定义接口说明
1VIN直流电源正
3VIN直流电源正
2GND直流电源负
4GND直流电源负

航插电源转接线


图 航插电源转接线实物图

Apex Xavier II转接线中航插电源转接线线序说明如下,与EXPANSION PORT ②接口信号对照详见接口说明。

颜色信号定义接口说明
VIN直流电源正
VIN直流电源正
GND直流电源负
GND直流电源负

CAN(CAN FD)连接线及引脚定义

Apex Xavier II支持5路CAN总线通信,在PORT 2中含有3路,分别为CAN_C,CAN_D,CAN_E。转接线中使用白色DB9端子引出.

2路CAN总线的DB9端子引脚定义:

图 CAN接口序号图


CAN_CCAN_DCAN_E
PinSignalPinSignalPinSignal
2CAN_C_L2CAN_D_L2CAN_E_L
7CAN_C_H7CAN_D_H7CAN_E_H



GPIO连接线及引脚定义

Apex Xavier II支持8路GPIO串口通信,由2路DB9端子引出,分别为GPIO_A,GPIO_B。转接线中使用绿色DB9端子引出。

5路GPIO_A的DB9端子引脚定义:

图 GPIO_A接口序号图
接口名称DB9针脚序号信号定义接口说明引脚号
GPIO_A1GPIO_1GPIO IN339
GPIO_B2GPIO_13GPIO IN443
GPIO_C3GPIO_24_3V3GPIO OUT387
GPIO_D4GPIO_26_3V3GPIO OUT390
GPIO_E5GPIO_33_3V3GPIO OUT413
GND6-9GND

3路GPIO_B的DB9端子引脚定义:

图 GPIO_B接口序号图
接口名称DB9针脚序号信号定义接口说明引脚号
GPIO_F3GPIO_12GPIO IN241
GPIO_G5GPIO_11GPIO IN240
GPIO_H1GPIO_7_3V3GPIO OUT238
GND6/8GND

风扇连接线及引脚定义

Apex Xavier II支持外接1路12V-PWM风扇输出。

颜色信号定义接口说明
GND
DC_5VFAN电源正
FAN_TACH转速
FAN_PWM调速

扩展设备的安装方式

Apex Xavier II提供SSD硬盘、4G模块、SIM卡的硬件接口,为扩展功能使用。

设备壳体整体有防尘防水处理,为避免影响设备整体防尘防水效果,建议在设备选购时选择预装相应扩展模块的设备。



WIFI天线


4G天线



Mini PCIe 4G支持清单

Mini PCIe 4G Support List

序号

NO.

品牌

Brand

产品型号

Product NO.

支持方式

Support

使用接口

Interface

模块功能

Module function

工作温度

Operating temperature

规格

Spec

备注

Note

1

移远

Quectel

EC20-CEHCLG-MINIPCIE-CB

正式

Formal

Mini PCIe 
4G-40ºC - 80ºC 全网通 Speed: Max 130Mbps (Download)/Max 30Mbps (Upload)
2

移远

Quectel

EC20-CEHC-MINIPCIE-CBBetaMini PCIe 
4G-40ºC - 80ºC 全网通 Speed: Max 130Mbps (Download)/Max 30Mbps (Upload)
3

移远

Quectel

EC20-CEHCLG-MINIPCIE-CBetaMini PCIe 
4G-40ºC - 80ºC 全网通 Speed: Max 130Mbps (Download)/Max 30Mbps (Upload)

注:

  1. 正式支持:每次米文系统版本升级,会在米文设备上进行验证。
  2. BETA支持:米文调试过,但不会在每次米文系统版本升级中验证,如使用过程中需要进一步支持请联系对应的销售工程师或客户经理。

Note:

Official support: Every time the Miivii system version is upgraded, it will be verified on the Miivii device.
BETA support: Miivii has added the product driver, but not verified in each Miivii system version upgrade. If you need further support during use, please contact the corresponding sales engineer or account manager.


Mini-PCIe WIFI支持清单

Mini-PCIe WIFI Support List

序号

NO.

品牌

Brand

产品型号

Product NO.

支持方式

Support

使用接口

Interface

模块功能

Module function

工作温度

Operating temperature

无线标准

Standard

规格

Spec

备注

Note

1ComplexWLE900VX

正式

Formal

Mini PCIe WIFI-20ºC - 70ºCWifi802.11acWIFI rate ≤1300Mbps
2Azurewave(海华)AW-CB161H

正式

Formal

Mini PCIe WIFI+BT0ºC - 70ºC

Wifi 802.11a/b/g/n/ac

BT:4.0

WIFI rate ≤433.3Mbps

注:

  1. 正式支持:每次米文系统版本升级,会在米文设备上进行验证。
  2. BETA支持:米文调试过,但不会在每次米文系统版本升级中验证,如使用过程中需要进一步支持请联系对应的销售工程师或客户经理。

Note:

Official support: Every time the Miivii system version is upgraded, it will be verified on the Miivii device.
BETA support: Miivii has added the product driver, but not verified in each Miivii system version upgrade. If you need further support during use, please contact the corresponding sales engineer or account manager.

功能介绍

通用使用方法

系统介绍

米文设备采用Ubuntu系统。默认用户名:nvidia; 密码:nvidia

烧写镜像

请访问米文技术论坛http://forum.miivii.com/来获取烧写工具,烧写工具说明及相应镜像。

开关机

开机:米文设备默认开机模式为上电自启动。插入电源,并将显示器通过HDMI接口与米文设备相连,开机画面如图所示:

图 开机画面

关机:长按POWER键/ON KEY按钮关机。或在命令行中执行$ sudo poweroff,完成软关机 重启:在命令行中执行$ sudo reboot,完成重启


MIIVII SETTINGS的使用说明(适用于Jetpack 4.5版本及以上)

简介

MIIVII SETTINGS(又称米文设置),是米文为了简化对于设备进行设置,而提供的工具。

提供诸如系统状态检测、远程访问、远程登陆等等功能。


本使用说明适用于 Jetpack4.5版本及以上镜像的MIIVII SETTINGS 



访问方法:

方法1-本机桌面快捷方式访问:

  1. 双击桌面快捷方式“MIIVII WEBSETINGS” ,即可通过浏览器打开应用
  2. 要求登录本机的用户名密码具有sudo权限。无sudo权限用户无法使用。

方法2-本机浏览器访问:

  1. 打开浏览器
  2. 输入 http://127.0.0.1:3000
  3. 要求用户名密码具有sudo权限,无sudo权限用户无法登陆。

方法3-局域网浏览器访问:

  1. 打开PC机浏览器
  2. 输入 “设备的局域网浏览器 + 端口号”,端口号为3000 。例如:  http://192.168.1.100:3000
  3. 要求用户名密码具有sudo权限,无sudo权限用户无法登陆。



功能说明

中英文界面切换

页面右上角有  界面切换按钮,点击按钮,可以实现中英文界面的切换。

(中英文切换功能从V2.5.x及以后版本开始提供)


系统状态

用于查看当前系统的各种状态信息,例如CPU占比、内存占比,存储占比等基本信息。

  1. 点击左侧菜单栏“系统状态”即可进入页面。



也可以通过命令行查看系统版本(局域网访问时,可使用“WEB终端“功能”):

cat /etc/miivii_release
APEX 4.2.2-1.5.0

系统设置

对系统基本功能进行设置,如系统授时设置,GMSL相机设置等等。

GMSL设置 

  1. 点击左侧菜单栏“系统设置-GMSL设置”即可进入页面。
  2. 选择每个通道的对应相机型号
  3. 点击保存
  4. 等待一会儿,系统会提示GMSL设置成功,即可使用GMSL摄像头。

包含GMSL功能的米文设备
  • 设备Apex有两组GMSL1摄像头接口,分别记为GMSL_A与GMSL_B,
  • 设备Apex Xavier II系列有8个独立GMSL2(兼容GMSL1)摄像头接口,记为GMSL_0-7
  • 设备Apex Xavier II+系列有8个独立GMSL2(兼容GMSL1)摄像头接口,记为GMSL_0-7
  • 设备EVO TX2 GMSL2有6个独立GMSL2(兼容GMSL1)摄像头接口,记为GMSL_0-5
  • 设备EVO Xavier, EVO Xavier II,EVO TX2以及S2不包含GMSL/GMSL2摄像头设置功能。


配置文件路径:

/opt/miivii/config/gmsl_camera/camera.cfg

  • 相机配置ID请查看《GMSL相机支持列表》
  • 手动修改配置文件需要重新启动才能生效。




同步设置(系统授时设置)

  1. 点击左侧菜单栏“系统设置-同步设置”即可进入页面。

  2. 选择外部授时方式: NTP/GPS/NONE

    1. NTP为默认模式。NTP网络授时模式,此时设备接入网络,被NTP服务授时。设备可作为同步源,对传感器进行授时和同步;
    2. GPS为GPS外界授时模式,此时设备外接GPS,被GPS授时。设备可作为同步源,对传感器进行授时和同步
    3. None为不同步模式,此时设备不被外界授时,但可以作为同步源。
  3. 设置对外触发(SYNC OUT): 

    1. 调节Sync out输出频率,注意此处并非是GMSL的频率。

  • 设备Apex Xavier, Apex Xavier II, Apex Xavier II+系列, 包含同步功能设置;
  • 设备EVO Xavier, EVO Xavier II, EVO TX2 GMSL2, S2Pro包含同步功能设置;
  • 设备EVO TX2 ,S2不包含同步功能设置;


配置文件路径:

/opt/miivii/config/sync/sync.cfg 

  • 授时模式是通过修改其中"sync_type:X" 的X数值来实现。 0:GPS外界授时模式 1:NTP网络授时模式 2:不同步模式 
  • Sync out输出频率通过修改其中"sync_out_freq:XX"的 XX数值实现Sync out频率调节。该调节仅支持整数。


cat /opt/miivii/config/sync/sync.cfg
sync_out_freq:25
sync_type:2
/*
note:
sync_out_freq---the frequency is 25 for sync out time
sync_type---0 is for GPS calibrate time
1 is for SYS calibrate time
2 can not calibrate time

系统升级

米文提供设备系统的OTA升级。

  1. 点击左侧菜单栏“系统升级”即可进入页面。
  2. 点击”检查更新“,如果有更新,点击确定。


账号管理

米文提供EdgeService云边服务,开启云边服务需要绑定设备。

  1. 点击左侧菜单栏“账号管理”即可进入页面。
  2. 遵照页面提示完成设备绑定即可。


日志导出

系统的运行日志存储在 /var/log/中的日志中,”日志导出“功能提供 打包并下载到本地的功能。 

  1. 点击左侧菜单栏“账号管理”即可进入页面。
  2. 点击”导出系统日志“即可完成。



WEB终端

米文设置提供了通过WEB的远程终端功能

  1. 点击左侧菜单栏“WEB终端”即可进入页面。
  2. 点击”打开终端“即可打开WEB终端(如下图)。



功率模式设定

搭载Jetson AGX Xavier的米文设备有多工作模式。可以通过右上角的NVIDIA绿色标志设置进行调整。 米文设备的默认模式为3: MODE_30W_ALL

图 设置图标

点击下拉菜单即可对米文设备的工作模式进行修改,工作模式的细节详见下表:


也可采用命令行调整:

#查看设备现在的模式
sudo nvpmodel -q verbose
# 设定为某一模式
sudo nvpmodel -m <MODE ID>
#获取在当前模式下的最佳表现
sudo jetson_clocks
#查看详细信息
sudo jetson_clocks --show





IO使用方法

GPIO接口配置方法

对GPIO接口使用的示例如下,请将< >中的信息修改为想要调整的GPIO节点号,具体对应关系请参考【接口说明】部分

# 切换到root用户
sudo su -
# 设置为高电平(DO)
echo 1 > /sys/class/gpio/<gpio339>/value
# 设置为低电平(DO)
echo 0 > /sys/class/gpio/<gpio339>/value
# 读取数据(DI)
cat /sys/class/gpio/<gpio339>/value


若需要关机后保留配置,可以将以上命令写入/etc/rc.local 文件

米文设备GPIO输出模式说明

DO输出模式模式说明对应米文设备
开漏输出不输出电压,控制输出低电平时引脚接地,控制输出高电平时引脚既不输出高电平,也不输出低电平,为高阻态。如果外接上拉电阻,则在输出高电平时电压会拉到上拉电阻的电源电压。设置为高电平时,DO脚与外接的电压相同(0-40V); 设置为低电平时,DO脚为地Evo Xavier
推挽输出内部自带负载电阻,可以稳定输出电平信号。高电平时,DO脚稳定输出3.3V电压,低电平时,DO脚输出为0V。推挽输出最大支持电流为10mA。

Apex Xavier,Apex Xavier II系列

Evo TX2 GMSL2

Lite NX Mini,Lite TX2 NX Mini,Lite Nano Mini

注:开漏输出推荐上拉电阻表

目标上拉电压(V)3.351215243640
推荐上拉电阻值(Ω)5001k2k3k5k10k10k



UART接口配置方法

打开/dev/(folder)下面对应的设备节点,设置波特率,停止位,奇偶校验位,数据位等。可以使用stty命令配置串口的波特率,停止位,奇偶校验位,数据位等,详细见stty命令说明。

命令示例,请将< >中的信息修改为想要调整的串口节点号,具体对应关系请参考【接口说明】部分

sudo stty -F /dev/<UART_XXX> speed 115200 cs8 -parenb -cstopb -echo

输出数据测试

sudo echo “miivii tty debug” > /dev/<UART_XXX>


使用下面命令接收输入数据

sudo cat /dev/<UART_XXX>


GPS 对设备授时使用方法

GPS对设备授时功能优点:设备通过GPS设备从GPS卫星上获取当地标准的时间信号,从而精准定位设备时间。

GPS支持型号

支持GPS品牌型号:所有符合GPRMC数据标准格式输出的GPS设备,且必须要有PPS秒脉冲输出的GPS设备

连接方式

参照手册的“接口说明”


授时功能配置

在初次接入GPS时需要在MiiVii Setting配置软件中进行系统配置,将Sync Mode选项配置成GPS模式,重启系统。MiiVii Setting具体方法请参考“米文配置软件介绍”部分。

检查授时是否成功

修改系统时间,输入命令

sudo date -s "2018-10-1"


等待2~3s,查看当前时间,输入命令

date


若显示时间为:“2018-10-1”,说明授时失败

若显示时间为:“当前时间”,说明授时成功

故障排查

若授时失败,需进行故障排查

1.查看GPS是否有输出

输入命令

cat /dev/ttyTHS1


终端收到带有GPRMC字段的输出,例如:

GPRMC,014600.00,A,2237.496474,N,11356.089515,E,0.0,225.5,310518,2.3,W,A*23

2.查看GPS的pps信号是否有输出

输入命令

hexdump /dev/miivii-sync-in-a


终端有十六进制的数据输出,例如:

0000400 02fe 9f40 490e 562d 1647 004e 0000 0000

3.识别方法

如果以上"1"&"2"没有输出,说明GPS工作不正常,可以把GPS放到窗外或是到户外测试,或更换GPS进行测试

如果"1"&"2"输出正常,检查MiiVii Setting配置是否为GPS模式,如果不是,更改模式后重新启动

执行以上操作之后,GPS授时依然不成功,输入命令

hexdump /dev/miivii-sync-out


终端有十六进制的数据输出,例如:

0000400 02fe 9f40 490e 562d 1647 004e 0000 0000

如果没有数据输出,可能是没有用匹配的刷机工具和镜像刷机,建议检查镜像和刷机工具重新刷机

如果有数据输出,可能是设备硬件问题,建议联系售后维修处理

CAN口配置方法

CAN10设备具体使用方法,参考https://github.com/linux-can/can-utils中的cansend.c和candump.c

测试命令:

sudo modprobe can

sudo modprobe can_raw

sudo modprobe mttcan

sudo ip link set can0 type can bitrate 500000 sjw 4 berr-reporting on loopback off

sudo ip link set up can0

sudo cansend can0 123#abcdabcd

sudo candump can0

sudo ip -details -statistics link show can0

sudo ifconfig can0 down


CAN FD配置使用方法:

sudo modprobe can

sudo modprobe can_raw

sudo modprobe mttcan

sudo ip link set can0 type can bitrate 500000 sjw 4 dbitrate 2000000 dsjw 4 berr-reporting on fd on

sudo ip link set up can0

sudo cansend can0 213##011


[10]  CAN FD和CAN 2.0的区别:

1) 

sudo ip link set can0 type can bitrate 500000 dbitrate 2000000 berr-reporting on fd on


其中bitrate为can2.0模式下的波特率;
dbitrate为can fd模式下的波特率,根据官方文档,这个值最大可配置为5M,一般应用最好采用2M;

2)

sudo cansend can0 213##011


发送命令中,id与数据之间多了一个#,并且##后的第一个字节(0)为canfd_frame.flags的值,范围为0~F;
canfd_frame.flags后面的字节(11)为第一个数据,一次最多可以传输64个字节。

扩展CAN FD口配置方法


扩展CAN FD配置使用方法:(适配产品APEX2: CAN2 CAN3 CAN4)

#can2
sudo ip link set can2 up type can bitrate 500000 dbitrate 5000000 restart-ms 1000 berr-reporting on fd on
sudo ifconfig can2 txqueuelen 65536
 
#can3
sudo ip link set can3 up type can bitrate 500000 dbitrate 5000000 restart-ms 1000 berr-reporting on fd on
sudo ifconfig can3 txqueuelen 65536
 
#can4
sudo ip link set can4 up type can bitrate 500000 dbitrate 5000000 restart-ms 1000 berr-reporting on fd on
sudo ifconfig can4 txqueuelen 65536


扩展设备配置方法

扩展SSD硬盘使用

查看硬盘信息: 

sudo fdisk -lu


图 查看硬盘信息页面截图

格式化硬盘: 

sudo mkfs -t ext4 /dev/nvme0n1


图 格式化硬盘截图

查看硬盘UUID: 

sudo blkid /dev/nvme0n1


图 查看硬盘UUID 截图

开机自动挂载硬盘的设置方法: 在/etc/systemd/system路径下创建一个systemd服务,用来开机自动执行挂载硬盘,如 :miivii_mount_ssd.service

#创建服务miivii_mount_ssd.service
vim miivii_mount_ssd.service
[Unit]
Description=MIIVII specific script
After=udev.service

[Service]
ExecStart=/etc/systemd/miivii_mount_ssd.sh

[Install]
WantedBy=multi-user.target


在/etc/systemd/路径下创建一个脚本,用来挂载硬盘,如: miivii_mount_ssd.sh

#创建服务脚本miivii_mount_ssd.sh
vim miivii_mount_ssd.sh
#!/bin/bash
mount -o rw /dev/nvme0n1 /home/nvidia/workspace

为创建的脚本文件添加可执行权限

sudo chmod +x miivii_mount_ssd.sh

将挂载硬盘的服务设置为开机自启动

sudo systemctl enable miivii_mount_ssd.service


无线设备配置方法

WiFi配置方法

米文S2,S2Pro,EVO TX2 ,EVO TX2 GMSL2自带WiFi功能。米文Apex Xavier,Apex Xavier II系列,EVO Xavier, Lite NX,Lite Nano的WiFi功能由外接扩展模块提供,请按照【扩展设备安装方式】的内容对WiFi模块进行安装。请在开机Ubuntu系统桌面右上角网络连接图标中,找到要连接的WiFi名称并点击,然后在弹出的密码框输入密码并点击连接即可。

图 WiFi连接截图

4G模块配置方法

米文所有标准产品中不包含4G模块,需要用户自行另配。请按照【扩展设备安装方式】的内容对SIM卡以及4G模块进行安装。请注意如果您使用的是物联网SIM卡,则会出现SIM卡与设备硬件绑定的问题,请提前与通讯供应商确认。

米文的系统镜像中,整合了相应4G模块驱动。安装好4G模块后系统会自动识别。查看/dev目录,会看到/dev/ttyUSB0~/dev/ttyUSB3,一共4个设备。

在桌面右上方网络连接图标中,找到Edit Connections,点击add,如图所示:


选择连接类型 Mobile Broadband


选择Next(选项Quectel LTE,Fibocom NL668 Modem,Android与Any device etc依据不同型号的4G模块显示不同信息,可直接点击Next


选择国家为China ,然后根据SIM卡选择运营商:中国移动是China Mobile,中国联通是China Unicom


如果选择的运营商是中国电信,则点击手动新建运营商 China Telecom


选择你的Plan

请根据SIM卡信息选择。移动选Internet,联通和电信选default

这里注意一下APN移动为cmnet,联通为3gnet,电信为ctnet


检查已创建的信息,如正确无误,则点击Apply


设定用户名和密码,点击save


网络创建完成后,在桌面右上方网络连接图标中选中新建的网络连接,就能够正常上网了。若需要4G网络开机自动连接设置,已移动为例,建立好连接文件China Mobile Internet后操作如下: 点击桌面上方网络连接图标,在下拉菜单中点击Edit Connections选项。在弹出的窗口中选中China Mobile Internet选项,点击下方设置图标


弹出的窗口中选择General选项,并勾选Automatically connect to this network when it is available选项

之后保存退出。重启米文设备,就可以在输入开机密码后自动重连4G网络



同步功能使用说明

同步功能介绍

设备支持三种同步方式,分别是:PPS,Sync in和Sync out同步。同步误差为0.1-1μs。(同步误差测试方法详见附录)

图 设备同步接线原理图

同步功能使用方法

PPS同步模式

设备输出PPS信号1(每秒产生一个脉冲,脉宽50ms),并通过串口(UART/RS232)的Tx引脚发送该脉冲上升沿产生时间的NMEA GPRMC消息,消息示例:

$GPRMC,060249.000,A,3949.63046,N,11616.48565,E,0.296,,291118,,,A*4d



[1]  PPS 信号的硬件连接方式请见“IO转接线说明”中的“PPS连接线及引脚定义”部分

其中“060249.000”为每秒产生脉冲时的时间戳(UTC时间),格式为“时分秒.000”,正常时间都是整秒格式。支持PPS同步模式的传感器会通过收到的PPS以及GPRMC消息对自身时钟系统进行校时,使之与设备的系统时钟保持一致。传感器的采样时间会作为时间戳(timestamp),与数据一起被发送至设备。至此,系统获取了传感器采样的系统时间,完成同步。

图 PPS同步原理图

同步功能验证方法(以RS-LiDAR-16激光雷达为例):

当传感器只有数据输入接口与设备相连,未连接设备的PPS_A_SYNC口和PPS_A_TX时,传感器的ROS node向操作系统上传数据中的时间戳为硬件时间戳(hardware timestamp),即传感器内部时钟计器的时间(多数传感器会设定一个固定的初始时间作为计时起点,每次上电后开始计时)。此时在Ubuntu操作系统中打印该硬件时间戳,并与设备的系统时间进行比较,可发现二者的偏差较大。

图 RS-LiDAR-16未同步时硬件时间戳与系统时间戳对比

当传感器连接设备的PPS_A_SYNC及PPS_A_TX后,传感器的ROS node向操作系统上传数据中的硬件时间戳为传感器内部时钟经过PPS授时后的时间,与设备的系统时间一致。此时在Ubuntu操作系统中打印接收到的硬件时间戳,并与收到该数据时的系统时间(ros::time::now)比较,当二者的差值小于100ms时,说明PPS功能生效。

图 数据时间戳与系统时间对比

Sync out 同步模式

设备支持Sync out同步信号2
[2]  Sync out信号的硬件连接方式请见“IO转接线说明”中的“SYNC连接线及引脚定义”部分

设备可以通过Sync out引脚输出1-30Hz,脉宽5ms的脉冲信号,用于触发外部传感器启动采样。同时设备会记录该脉冲上升沿的产生时间。传感器完成采样后,设备会将记录的时间与本次传感传回的数据做关联,作为该数据的时间戳,至此,系统获取了传感器采样的系统时间,完成同步。


图 Sync out同步原理图(25Hz)

与此同时,设备还提供GMSL接口的Sync out同步功能,详见GMSL摄像头章节

同步功能验证方法: 配置传感器为外部触发同步模式,通过ROSbag抓包确认传感器触发频率是否为sync.cfg中所设定的频率值。如果偏差小于1Hz,则说明Sync out功能生效。

数据传输时间分析

测试说明:设定Sync out 发出信号的频率为10Hz,测量设备发出的Sync out信号的上升沿到设备接收到视频帧之间的时间间隔(transfer time)。

图 IO帧传输时序示意图

图 帧传输时间测试结果

测量结果发现帧传输时间的平均值为65.70ms。

Sync in 同步模式

设备支持Sync in同步信号3
[3]  Sync in同步信号的硬件连接方式请见“IO转接线说明”中的“SYNC连接线及引脚定义”部分

支持Sync in同步模式的传感器,在启动采样的时刻会产生并发出一个脉冲信号。设备通过SYNC_IN引脚接收脉冲信号,并记录该脉冲上升沿的产生时间。传感器完成采样后,设备会将记录的时间与本次传感传回的数据做关联,作为该数据的时间戳。至此,系统获取了传感器采样的系统时间,完成同步。

图 Sync in同步原理图(10Hz)

同步功能验证方法: 在Ubuntu操作系统中打印SYNC_IN引脚接收到脉冲信号的时间戳,将该时间戳与收到传感器数据帧的系统时间(ros::time::now)相比较,如果二者的差值小于100ms,说明Sync in功能生效。

同步误差测试方法

通过示波器测量PPS脉冲间隔

测量结果:

图 PPS脉冲间隔

理论值(μs)实测值(μs)误差(μs)
PPS1000000999999.40.6

通过示波器测量Sync out脉冲间隔

用示波器测量两个Sync out(10Hz)脉冲之间的间隔并与理论值做比较。

测量结果:

图 Sync out脉冲间距

理论值(μs)实测值(μs)误差(μs)
Sync out10000099999.20.8

自行评估同步效果的方法

用户可以通过时间戳测量jitter,来自行评测设备同步效果。

同步sample code使用说明

MiiVii提供的sample code用于自行评估设备同步性能,其使用方法如下:

#进入下述路径

cd /opt/miivii/feature/sync_test/bin`

#测试sync out 功能

./sync_out_test

#测试sync in 功能

./sync_in_test

#测试pps功能

./pps_test


Sync out jitter测量

利用MiiVii提供的sample code(sync_out_test),实时分析统计接收到的时间戳(timestamp),得到Sync out信号的频率、周期、平均误差、最大误差、方差等值,并实时打印。

图 Sync out示例测试结果

Sync in jitter测量

由外部设备(如信号发生器)输出固定周期的脉冲信号,接入到设备的SYNC_IN引脚。再利用MiiVii提供的sample code(sync_in_test)实时分析统计接收到的时间戳(timestamp),得到Sync in信号的:频率、周期、平均误差、最大误差、方差等值,并实时打印。

在没有信号发生器的情况下可以将设备的SYNC_IN与SYNC_OUT的引脚相连,以SYNC_OUT的输出作为25Hz的输入信号。

图 IO接线示意图

图 Sync in示例测试结果

PPS jitter测量

将设备的的PPS与SYNC_IN引脚相连,利用MiiVii提供的sample code(pps_test),实时分析统计接收到的时间戳(timestamp),得到PPS信号的频率、周期、平均误差、最大误差、方差等值,并实时打印。

图 IO接线示意图

图 PPS测试结果

GMSL摄像头支持

GMSL Camera Support List

序号

NO.

品牌

Brand

产品型号

P/N

相机ID

Camera ID

支持类型

Type of support

快门类型

shutter type

分辨率

Resolution

帧率

FPS

1LeopardLI-AR0233-NVP2650-GMSL2MVG2CB-006DBetaRolling1920*108030 FPS
2LeopardLI-AR0231-AP0200-GMSL2MVG2CB-006ABetaRolling
1920*10205~28.7 FPS
3LeopardLI-IMX490-GW5400-GMSL2MVG2CB-006CBetaRolling
2880*186025 FPS
4LeopardLI-AR0820-GW5400-GMSL2MVG2CB-006BBetaRolling
3840*216015 FPS
5LeopardLI-ISX031-GMSL2MVG2CB-006FBetaRolling1920*15365~30fps
6SensingSG1-AR0143-0101-GMSLMVG2CB-001A正式/Official Rolling1280*72030 FPS
7SensingSG1-AR0147-0101-GMSLMVG2CB-001HBetaRolling1280*72030 FPS
8SensingSG1-AR0144C-8310-GMSLMVG2CB-001EBetaGlobal1280*72030 FPS
9SensingSG1-AR0144M-8310-GMSLMVG2CB-001FBetaGlobal1280*72030 FPS
10SensingSG2-AR0231-0202-GMSLMVG2CB-001BBetaRolling1920*108022 FPS
11SensingSG2-AR0233-GW5200-GMSL2MVG2CB-001DBetaRolling1920*108030-60 FPS
12SensingSG2-IMX390C-5200-GMSL2MVG2CB-001CBetaRolling1920*108030 FPS
13SensingSG2-OX03CC-5200-GMSL2FMVG2CB-001JBetaRolling1920*108030fps
14SensingSG3-ISX031C-GMSL2MVG2CB-001LBetaRolling1920*15365~30fps
15Sensing

SG5-IMX490C-5300-GMSL2

MVG2CB-001IBetaRolling2880*186030 FPS
16SensingSG8-AR0820C-5300-GMSL2MVG2CB-001GBetaRolling3840*216030 FPS
17丽景LC008A1(AR0233-5200-GMSL2)MVG2CB-004ABetaRolling1920*108030 FPS
18丽景LC001A1 (OV9716-OAX0496-GMSL)MVG2CB-004CBetaRolling1280*72030 FPS
19丽景LC022A1 (IMX390-5200-GMSL2)MVG2CB-004BBetaRolling1920*108030 FPS
20EntronS001AMVG2CB-002A正式/Official Rolling1280*72030 FPS
21英睿 XthermXsafe_A6DMVG2CB-003ABetaIR640*51225 FPS
22艾睿 InfiRayIR-Pilot640-XXG1MVG2CB-005ABetaIR640*51250 FPS/25 FPS
23艾睿 InfiRayIR-Pilot640-XXG2MVG2CB-005BBetaIR640*51250fps
24艾睿 InfiRayIR-Pilot180PMVG2CB-005CBetaIR1280*72025 FPS

注:

  1. 正式支持:每次米文系统版本升级,会在米文设备上进行验证。

  2. BETA支持:米文调试过,但不会在每次米文系统版本升级中验证,如使用过程中需要进一步支持请联系对应的销售工程师或客户经理。

Note:

Official support: Every time the Miivii system version is upgraded, it will be verified on the Miivii device.
BETA support: Miivii has added the product driver, but not verified in each Miivii system version upgrade. If you need further support during use, please contact the corresponding sales engineer or account manager.

GMSL2摄像头使用方法

接口特性

  • 不支持热插拔

  • 支持最长15米同轴电缆的信号传输。

  • 推荐支持输出分辨率为720p,1080p,4k等多种分辨率的相机。

连线方式

连接方式请参考“接口说明”部分

名词解释

名词解释备注
自触发 指摄像头不受外部触发信号控制,自己进行快门。 一般相机都支持这种模式。只要外部不给触发信号就是工作在这种模式。
同步触发 指所有摄像头受同时触发信号控制,在同时进行快门。

需要相机固件支持。购买相机的时候请和厂商确认是否支持。

同时需要外部给触发信号。(如使用我们的SDK)


摄像头配置

在初次接入GMSL摄像头以及更换GMSL摄像头型号时,

对于Jetpack 4.4及以前,可以参考:通用-Jetpack 4.4版本及以下镜像MIIVII SETTINGS的使用说明

对于Jetpack 4.5及以后,可以参考:通用-Jetpack 4.5版本及以上镜像MIIVII SETTINGS的使用说明

快速验证

您可以使用Linux下的Cheese工具,进行快速验证出图是否正常。

您可以参照如下视频:

  1. 确认GMSL相机设置正确
  2. 打开Cheese
  3. 确认分辨率设置正常
  4. 选中Cheese相机对应的设备名字。(视频中选中的是video4)

请注意,由于Cheese并不能设置图像格式,由于相机输出的格式并不一定和Cheese默认格式匹配,因此可能存在色差。这个属于Cheese软件的问题。

open_gmsl_with_cheese.mp4


视频输出

1.为了方便使用,设备提供cameras_egl_demo,cameras_opencv_demo,cameras_sdk_demo三个可执行文件来显示GMSL摄像头图像。具体请参考 /opt/miivii/features/gmsl_camera

非SDK用法(强烈推荐!):OpenCV Python DemoOpenCV C++ Demo

cameras_opencv_demo:OpenCV Demo 直接使用v4l和opencv来获取摄像头图像。

cameras_sdk_demo:SDK Demo,兼容GMSL1的SDK,使用ASIC来进行图像格式的转换,运行效率高。并且可以通过SDK获取触发快门的时间戳。(如需时间戳,则推荐,否则不推荐)

cameras_egl_demo:EGL Demo,使用egl来作为显示部分实现,显示部分效率高。

注:EVO TX2 GMSL2产品无cameras_opencv_demo

2.设备支持使用gstreamer输出视频流,图像获取与显示使用方法如下:

 720P:

gst-launch-1.0 -v v4l2src device="/dev/video1" ! video/x-raw,framerate=30/1,width=1280,height=720,format=UYVY ! xvimagesink


1080P:

gst-launch-1.0 -v v4l2src device="/dev/video0" ! video/x-raw,framerate=60/1,width=1920,height=1080,format=UYVY ! xvimagesink

请注意,由于相机输出的格式并不一定和gstreamer默认格式匹配,因此可能存在色差。这个属于相机固件与gstreamer格式匹配的问题。


3.视频输出分为自触发模式,同步模式两种应用场景:

 (1).自触发模式:一般所有相机都支持这种模式。是指相机根据相机本身最高帧率输出,此时无法获取相机的时间戳,相机之间的图片也无法同步。

    在使用自触发模式的情况下,无需使用任何SDK。可以参考:OpenCV Python DemoOpenCV C++ Demo

    但要注意需要自己进行格式转换。如从YUYV转成BGR格式等。

 (2).同步模式:需要相机固件支持外部触发。是指所有相机都被同一触发信号触发,快门时间几乎严格同步。

     如果你只是希望使用同步模式,但是不关心相机的时间戳,我们仍然建议您使用非SDK的示例。OpenCV Python DemoOpenCV C++ Demo

     在同步模式下,使用OpenCV demo显示/dev/video0的摄像头画面。请注意,1280x720需要和摄像头真实分辨率匹配。如1080p的相机,则为1920x1080。

./bin/cameras_opencv_demo -s 1280x720 -d /dev/video0

在同步模式下,使用SDK demo显示/dev/video0的摄像头画面。请注意,1280x720需要和摄像头真实分辨率匹配。如1080p的相机,则为1920x1080。

./bin/cameras_sdk_demo -s 1280x720 -d /dev/video0


命令示例

第一步:编译

cp -r /opt/miivii/features ~/
cd ~/features/gmsl_camera
sudo make;

运行OpenCV Demo(请注意分辨率和相机真实分辨率必须一致)

./bin/cameras_opencv_demo -s 1280x720 -d /dev/video0

运行SDK Demo(请注意分辨率和相机真实分辨率必须一致)

./bin/cameras_sdk_demo -s 1280x720 -d /dev/video0

运行EGL Demo(请注意分辨率和相机真实分辨率必须一致)

./bin/cameras_egl_demo -s 1280x720 -d /dev/video0 

图 摄像头图像

在同一进程,打开多路相机,并且获取时间戳:

命令结果示例

Apex Xavier系列 上在同时打开2路相机

./bin/cameras_sdk_demo -s 1280x720  -d /dev/video0 -m 2

-m表示打开的摄像头节点数量。

会显示2路独立视频,并以独立窗口显示。

GMSL/GMSL2时间戳相关测试方法

如何获取详细日志及日志说明?

命令结果
# export CHECK_TIME=1   调试使用log 测试时不需要执行,否则log太多会阻塞程序
sudo jetson_clocks
rm /tmp/cameras_sdk_demo.log
./bin/cameras_sdk_demo -s 1280x720 -d /dev/video0
  1. 在屏幕打印中会增加打印日志
  2. 在/tmp/下,会生成cameras_sdk_demo.log文件

日志文件说明

字段单位物理含义测试方法
Timestamp纳秒触发该帧的时间根据传输延迟,从队列中获得的触发时间
FrameInterval纳秒

帧间隔

两帧之间的触发时间间隔

与前一Timestamp的差值
FrameTransferDelay纳秒帧传输延迟LinuxGetFrameTime - Timestamp
LinuxGetFrameTime纳秒Linux获取帧时的系统时间收到帧时候的Linux系统时间
LinuxFrameInterval纳秒Linux获取帧的Linux时间间隔与前一LinuxGetFrameTime的差值


如何确认时间戳是否准确?

在代码中,会通过检查FrameInterval的方式,来确认时间戳是否准确。

执行命令:

# export CHECK_TIME=1   调试使用log 测试时不需要执行,否则log太多会阻塞程序
sudo jetson_clocks
rm /tmp/cameras_sdk_demo.log
./bin/cameras_sdk_demo -s 1280x720 -d /dev/video0

如果时间戳正常,则在/tmp/cameras_sdk_demo.log的内容如下,只有一行

Timestamp : 1620897955083817280 FrameInterval : 1620897955083817280 FrameTransferDelay : 66992720 LinuxGetFrameTime : 1620897955150810000 LinuxFrameInterval : 1620897955150810000

如果时间戳异常,则在/tmp/cameras_sdk_demo.log中会记录多组时间戳,为多行

Timestamp : 1620958367246484576 FrameInterval  :  1620958367246484576 FrameTransferDelay : 67111424 LinuxGetFrameTime : 1620958367313596000 LinuxFrameInterval : 1620958367313596000
Timestamp : 1620958739646034432 FrameInterval  :  1620958739646034432 FrameTransferDelay : 67403568 LinuxGetFrameTime : 1620958739713438000 LinuxFrameInterval : 1620958739713438000
Timestamp : 1620958748796023808 FrameInterval  :  1620958748796023808 FrameTransferDelay : 80901192 LinuxGetFrameTime : 1620958748876925000 LinuxFrameInterval : 1620958748876925000
Timestamp : 1620958789795973504 FrameInterval  :  1620958789795973504 FrameTransferDelay : 72186496 LinuxGetFrameTime : 1620958789868160000 LinuxFrameInterval : 1620958789868160000
Timestamp : 1620959793244763712 FrameInterval  :  1620959793244763712 FrameTransferDelay : 73185288 LinuxGetFrameTime : 1620959793317949000 LinuxFrameInterval : 1620959793317949000
Timestamp : 1620959854794691840 FrameInterval  :  1620959854794691840 FrameTransferDelay : 68099160 LinuxGetFrameTime : 1620959854862791000 LinuxFrameInterval : 1620959854862791000
Timestamp : 1620960274844196896 FrameInterval  :  1620960274844196896 FrameTransferDelay : 68391104 LinuxGetFrameTime : 1620960274912588000 LinuxFrameInterval : 1620960274912588000
Timestamp : 1620960283994186240 FrameInterval  :  1620960283994186240 FrameTransferDelay : 71857760 LinuxGetFrameTime : 1620960284066044000 LinuxFrameInterval : 1620960284066044000
Timestamp : 1620960291394178080 FrameInterval  :  1620960291394178080 FrameTransferDelay : 68419920 LinuxGetFrameTime : 1620960291462598000 LinuxFrameInterval : 1620960291462598000


如何确认时间戳精度?

命令确认方式

把屏幕日志存储到文件中

# export CHECK_TIME=1   调试使用log 测试时不需要执行,否则log太多会阻塞程序
sudo jetson_clocks
./bin/cameras_sdk_demo -s 1280x720 -d /dev/video0 > log


  1. 把log导入excel
  2. 对FrameInterval取最大最小值
  3. 通过最大最小值的差,可以获取时间戳精度。

如何确认图像帧传输延迟是否稳定?

确认摄像头图像帧传输延迟

先验知识

GMSL类型

图像分辨率

典型相机

传输延迟

GMSL1720pSG1-AR0143-0101-GMSL-Hxxx 60ms左右
GMSL11080pSG2-AR0231-0202-GMSL-Hxxx 100ms左右

使用低于传输延迟的帧率,打开摄像头。由于此时传输延迟小于帧间隔,因此时间戳的缓存为1,因此不会因为软件引入其他问题,所测的的就是真实的物理延迟。

请注意不要使用传输延迟附近所对应的帧率,传输延迟的抖动,会造成时间戳不准。

命令确认方式

Apex Xavier II 系列

# export CHECK_TIME=1   仅在调试使用,否则log太多会阻塞程序
sudo jetson_clocks
./bin/cameras_sdk_demo -s 1280x720 -d /dev/video0 -r 10-0
-r 10-0表示设置的摄像头外触发帧率为10。

Apex Xavier和EVO TX2 GMSL2

# export CHECK_TIME=1   仅在调试使用,否则log太多会阻塞程序
sudo jetson_clocks
./bin/cameras_sdk_demo -s 1280x720 -d /dev/video0 -r 10
-r 10表示设置的摄像头外触发帧率为10。
通过FrameTransferDelay确认得到实际的传输延迟





应用功能使用

米文设备提供多种样例,方便客户进行开发和快速验证

米文动力还为开发者提供了部分开源代码,请于米文动力Github查看 https://github.com/MiiViiDynamics


附录

异常处理

如在开发过程中出现异常情况,可先通过DEBUG串口打印log自行判断问题。具体操作如下:

第一步:根据【接口说明】部分中的信息,找到DEBUG接口的具体位置

第二步:用一根UART-USB转接线1,将DEBUG接口与上位机PC相连接

第三步:在上位机PC端,下载串口调试工具,将波特率调整为115200 Baud

第四步:在串口调试工具中抓取串口log以便分析异常问题

[1]:可根据【接口说明】部分中的信息,选择RS232-USB转接线或者TTL-USB转接线。


系统在线升级(OTA)的使用说明

概述

系统在线升级,通常又是OTA,是米文针对所有设备提供的软件服务。

即可以不进行刷机来更新系统固件。

从Jetpack 4.5开始,所有的米文设备都支持系统在线升级。


使用方式

方法一(推荐):使用MIIVII SETTINGS进行版本升级 ;

  1. 在设备上打开浏览器输入http://127.0.0.1:3000,或者远程PC浏览器上输入http://<device ip>:3000
  2. 使用系统登录账号登录到MIIVII SETTINGS界面;
  3. 选择系统升级功能,点击“检查更新”检查是否有新版本;
  4. 检测到有升级版本时,可以点击“系统升级”来升级安装包
  5. 完成升级后系统会记录升级时间,可以查看该时间的升级记录


  6. 升级完成后重启系统以确保升级内容生效

方法二:使用命令行进行升级或者升级指定安装包

1. 升级指定安装包

    1. 执行下面命令更新源

      sudo apt update
    2. 执行下面命令升级指定安装包(以更新websettings 1.4.0版本为例)

      sudo apt install -y miivii-websettings=1.4.0


2. 升级全部(含Ubuntu包升级,请谨慎选择)

    1. 执行下面命令更新源

      sudo apt update
    2. 执行下面命令升级系统

      sudo apt upgrade -y
    3. 升级完成后重启系统以确保升级内容生效

Jetpack 4.4版本及以下镜像烧录

请参考:Jetpack 4.4版本及以下镜像烧录

Jetpack 4.5版本及以上镜像烧录

1.功能介绍

米文刷机工具,适用于米文系列产品。

米文刷机工具,是为了方便进行米文设备的烧写、克隆,小批量生产而提供的工具软件。

您可以通过X86架构PC作为烧写主机,给米文设备烧写米文动力官方镜像。在开发米文设备一段时间后,可以将现有设备镜像克隆来保存开发进度,并单台或小批量烧写到其他米文设备中。

米文官网设备镜像下载地址:https://www.miivii.com/index.php?s=index/category/index&id=120

核心功能

  • 自动检测使用环境
  • 自动检测最新镜像
  • 内置镜像下载器,无需手动下载镜像
  • 支持批量烧写
  • 支持镜像克隆(但要注意Clone后再烧写需要使用同一bootloader版本)

2.准备软件硬件

2.1. 烧写主机准备

需要将烧写主机与米文设备连接方能烧写镜像。烧写主机推荐配置如下:

● CPU推荐采用X86/64架构的Intel酷睿系列处理器 ,至少4个核心

● 内存8GB 及以上 , DDR3/DDR4/DDR5

● 硬盘文件系统为EXT4

● 空余硬盘容量40G 及以上,

● 系统为Ubuntu x64 v16.04、v18.04、v20.04 (v1.6.0.8版本开始 支持 Ubuntu20.04,  sudo apt-get install miivii-ftool 可更新版本&查看版本号)

2.2. 烧写软件环境准备 

● sudo apt install python2.7 python3 python

2.3. 准备米文烧写工具和米文设备镜像

2.3.1.刷机工具安装

  • 准备PC主机,系统为:Ubuntu 16.04 、Ubuntu 18.04 、Ubuntu 20.04 (v1.6.0.8版本开始 支持 Ubuntu20.04,  sudo apt-get install miivii-ftool 可更新版本&查看版本号)
  • 安装key

    sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 05BE38FE8ADA7CD12E3281B52FC7A8453C3B8F24
  • 在本地 ubuntu 系统中添加源

    sudo sh -c 'echo "deb http://upgrade.miivii.com/miiviitools/ mvtools main" > /etc/apt/sources.list.d/miivii-l4t-apt-source.list'
  • 手动更新

    sudo apt update
  • apt-get 安装 刷机工具 Deb 包

    sudo apt-get install miivii-ftool


  • 安装完成后,搜索miivii-ftool ,发现如下软件
  • 点击打开软件 ,输入密码:您的sudo密码。

2.4. 准备硬件

● 米文设备及电源, USB 数据线

3.操作

3.1. 硬件连接

● 通过 USB 数据线将米文设备烧写口与烧写主机相连;

● 按住米文设备的RECOVERY按钮,之后给米文设备上电开机,进入FORCE_Recovery烧写模式。

3.2软件使用

3.2.1. 镜像烧写
3.2.1.1 在线模式镜像烧写

● 点击“在线模式”复选框,选择Jetpack版本及下载路径,并点击下一步,开始下载选择版本当前最新的刷机环境及设备镜像

● 这里需要选择下载完成后是否自动开始刷机,选择自动后,下载完成后会自动解压、校验、刷机

● 下载速度取决于所在环境的网速,一般可达5M/s

● 开始刷机后通常需要15分钟以上完成,请耐心等待

刷机工具使用教程.mp4

3.2.1.2 离线模式镜像烧写

● 点击“离线模式”复选框,选择已经下载好的刷机环境及设备镜像,并点击下一步直接开始烧录。

3.2.2. 镜像克隆

● 将打算克隆的米文设备按照3.1的方法进入FORCE_Recovery模式,打开烧写工具

● 点击【输入上位机密码】按钮,输入当前烧写主机的开机密码

● 点击【克隆镜像】按钮,进入克隆操作

● 修改克隆文件保存在烧写主机中的路径和名称*,并点击开始克隆

注:文件存储路径中不能有中文或特殊字符,且再烧写镜像需要使用同一bootloader版本

● 镜像克隆通常需要30分钟以上才能完成:

● 克隆完成,会生成克隆镜像与MD5文件,再次烧写请按照3.2.1步骤进行操作

注:如在镜像烧写,克隆过程中遇到问题,请联系米文动力售后邮箱寻求帮助:helpdesk@miivii.com

附1. 烧写问题自检

如果遇到烧写问题,请先按照如下条目进行自检:

● 检查是否在烧写工具左上角输入了上位机开机密码

● 检查是否进入到Recovery模式,可以通过lsusb命令鉴定

● 检查Micro USB、双Type A线缆质量是否达标,是否只是用于充电的双芯线

● 检查上位机,是否为X86-64架构台式机,笔记本。(服务器,嵌入式设备,虚拟机等其他设备暂不支持)

● 检查上位机系统是否为  Ubuntu x64 v16.04、v18.04、v20.04  (v1.6.0.8版本开始 支持 Ubuntu20.04,  sudo apt-get install miivii-ftool 可更新版本&查看版本号)

● 检查磁盘格式,烧写主机的磁盘格式推荐为EXT4

● 检查上位机容量是否足够

● 镜像和烧写工具存储路径中不能有中文或其他特殊字符


附2. Flash Tools(刷机工具)Release Note



产品

更新时间

系统版本

更新内容

备注

MiiVii-FTool2022/08/16V1.6.0.8

新增:MIIVII LITE TX2 NX II
新增:MIIVII LITE TX2 NX MINI
新增MIIVII APEX AD10
新增:Ubuntu20.04主机运行环境
新增:镜像克隆只支持EMMC的提示
修复:磁盘剩余空间大于2T时显示小于60G的问题


MiiVii-FTool2022/06/29V1.5.0.2新增:设备支持, MIIVII LITE TX2 NX MINI
修复:磁盘剩余空间大于2T时显示小于60G的问题

MiiVii-FTool

2022/06/14V1.4.0.119

新增:打开工具自动检查,显示新版本提示

新增:两款设备支持, MIIVII EVO XAVIER II 和 MIIVII APEX XAVIER II+


为保证兼容性,软件启动时会检查系统版本,V1.4.0.119版本同样只支持Ubuntu16.04 和 Ubuntu18.04这两个版本。未来版本,将会支持更多操作系统版本。




Apex Xavier II 产品软件-Release Note


产品更新时间系统版本更新内容备注
MIIVII Apex Xavier II2022/04/284.6-3.1.0.21

功能变更:

  • JetPack 4.6.1初始版本
  • 增加GMSL相机支持列表
  • 增加新的4G模组支持

问题修复:

  • 修复硬盘读写速率问题
  • 修复GMSL相机问题

支持直接烧写镜像

支持基于4.5以上版本的OTA升级

2022/02/284.5-2.6.0.105

功能变更: 

更新GMSL2相机支持列表


修复相机时间戳错位
问题修复:

  • 修复时间戳错位及打印信息显示问题
  • 修复MIIVII SEETINGS版本号显示问题
  • 优化摄像头使用功能
  • 优化异步模式下的功能问题

支持直接烧写镜像

支持基于4.5以上版本的OTA升级


2021/11/194.5-2.5.0.65

问题修复:

  • 修复Mini PCIe扩展单网口兼容性问题;

支持直接烧写镜像

支持基于4.5以上版本的OTA升级

2021/10/224.5-2.4.0.62

功能变更:

  • GPS授时功能支持用户调整波特率;
  • 更新GMSL2支持相机List;
  • 默认关闭POE功能,根据使用需求自主打开,打开方法见使用手册“接口说明”;

问题修复:

  • 修复Apex2编译环境与英伟达开发板不同,导致编译报错问题;
  • 修复Apex2的PPS输出的GPRMC数据格式不标准问题;
  • 修复Apex2的UART设置与物理接口名称不同问题;
  • 修复GMSL相机SDK获取YUV数据异常的问题;
支持基于4.5以上版本的OTA升级
2021/07/154.5-2.3.0.48

功能变更:

  • MIIVII系统版本标识由3位变更为4位;
  • MIIVII SETTINGS SHELL控制台功能上线;
  • GPS授时功能支持在不同时区进行授时;

问题修复:

  • 修复上电过程中的CAN1口兼容性问题;
支持基于4.5以上版本的OTA升级
2021/06/224.5-2.1.3

功能变更:

  • 更新GMSL2支持相机List,含MIIVII SETTINGS支持更新;
  • 更新产品文档中,GMSL2 Gstreamer的使用信息。
支持基于4.5以上版本的OTA升级
2021/05/224.5-2.1.3

功能变更:

  • JetPack 4.5初始版本
  • 支持Edge Service服务,提供产品在线状态监测
  • 增加系统在线升级功能(通常称OTA)
  • 优化米文刷机工具,增加环境自动检测、批量烧写等功能,使之可以更便捷的被使用
  • 删除ros相关demo&安装包(已开源,可于米文动力Github查看)

问题修复:

  • 修复GMSL SDK在同一进程无法打开多个相机的问题。
  • 修复GMSL偶尔会发生两帧图像时间戳相同的问题

  • 修复使用SDK_demo图像被压扁问题。

  • 修复无root权限无法读取图像时间戳问题。