当前位置:首页 > 数码 > v3助力推进端到端3D检测和跟踪-Spars4D (助力助推)

v3助力推进端到端3D检测和跟踪-Spars4D (助力助推)

admin5个月前 (05-04)数码32
Sparse4Dv3: 3D 检测与跟踪的强大进化 摘要 本文介绍了 Sparse4Dv3,一个用于 3D 检测和跟踪的强大感知框架。Sparse4Dv3 在 Sparse4D 的基础上进行了改进,引入了时序实例去噪、质量估计和解耦注意力等有效策略。这些改进提高了 3D 检测的性能,并使 Sparse4D 能够轻松扩展到端到端跟踪。在 nuScenes 基准上的全面实验表明,Sparse4Dv3 实现了最先进的性能,在检测和跟踪任务中均取得了显著的提升。 介绍 3D 检测和跟踪对于自动驾驶感知系统至关重要。Sparse4D 是一个基于稀疏表示的强大 3D 感知框架,但仍存在一些改进空间。本文重点关注解码器训练的稳定性,并探索了将 3D 检测器扩展到跟踪器的可能性。 方法 时序实例去噪 Sparse4D 使用稀疏特征采样进行检测,导致正样本稀缺,阻碍了解码器训练。时序实例去噪任务通过将目标从去噪稀疏输出恢复为完整表示,为正样本匹配提供了稳定的锚点。 质量估计 除了去噪,本文还引入了质量估计任务。质量估计器评估输出置信度分数的可靠性,提高了检测结果排名的准确性。 解耦注意力 Sparse4D 使用实例自注意力和时序交叉注意力模块聚合特征。本文引入了解耦注意力机制,该机制将注意力计算与实例特征解耦,减少了注意力权重中的异常值,从而提高了特征聚合的准确性。 扩展到端到端跟踪 将 Sparse4D 扩展到端到端跟踪涉及在推理期间分配实例 ID。本文提出了一种简单的方法,该方法利用检测输出的时空关联来有效分配 ID。 实验结果 在 nuScenes 基准上进行的广泛实验验证了所提出的改进的有效性。Sparse4Dv3 的检测性能显着提高,mAP、NDS 和 AMOTA 分别提高了 3.0%、2.2% 和 7.6%。在跟踪任务中,Sparse4Dv3 也实现了最先进的性能,NDS 和 AMOTA 分别达到 71.9% 和 67.7%。 结论 Sparse4Dv3 是一个强大的 3D 感知框架,将时序实例去噪、质量估计和解耦注意力相结合,实现了 3D 检测和跟踪的卓越性能。该框架的端到端跟踪能力突出了 query-based 算法的优势,为自动驾驶感知系统提供了强大的基础。 Spars4D

什么是非线性编辑?

非线性编辑又称为电子编辑,通常是指用电子手段按要求先用组合编辑将 拍摄的素材按顺序编成新的连续画面,然后用插入编辑对某一段进行同样长度的替换,但是 想要去除、编辑加长中间的某一段就不可能了,除非将那一段以后的画面全部重录。 非线性的主要目标是提供对原素材任意部分的随机存取、修改和处理。 它的真正推动力来自 视频码率压缩。 码率压缩技术的飞速发展使低码率下的图像质量有了很大的提高,推动了非 线性编辑在专业视频领域中的应用。 最初由于硬盘价格较高,因此使用了较高的压缩比, 如10∶1。 为了使非线性编辑设备的输出图像质量和专业录像机的输出图像质量相匹配, 使用的压缩比逐步下降,采用了3∶1、2∶1压缩比,甚至不压缩的非编系统也有很多。 根据 实验结果,23∶1的压缩比对于所有应用都是透明无损的,压缩比为4∶1时仍看不出人工 处理痕迹,DV格式或摄录机5∶1的压缩比也是可以接受的。 除了压缩比降低外,另一个变 化是逐步向直播设备发展,随着2个或多个CPU的应用,离线编辑逐步发展为直播的在线编辑 。 综合高速下载技术、计算机网络技术、数字高速接口技术和硬盘阵列技术,非编的另一个 发展趋势是向专用非编的方向发展,除了通用型后期节目制作用非编设备外,专用于广告、 新闻的非线性编辑系统应运而生,在内容变化快、经常变更的新闻、广告播出中充分发挥了 非线性编辑的优点,大大缩短了制作时间,提高了工作效率。 目前在非线性编辑中使用了6种不同的压缩方法:小波变换,M-JPEG,4∶2∶2P@ML,PVCPRO ,DV和不压缩的ITU-R601标准。 小波变换的优点是:在码率较低、压缩比较大时,人工损伤的表现不是易见的方块,而是噪 声的增加,在压缩率逐渐变小的情况下,噪声的增加影响了节目的质量。 MPEG-2不能直接用于非线性编辑,因为在MPEG-2的方法中,由约12帧组成的图像组(GOP)只 有一帧是完全帧,其他各帧的数据都与这一帧有关,读取图像组中其他的各帧,不能恢复为 原来的数据,不能满足编辑的要求,所以在MPEG-2的子集中增加了4∶2∶2P@ML。 BETACAM-S X使用这一标准,所以非线性编辑设备中目前使用最多的是M-JPEG标准,这是一种帧内处理 的格式。 压缩比和存储容量的大小是非线性编辑要达到一定的质量和经济性必须考虑的问 题。 如果采用8∶1压缩,每G Byte可以存储10min的节目,但如果采用2 ∶1压缩比,就只能存 储25min的节目。 并不是随便将多个硬盘凑起来就可以组成一个大容量硬盘,还 要考虑到写入读出速度、可靠性和数据的及时可得性等。 数据读写必须通过磁盘和磁头的接 口,目前可达到的速度约为125Mbit/s,存在磁盘上的素材越多,存取其中一小 段素材的时间也越多,因此当磁盘数量增多时,不但不能保持小段素材的存取时间,而且一 旦硬盘失效,数据在没有适当组织的情况下,很容易缺失,解决这些问题的方法是组成磁盘 阵列,即把数据按一定的方式存在容量较小的一系列硬盘中,用硬件或软件组成对系统来说 像是一个硬盘的系统,这样在存储容量增加的同时,保证了对所存储数据的长时间存储,不 仅不会因某个硬盘的损坏而丢失数据,而且可以在短时间内恢复丢失的数据,保证了可靠性 和及时可得性。 具有这种特性的相互独立的硬盘存储阵列称为冗余的相互独立的磁盘阵列(R AID),除了硬盘外,电源、主电缆、控制器件均包括在冗余之列,其主要参数有容量、带宽 (最大存取速度)和存取时间。 存储体和系统的接口对系统整体性能、系统的可靠性和可得性有决定性影响。 目前有许多 种接口,SCSI是视频数据系统最常用的一种数据率可达20Mbit/s的并行接 口,长度短,不超过25m。 尽管并行多根线同时传输比同样速度的一根要快,但是 线间存在干扰,线越长越明显,因此串行在某些情况下会更好。 串行存储接口SSA与SCSI接 口具有相同的速率,由于是全双工双口,实际有效速率达80Mbit/s。 光纤通道速 率可达1 00Mbit/s,最大传输距离可达10km,另一种价格较低的接口称为FIREWI RE或IEEE-1394,被选做DV摄录机到录像机的连接格式和非线性编辑接口格式,目前速率 只有10Mbit/s,不能满足270Mbit/s不压缩视频非线性编辑的要求,由 于被DV-PRO和DV格式支持,在便携摄录有关的应用中有很大吸引力。 在计算机方面,以前高档应用的唯一选择是SGI专业机。 微机的迅速发展,新型多芯片机 ,如具有两个、三个或多个CPU的微机系统其价格可以是SGI的几分之一。 Wind ows NT是目前新出机型中使用最多的软件平台。 在硬件方面,非线性编辑系统实际上是通用 计算机平台加专用图形、特技等处理板,如Evans and Southland的3D图形加速板可以 使PC的图形处理性能达到SGI的水平。 非线性编辑设备的另一个重要因素是先进的配套设备。 由于非线性编辑的一个重要缺点是必 须预先把素材装入非线性编辑机,因此并不是任何编辑用非线性编辑都是最方便的,如不加 特技,则大多为简单硬切的编辑。 原来的磁带编辑仍是最快的,这也是SONY提出“混合编 辑”或“半线性编辑”的原因,即只有在真正能体现非线性优点的地方才采用非线性编辑。 如果在非线性编辑系统中增加录像和编辑功能、磁盘A/B卷功能,就是对纯非线性编辑设备 的补充。 最后说一下离线(off-line)和在线(on-line)非线性编辑。 离线编辑主要是编辑EDL表,即编 辑决定表,而在线编辑是编辑实际要播出的节目;离线编辑要存储许多素材,存储容量要大 ,存储节目和成品节目时间比平均在8∶1,而在线编辑的节目播完就可以抹掉,不必留在存 储体内,存储和播出节目比率为15∶1;离线编辑可以使用非实时特技,而在线编辑必须 使用实时特技和更多的图形;在线编辑占用的通道和演播室面积更小,播出设备更加便宜, 在线非线性编辑与服务器、切换台的结合将会在很大程度上改变演播室结构、电视节目的制 作方式和节目播出方式,虚拟演播室就是一例,多个虚拟演播室可以共用一个服务器,可以 分别调用不同的背景、动画、绘图和图像素材,节目的获取和播出将更直接的与网络连接在 一起,在直播节目中,将更多的应用从网络上传递来的声音、文字和图像信息。

直流电抗器和交流电抗器区别????

直流电抗器和交流电抗器区别:交流电抗器用于交流回路中,有三相交流电抗器和单相交流电抗器。 直流电抗器用于直流系统回路中,只有单相的。 交流电抗器的作用:1.降低主电源谐波、浪涌和峰值电流。 2.提高低频传导抗干扰性。 3.保护驱动机构的电力电子元件。 4.提高功率因数。 5.防止主电源的电压尖脉冲引起的跳闸,直流电抗器作用:直流电抗器又称直流平波电抗器,用于变流器的直流侧,电抗器中流过的是具有交流分量的直流电流。 它的作用是将叠加在直流电流上的交流分量限定在某一规定值。 还用于并联变流器的直流侧对耦,降低断续极限,限制环流线路中的环流,以为应用直流快速开关切断故障电流时限制电流上升率还被用在电流,电压型变频器中间回路的直流平波,这可用于整流电源平波,以消除纹波。

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: Sparse4D