当前位置:首页 > 数码 > 代码权重现已可用-Diffusion已问世-Video-开启视频生成的新时代-Stable (代码中的权重是什么意思)

代码权重现已可用-Diffusion已问世-Video-开启视频生成的新时代-Stable (代码中的权重是什么意思)

admin7个月前 (05-13)数码32

机器之心报道

机器之心编辑部

AI画图的驰名公司StabilityAI,终于入局AI生成视频了。

本周二,基于StableDiffusion的视频生成模型StableVideoDiffusion来了,AI社区马上开局了热议。

很多人都示意「咱们终于等到了」。

名目地址:

如今,你可以基于原有的运动图像来生成一段几秒钟的视频。

基于StabilityAI原有的StableDiffusion文生图模型,StableVideoDiffusion成为了开源或已商业行列中为数不多的视频生成模型之一。

但目前还不是一切人都可以经常使用,StableVideoDiffusion曾经开明了用户候补名单注册(

据引见,StableVideoDiffusion可以轻松顺应各种下游义务,包括经过对多视图数据集启动微调从单个图像启动多视图分解。StabilityAI示意,正在方案建设和裁减这个基础的各种模型,相似于围绕stablediffusion建设的生态系统。

StableVideoDiffusion以两种图像到视频模型的方式颁布,能够以每秒3到30帧之间的可定制帧速率生成14和25帧的视频。

在外部评价中,StabilityAI证明这些模型逾越了用户偏好钻研中上游的闭源模型:

StabilityAI强调,StableVideoDiffusion现阶段不实用于事实环球或间接的商业运行,后续将依据用户对安保和品质的见地和反应完善该模型。

论文地址:

StableVideoDiffusion是StabilityAI各式各样的开源模型大家族中的一员。如今看来,他们的产品曾经横跨图像、言语、音频、三维和代码等多种模态,这是他们努力于优化AI最好的证明。

StableVideoDiffusion的技术层面

StableVideoDiffusion作为一种高分辨率的视频潜在分散模型,到达了文本到视频或图像到视频的SOTA水平。近期,经过拔出期间层并在小型高品质视频数据集上启动微调,为2D图像分解训练的潜在分散模型已转变为生成视频模型。但是,文献中的训练方法千差万别,该畛域尚未就视频数据整顿的一致战略达成分歧。

Diffusion已问世

在StableVideoDiffusion的论文中,StabilityAI确定并评价了成功训练视频潜在分散模型的三个不同阶段:文本到图像预训练、视频预训练和高品质视频微调。他们还证明了精心预备的预训练数据集关于生成高品质视频的关键性,并引见了训练出一个弱小基础模型的系统化筹划流程,其中包括了字幕和过滤战略。

StabilityAI在论文中还讨论了在高品质数据上对基础模型启动微调的影响,并训练出一个可与闭源视频生成相媲美的文本到视频模型。该模型为下游义务提供了弱小的运动表征,例如图像到视频的生成以及对摄像机运动特定的LoRA模块的顺应性。除此之外,该模型还能够提供弱小的多视图3D先验,这可以作为多视图分散模型的基础, 模型以前馈方式生成对象的多个视图,只有要较小的算力需求,性能还优于基于图像的方法

详细而言,成功训练该模型包括以下三个阶段:

阶段一:图像预训练。 本文将图像预训练视为训练pipeline的第一阶段,并将初始模型建设在StableDiffusion2.1的基础上,这样一来为视频模型装备了弱小的视觉示意。为了剖析图像预训练的成果,本文还训练并比拟了两个相反的视频模型。图3a结果标明,图像预训练模型在品质和揭示跟踪方面都更受青眼。

阶段2:视频预训练数据集。 本文依托人类偏好作为信号来创立适合的预训练数据集。本文创立的数据集为LVD(LargeVideomax-width="600"/>

此外,本文还运行光学字符识别来肃清蕴含少量文本的剪辑。最后,本文经常使用CLIP嵌入来注释每个剪辑的第一帧、两边帧和最后一帧。下表提供了LVD数据集的一些统计信息:

阶段3:高品质微调。 为了剖析视频预训练对最后阶段的影响,本文对三个模型启动了微调,这些模型仅在初始化方面有所不同。图4e为结果。

看起来这是个好的开局。什么时刻,咱们能用AI间接生成一部电影呢?

参考内容:


ThinkPad X61在Vista安装界面时提示0x80070017错误代码怎么办

ThinkPad X61在Vista安装界面时提示0x错误代码,估计与光驱配合有一定的关系。 这种情况建议使用X61标配的外置USB光驱进行安装。 如果没有标配光驱,建议按照如下解决方案: 1.将X61上的硬盘拆出,将托架去掉,安装X61的硬盘到有SATA接口的笔记本上,譬如F40、F30、F50等机型上,这里以F40为例操作。 2.将Vista光盘放进光驱后,引导到Vista安装界面,分区格式化后安装。 待第一次安装过程要求重新启动时,按任意键重新启动并按F2(ThinkPAD按F1)进入BIOS界面后关机操作。 3.将硬盘安装到X61上,在开机前接上USB光驱后开机。 按照正常方式就可以正常安装系统了。 此时,无须刻意调整BIOS中的AHCI设置,此时两种模式均可以正常安装Vista。 但注意的是一旦选择安装成功后,则不可再更改,否则开机会报0xB错误。 注意:是第一次重新启动时,必须要进BIOS后关机。 如果待第二次重新启动时,则无法在X61上正常使用该操作系统了,切忌。 如果手头上没有SATA接口的笔记本,可考虑采用硬盘安装的形式。 ThinkPad,中文名为ldquo;思考本rdquo;,在2005年以前是IBM PC事业部旗下的便携式计算机品牌,凭借坚固和可靠的特性在业界享有很高声誉。 在联想(Lenovo)收购IBM PC事业部之后,ThinkPad商标为联想所有。 ThinkPad自问世以来一直保持着黑色的经典外观并对技术有着自己独到的见解,如:TrackPoint(指点杆,俗称小红点)、ThinkLight键盘灯、全尺寸键盘和APS(Active Protection System,主动保护系统)。 Thinkpad是开源码操作系统OpenBSD开发人员当中最受欢迎的携带型计算机,而ThinkPad X40更是最受系统支持的携带型计算机型号之一。

如何解决电脑蓝屏问题?

蓝屏故障和其它故障一样,根据成因大致可以分为软件和硬件两个方面。 现在还是遵循先软后硬的原则来看看故障的成因和解决办法吧!一、软件引起的蓝屏故障1.重要文件损坏或丢失引起的蓝屏故障(包括病毒所致)。 实例:Win98中的VxD(虚拟设备驱动程序)或是.DLL动态连接库 之类的重要文件丢失,情况一般会比较严重,会出现“蓝屏警告”。 解决方法一:记下所丢失或损坏的文件名用Win98启动盘中的“Ext”命令从Win98安装盘中提取和恢复被损坏或丢失的文件,步骤如下:(1)用Win98启动盘引导计算机,在提示符下敲入“Ext”命令。 (2)在提示“Please enter the path to the Windows CAB files( a):”后输入Win98安装压缩包所在的完整路径,如“F\Pwin98\Win98”,完成后回车。 (3)在提示“Please enter the name(s)of the file(s) you want to extract:”后输入你记下的丢失文件名,如“Bios.Vxd”,回车。 (4)在解压路径提示“Please enter path to extract to(‘Enter’ for current directory):”后输入文件将被解压到的完整路径,如“C \Windows\System”并敲回车。 (5)最后出现确认提示“Is this Ok?(y/n):”,输入“y”后回车。 “Ext”程序会自动查找安装盘中的CAB压缩包,并将文件释放到指定的位置。 (6)重新启动即可。 解决方法二:用杀毒软件杀毒。 有的病毒可能会破坏注册表项杀毒后注册表应恢复中毒之前的备份。 解决方法三:如果能启动图形界面,可以采取重装主板以及显卡的驱动程序,和进行“系统文件扫描”来恢复被破坏或丢失的文件。 “系统文件扫描”的方法为单击“开始/程序/附件/系统工具/系统信息/工具/系统文件检查器”,然后扫描改动过的文件即可。 2.注册表损坏导致文件指向错误所引起的蓝屏。 实例:注册表的擅自改动(包括人为地改动和软件安装时的自动替换)其现象表现为开机或是在调用程序时出现蓝屏,并且屏幕有出错信息显示(包含出错的文件名)。 解决方法一:恢复备份。 (1)单击“开始/关机/重新启动计算机并切换到MS-DOS方式”,然后单击“是”;(2)进入Windows目录下。 例如,如果你的Windows安装在“C\Windows” 目录下,应键入以下内容“CD C\WINDOWS”后回车;(3)键入“SCANREG\RESTORE”后回车。 (4)按照上述步骤,可以将注册表恢复到最近一次启动计算机时的状态。 解决方法二:删除键值。 如果是在卸载程序后出现蓝屏的话,笔者断定故障是由于程序卸载不完善造成的。 解决这类问题非常简单,首先你要记下出错的文件名,然后再到注册表中找到以下分支“HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\VxD”。 在“查找”中输入刚才的文件名,把查到的键值删除即可。 此时,千万不要忘记备份注册表哦!典型案例:笔者在删除金山毒霸时中途死机,重新启动后刚看到桌面的图标就出现蓝屏,并伴有错误信息出现。 错误信息中提到Kavkrnl. vxd文件找不到,笔者首先根据文件名的前两个字符确定该文件不是Win98的系统文件,ka开头的应是金山毒霸的虚拟设备驱动程序。 基本判断为文件指向错误,于是决定删除它在注册表中相应键值。 在注册表编辑器的查找中输入“Kavkrnl.vxd”,将它在“HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\VxD”中的相应主键值删除,重启后故障消除。 3.System.ini 文件错误引起的“蓝屏”。 实例:软件卸载或是安装后未即时更新System.ini 文件所造成的错误。 解决方法:禁用注册表中该项或是重新安装相应的软件或驱动程序。 4.Win98自身的不完善造成的蓝屏。 实例:Win98的sp1和Microsoft的Vxd_fix.exe补丁程序对Win98的稳定性起着至关重要的作用。 解决方法:快去下载吧,如华军网站南京站http//nj.onlinedown.net/Win98SP1.htmWin98sp1 及http//nj.onlinedown.net/Windows98VxDpatch.htm Vxd_fix.exe 。 5.系统资源耗尽引起的蓝屏故障。 实例:蓝屏故障常常发生在进行一项比较大的工作时,或是在保存复制的时候,且往往发生得比较突然。 这类故障的发生原因主要是与三个堆资源(系统资源、用户资源、GDI资源)的占用情况有关。 解决方法:打开你的资源状况监视器,看一下剩余资源,如果你的三种资源都在50%甚至更低,就很容易出现诸如“非法操作”、“蓝屏”或“死机”故障。 为此,必须减少资源浪费,减少不必要的程序加载,避免同时运行大程序(图形、声音和视频软件),例如加载计划任务程序,输入法和声音指示器,声卡的DOS驱动程序,系统监视器程序等等。 6.DirectX问题引起的蓝屏故障。 实例:(1)DirectX版本过低或是过高;(2)游戏与它不兼容或是不支持;(3)辅助重要文件丢失;(4)显卡对它不支持。 解决方法:升级或是重装DirectX。 如果是显卡不支持高版本的DirectX那就说明你的显卡实在是太老了,尝试更新显卡的BIOS和驱动程序,否则,只好花钱升级显卡了。 二、硬件引起的蓝屏故障1.内存超频或不稳定造成的蓝屏。 实例:随机性蓝屏。 解决方法:先用正常频率运行,若还有问题。 找一根好的内存条进行故障的替换查找,一般可以解决。 再就是应当注意当CPU离内存很近时内存的散热问题。 2.硬件的兼容性不好引起的蓝屏。 兼容机好就好在它的性价比较高,坏就坏在它在进行组装的时候,由于用户没有完善的监测手段和相应的知识,无法进行一系列的兼容性测试,从而把隐患留在了以后的使用过程中。 实例:升级内存时,将不同规格的内存条混插引起的故障。 解决方法:注意内存条的生产厂家、内存颗粒和批号的差异,往往就是因为各内存条在主要参数上的不同而产生了蓝屏或死机,甚至更严重的内存故障。 也可以换一下内存条所插的插槽位置。 如果内存条还是不能正常工作,那就只好更换了。 此处,提醒各位:内存在整个微机系统中起着非常重要的作用,它的好坏将直接影响到系统的稳定性,所以在内存的选购时要注意,最好是有内行人陪伴,避免买到Remark过的条子或频率过低的条子。 3.硬件散热引起的“蓝屏”故障。 实例:在微机的散热问题上所出现的故障,往往都有一定规律,一般在微机运行一段时间后才出现,表现为蓝屏死机或随意重启。 故障原因主要是过热引起的数据读取和传输错误。 解决方法:采取超频的应降频,超温的应降温。 其实不一定所有的故障都那么复杂,有时候从简单的方面考虑,也能很好地解决问题要学会触类旁通。 4.I/O冲突引起的蓝屏现象。 解决方法:这种现象出现得比较少,如果出现了,可以从系统中删除带!号或?号的设备名,重新启动计算机进行确认,或者请高手手动分配系统资源。 凡事要防患于未然,下面是笔者总结出来的一些经验,可供大家参考:1 定期对重要的注册表文件进行手工备份,避免系统出错后,未能及时替换成备份文件而产生不可挽回的错误。 2 尽量避免非正常关机,减少重要文件的丢失。 如.VxD .DLL文件等。 3 对普通用户而言,只要能正常运行,没有必要去升级显卡、主板的BIOS和驱动程序,避免升级造成的危害。 4 定期检查优化系统文件,运行“系统文件检查器”进行文件丢失检查及版本校对。 检查步骤参见前面相关介绍。 5 减少无用软件的安装,尽量不用手工卸载或删除程序,以减少非法替换文件和文件指向错误的出现。 6 如果不是内存特别大和其管理程序非常优秀,尽量避免大程序的同时运行,如果你发现在听MP3时有沙沙拉拉的声音,基本可以判定该故障是由内存不足而造成的

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: Stable