外观
Open Sora 1.2 文生视频大模型部署与使用
更新日志
[202470723] 1.2.1版本:大幅优化了模型部署体验,将初次通过Hugging Face下载的模型从25G降低到了500Mb,其他模型文件则从公共盘拷贝。
目前镜像并没有自带所有运行所需要的模型,第一次部署需要拷贝25G 左右的模型文件,从公共盘fshare到数据盘fssd 文件夹中。此外,还需要下载约通过Hugging Face下载约500Mb模型文件。与Hugging Face连接不是很稳定,下载较慢,请耐心等待。可能后续版本镜像会对此体验再进行优化。第一次启动可能需要等待约20分钟左右。
一、应用部署
1. 创建实例
选择图生视频OpenSora
随后,选择计算资源。由于文生视频对于显存的需求较大(24G不满足需求),此处至少需要选择具备40G显存的L40 单卡、A100 单卡或以上才能满足Open Sora应用的需求。
2. 部署与启动
实例创建成功后,等待十分钟左右,点击1024
目前镜像并没有自带所有运行所需要的模型,第一次部署需要拷贝25G 左右的模型文件,从公共盘fshare到数据盘fssd 文件夹中。此外,还需要下载约通过Hugging Face下载约500Mb模型文件。与Hugging Face连接不是很稳定,下载较慢,请耐心等待。可能后续版本镜像会对此体验再进行优化。
可以尝试修改****init.sh中的hf_point
参数为镜像站 https://hf-mirror.com/ 或许可以改善下载速度。
部署和启动成功的输出如下图所示。[*]
代表此单元格正在运行中,出现了Local URL说明服务已经启动成功。第一次部署有模型文件需要下载,会出现下载进度条,此处不做展示。如果未出现Local URL但单元格左侧出现了[1]
,提示单元格执行完成,请多多尝试重新执行完成必要的模型下载。
二、应用使用
进入并使用Open Sora Demo 应用
初次打开以及一段时间后,打开链接需要输入应用服务页面展示的用户名和密码到浏览器弹出的提示框。复制和粘贴正确的用户名和密码后,一切无误将会进入下图所示的Open Sora应用页面。
由于OpenAI不对中国大陆地区提供服务,对于大多数用户获取自己的OpenAI API Key并能长期稳定使用会比较困难。此处我们建议您可以使用其他大陆地区可用的生成式语言大模型生成Open Sora的提示词,或使用算力互联平台的其他大语言模型生成提示词。 比如,您可以这样输入给生成式语言大模型提示词:请帮我用英文创建一个100字的场景介绍,为了生成一个4s的视频,如果方便附带一张场景的预览图。
随后将生成的场景介绍复制粘贴到Open Sora的提示词输入框中。下图是一个基于某国产大模型的演示。
复制红框标注的部分到Open Sora 应用的提示词输入框中,进行视频生成必要的设置后****生成视频。
下图右侧便是生成的视频
三、联系方式
欢迎大家使用这一镜像。如有任何问题和建议,联系方式如下:
GitHub-ParzHe 微信:ParzLuck
四、参考
GitHub-Open Sora:https://github.com/hpcaitech/Open-Sora Gradio Documentation:https://www.gradio.app/docs