S3传输

使用 OffShoot 可以直接将经过验证的文件传输到 S3 存储桶。

目前,您只能将S3磁盘设置为 Destination(目标)。
此功能需要 OffShoot Pro 许可证。通过 License Manager 或通过 OffShoot > Settings > License 进行升级。在此处查看所有 Pro 功能。
译者按:

S3 存储是 AWS 公司推出的对象存储服务,称为 AWS S3。其他公司的对象存储服务比如阿里云OSS、腾讯云COS、华为云OBS,因为同样兼容 AWS S3 的 API 协议,即可以使用相同的通信方法,可以称为 通用S3 或者兼容S3。

对象存储已经事实上成为了当今互联网数据存储的基础架构之一。

但是,以往 S3 存储只应用于互联网中,例如作为 Aplication 、Web 等服务的数据存储后端。并不应用于影视行业中。

译者无从判断国外 DIT 行业对此协议的应用趋势。但可以断言,在国内,由于网络昂贵的出口带宽费用,并不能实际承载原始视频素材巨大的数据量,因此该技术线路很可能不会在国内影视行业流行。

要求

  • OffShoot 23.2 或更新版本
  • 专业许可证
  • 至少具有writedeletelistBucket权限的 S3 存储桶访问

如何使用

  1. 打开 Settings > Cloud.
  2. 选择 AWS S3 或 Generic S3.
  3. 点击 Add... 来添加一个新的 S3 连接.
    image
  4. 输入你的 S3 凭据 – 包括 AddressBucket NameAccess Key、和 Secret
  5. 一个AWS S3 URL的格式如下:https://s3.(存储桶区域).amazonaws.com

image

  1. 点击 Connect.
  2. S3 存储桶现在将作为 OffShoot 中的磁盘可用。
在 Mac 上,如果您遇到“无法创建 S3 连接”错误,请将鼠标悬停在错误消息上以获取更多详细信息。如果您需要进一步的帮助,请通过 offshoot@hedge.video 联系我们。

AWS S3 Transfer 加速

OffShoot 24.1 及更高版本支持具有 Transfer Acceleration 的 AWS S3 存储桶。
image

配置 S3 连接

连接到路径

您还可以在您的S3存储桶的Location中定义一个Optional Path,OffShoot 将将其挂载为您的 S3 存储桶的根目录。

image

将鼠标悬停在OffShoot中的磁盘上,OffShoot将显示Bucket nameOptional Path作为工具提示。

image

使用标签

默认情况下,OffShoot使用 Bucket name 作为磁盘名称。与 OffShoot 中的其他磁盘一样,您可以在创建或配置连接时使用 Label(标签) 来重命名它。

image

image

通过CLI配置S3连接(仅限macOS)

可以通过命令行创建连接。了解更多

浏览存储桶

一旦你的 S3 存储桶连接成功,你可以通过以下方式在 OffShoot 中浏览它:

  • 双击 S3 存储桶的磁盘图标。
  • 从Disk(磁盘)菜单中选择 Browse...

image

编辑/删除连接

您可以通过以下方式编辑或删除现有的S3连接:

  • 双击一个现有的连接。
  • 点击省略号 ,然后选择 Edit(编辑)Remove(移除)

image

设置目标文件夹

可以通过设置目标文件夹来实现: Disk menu > Destination Folder > Browse...

image

也可以创建新文件夹,但 OffShoot 不会立即创建,只会在传输开始时创建。

验证

S3传输始终使用多部分MD5校验和进行验证。这是在服务器端完成的,不需要对文件进行读取或打开Checkpoint。

并发

OffShoot 同时将多个文件(分片)上传到S3。如果您想要调整这些设置,可以通过更改以下默认设置来实现。

macOS
// 设置多部分大小(以MB为单位),默认值为50。
defaults write nl.syncfactory.Hedge.Mac "S3MultipartSize" -int <size in MB>
// 设置同时上传的最大分段数量,默认为15。
defaults write nl.syncfactory.Hedge.Mac "S3MultipartConcurrencyLimit" -int <amount in parts>
// 如果您想将重置恢复到默认值,请删除这些键。
defaults delete nl.syncfactory.Hedge.Mac "S3MultipartSize"
defaults delete nl.syncfactory.Hedge.Mac "S3MultipartConcurrencyLimit"
Windows
Location - Computer\HKEY_CURRENT_USER\Software\Hedge
Key - CloudIntegrationConcurrency and CloudIntegrationPartSize
Type - DWORD (Hex)

CloudIntegrationConcurrency // 同时上传的最大分段数量,默认为15。
CloudIntegrationPartSize // 多部分大小(以字节为单位),默认值为52428800。

API接口

要使用API设置S3存储桶,请使用 call offshoot://setDestination?path=hedge-s3-test 调用,并将Bucket NameOptional Path作为path参数的值:

限制

  • 目前不支持将S3存储桶设置为Source
  • 传输将使用Standard存储桶类型。
  • 目前不支持使用自签名证书进行本地S3连接。
  • 由于S3的限制,OffShoot无法传输:
    • 空文件夹
    • 文件别名/符号链接
    • 零字节文件
    • 大于 5TiB 的文件
  • 由于 S3 的限制,FoolCat 、EditReady 和 Iconik 的集成不受支持。

OffShoot 会在 日志 中记录下无法传输的任何文件或文件夹。

通用 S3

如果您没有 AWS S3 存储桶,您可以尝试通用的S3集成。

寻找特定供应商的 S3 实现?请告诉我们:offshoot@hedge.video