Azure Blob Storage

Azure Blob Storage 是一项由 Microsoft 管理的服务，能提供多种应用场景下的云Storage。 Azure Blob Storage可与 Flink 一起使用以读取和写入数据，以及与流 State Backend 结合使用。

Flink 支持使用 wasb:// 或 abfs:// 访问 Azure Blob Storage。

Azure 建议使用 abfs:// 访问 ADLS Gen2 Storage帐户，尽管 wasb:// 通过向后兼容也可以工作。

通过以下格式指定路径，Azure Blob Storage对象可类似于普通文件使用：

1
2
3
4
5

// ABFS unecrypted access
abfs://<your-container>@$<your-azure-account>.dfs.core.windows.net/<object-path>

// ABFS SSL encrypted access
abfss://<your-container>@$<your-azure-account>.dfs.core.windows.net/<object-path>

参见以下代码了解如何在 Flink 作业中使用 Azure Blob Storage：

1
2
3
4
5
6
7
8

// 读取 Azure Blob Storage
env.readTextFile("wasb://<your-container>@$<your-azure-account>.blob.core.windows.net/<object-path>");

// 写入 Azure Blob Storage
stream.writeAsText("wasb://<your-container>@$<your-azure-account>.blob.core.windows.net/<object-path>")

// 将 Azure Blob Storage用作 FsStatebackend
env.setStateBackend(new FsStateBackend("wasb://<your-container>@$<your-azure-account>.blob.core.windows.net/<object-path>"));

参考资料

Azure Blob Storage | Apache Flink