使用资产清单报告

JSON API

使用 Google Cloud 控制台或 Google Cloud CLI 启用 Storage Insights API。

JSON API

如需创建资产清单报告配置，请完成以下步骤：

1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

2. 创建一个包含以下信息的 JSON 文件，除非���有说明，否则其中的所有字段均为必填字段：

   {
     "display_name": "DISPLAY_NAME",
     "frequency_options": {
       "frequency": "FREQUENCY",
       "start_date": "START_DATE",
       "end_date": "END_DATE",
     },
     "csv_options": {
       "record_separator": "RECORD_SEPARATOR",
       "delimiter": "DELIMITER",
       "header_required": HEADER_REQUIRED
     },
     "object_metadata_report_options": {
        "metadata_fields": [
         "METADATA_FIELD",
         ...
       ],
       "storage_filters": {
         "bucket": "SOURCE_BUCKET_NAME"
       },
       "storage_destination_options": {
         "bucket": "DESTINATION_BUCKET_NAME",
         "destination_path": "DESTINATION_PATH"
       }
     }
   }

   您需要进行如下替换：

   • 将 DISPLAY_NAME 替换为资产清单报告配置的可修改显示名称。最多可包含 256 个字符。

   • 将 FREQUENCY 替换为生成资产清单报告的频率。值为 DAILY 或 WEEKLY。

   • 将 START_DATE 替换为您希望开始生成资产清单报告的世界协调时间 (UTC) 日期。不能是当前日期，也不能是任何过去的日期。值必须是包含键 day、month 和 year 的对象。例如：{"day": 15, "month": 8, "year": 2022}。

   • 将 END_DATE 替换为您希望停止生成资产清单报告的世界协调时间 (UTC) 日期。值必须是包含键 day、month 和 year 的对象。例如，如果您指定 {"day": 15, "month": 9, "year": 2022}，则自 2022 年 9 月 16 日起，系统将不再生成资产清单报告。

   • 将 RECORD_SEPARATOR 替换为用于分隔资产清单报告 CSV 文件中的记录的字符。必须是 \n 或 \r\n。默认值为 \n。 此字段是可选字段。

   • 将 DELIMITER 替换为用于分隔资产清单报告 CSV 文件中的字段的分隔符。该值可以包含一个字符，且不能与 RECORD_SEPARATOR 相同。默认值为 ,。 此字段是可选字段。

   • 将 HEADER_REQUIRED 替换为指示 CSV 文件中是否包含标题的布尔值。此字段是可选字段。

   • 将 SOURCE_BUCKET_NAME 替换为包含您要为其生成资产清单报告的对象的来源存储桶的名称。例如 my_example_bucket。

   • 将 METADATA_FIELD 替换为您要包含在资产清单报告中的元数据字段的英文逗号分隔列表。

   • 将 DESTINATION_BUCKET_NAME 替换为生成和存储资产清单报告的目标存储桶的名称。例如 my_example_destination_bucket。

   • 将 DESTINATION_PATH 替换为生成资产清单报告的目标存储桶的路径。此字段是可选字段。

     如果指定存储桶中文件夹的路径，则可以使用该路径中的关键字，在生成报告时，这些关键字将替换为相应的值。这样，您就可以使用 Hive 分区格式生成报告，从而在 BigQuery 中加载或查询数据，而无需额外的处理。

   例如，以下代码示例创建了名为“示例资产清单报告配置”的资产清单报告配置，该配置每周生成一次报告：

   {
     "display_name": "Example inventory report configuration",
     "frequency_options": {
       "frequency": "WEEKLY",
       "start_date": {
         "day": 15,
         "month": 8,
         "year": 2022
       },
       "end_date": {
         "day": 15,
         "month": 9,
         "year": 2022
       },
     },
     "csv_options": {
       "record_separator": "\n",
       "delimiter": ",",
       "header_required": true
     },
     "object_metadata_report_options": {
        "metadata_fields": [
         "project",
         "name",
         "bucket"
       ],
       "storage_filters": {
         "bucket": "example_source_bucket"
       },
       "storage_destination_options": {
         "bucket": "example_destination_bucket"
       }
     }
   }

3. 如需应用资产清单报告配置，请使用 cURL 通过 Create ReportConfig 请求调用 JSON API：

   curl -X POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   您需要进行如下替换：

   • 将 JSON_FILE_NAME 替换为您在上一步中创建的 JSON 文件的路径。

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

JSON API

如需修改资产清单报告配置，请完成以下步骤：

1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

2. 如需获取您要修改的资产清单报告配置的名称，请使用 cURL 通过 Get ReportConfig 请求调用 JSON API：

   curl --request GET \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

   如果您要检索特定来源存储桶中的所有资产清单报告配置，请在请求中附加 filter 查询参数：

   curl --request GET \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?filter=objectMetadataReportOptions.storageFilters.bucket=BUCKET_NAME" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。
   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。
   • 将 BUCKET_NAME 替换为包含您要修改的资产清单报告配置的来源存储桶的名称。

3. 创建一个包含要修改的属性更改的 JSON 文件。以下示例更新资产清单报告配置，以 Apache Parquet 格式每天生成资产清单报告：

   {
     "ReportConfig": {
       "frequency_options": {
         "frequency": "DAILY"
       },
       "parquet_options": {
       }
     }

4. 如需应用资产清单报告配置，请使用 cURL 通过 Patch ReportConfig 请求调用 JSON API：

   curl --request PATCH \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     --data-binary "@JSON_FILE_NAME.json" \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

   • 将 REPORT_CONFIG_UUID 替换为资产清单报告配置的自动生成的 UUID。

JSON API

1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

2. 如需列出项目在给定位置的所有资产清单报告配置，请使用请求列出资产清单报告配置：

   curl --request GET \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

   如果您要列出特定来来源存储桶中的所有资产清单报告配置，请在请求中附加 filter 查询参数：

   curl --request GET \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?filter=objectMetadataReportOptions.storageFilters.bucket=BUCKET_NAME" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

   • 将 BUCKET_NAME 替换为包含您要列出的资产清单报告配置的来来源存储桶的名称。

JSON API

下载各个报告

如需下载资产清单报告，请完成以下步骤：

1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

2. 如需列出资产清单报告配置生成的所有资产清单报告，请使用 cURL 通过列出资产清单报告详细信息的请求调用 JSON API：

   curl --request GET \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

   • 将 REPORT_CONFIG_UUID 替换为生成您要下载的报告的资产清单报告配置的自动生成的 UUID。

3. 如需获取单份报告的详细信息，请使用 cURL 通过 Get ReportDetails 请求调用 JSON API：

   curl --request GET \
   "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/REPORT_DETAIL_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

   • 将 REPORT_CONFIG_UUID 替换为生成您要下载的报告的资产清单报告配置的自动生成的 UUID。

   • 将 REPORT_DETAIL_ID 替换为您要下载的资产清单报告的名称。

下载报告分片

如需下载拆分为一个或多个分片的资产清单报告，请完成以下步骤：

1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

2. 如需下载资产清单报告的 清单文件，请使用 cURL 通过 GET 对象请求调用 JSON API：

   curl -X GET \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     "https://storage.googleapis.com/storage/v1/b/BUCKET_NAME/o/MANIFEST_FILE_NAME?alt=media" \

   您需要进行如下替换：

   • 将 BUCKET_NAME 替换为目标存储桶的名称。

   • 将 MANIFEST_FILE_NAME 替换为目标存储桶中的清单文件的名称，并采用以下命名惯例：

     REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json

     其中：

     • REPORT_CONFIG_UUID 是生成您要下载的报告分片的资产清单报告配置的自动生成 UUID。

     • TARGET_DATETIME 是生成资产清单报告的日期。

   例如 fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json。

   清单文件的 report_shards_file_names 字段包含您可以下载的资产清单报告分片的名称。

3. 如需下载资产清单报告分片文件，请使用 curl 通过 Get 对象请求调用 Cloud Storage JSON API：

   curl -X GET \
     --header "Authorization: Bearer $(gcloud auth print-access-token)" \
     -o "DOWNLOAD_PATH" \
     "https://storage.googleapis.com/storage/v1/b/BUCKET_NAME/o/SHARD_FILE_NAME?alt=media"

   您需要进行如下替换：

   • 将 DOWNLOAD_PATH 替换为要保存对象的本地文件系统的路径。例如 Desktop/dog.png。

   • 将 BUCKET_NAME 替换为包含资产清单报告的目标存储桶的名称。例如 my-bucket。

   • 将 SHARD_FILE_NAME 替换为您要下载的分片文件的网址编码名称。例如 fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv。

JSON API

如需删除资产清单报告配置，请完成以下步骤：

1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

2. 如需删除资产清单报告配置，请使用 cURL 通过 Delete ReportConfig 请求调用 JSON API：

   curl --request DELETE \
   'https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID?force=true' \
     --header 'Authorization: Bearer $(gcloud auth print-access-token)' \
     --header 'Accept: application/json' \
     --header 'Content-Type: application/json' \
   

   您需要进行如下替换：

   • 将 YOUR_PROJECT 替换为来源存储桶和目标存储桶所在项目的名称。

   • 将 LOCATION 替换为来源存储桶和目标存储桶的位置。例如 us-west1。

   • 将 REPORT_CONFIG_UUID 替换为您要删除的资产清单报告配置的自动生成的 UUID。

force 查询参数会删除由给定资产清单报告配置生成的所有资产清单报告的元数据。系统不会删除资产清单报告对象本身。