import { Command as $Command } from "@smithy/core/client"; import type { MetadataBearer as __MetadataBearer } from "@smithy/types"; import type { GlueClientResolvedConfig, ServiceInputTypes, ServiceOutputTypes } from "../GlueClient"; import type { GetJobsRequest } from "../models/models_1"; import type { GetJobsResponse } from "../models/models_3"; /** * @public */ export type { __MetadataBearer }; export { $Command }; /** * @public * * The input for {@link GetJobsCommand}. */ export interface GetJobsCommandInput extends GetJobsRequest { } /** * @public * * The output of {@link GetJobsCommand}. */ export interface GetJobsCommandOutput extends GetJobsResponse, __MetadataBearer { } declare const GetJobsCommand_base: { new (input: GetJobsCommandInput): import("@smithy/core/client").CommandImpl; new (...[input]: [] | [GetJobsCommandInput]): import("@smithy/core/client").CommandImpl; getEndpointParameterInstructions(): { [x: string]: unknown; }; }; /** *

Retrieves all current job definitions.

* @example * Use a bare-bones client and the command you need to make an API call. * ```javascript * import { GlueClient, GetJobsCommand } from "@aws-sdk/client-glue"; // ES Modules import * // const { GlueClient, GetJobsCommand } = require("@aws-sdk/client-glue"); // CommonJS import * // import type { GlueClientConfig } from "@aws-sdk/client-glue"; * const config = {}; // type is GlueClientConfig * const client = new GlueClient(config); * const input = { // GetJobsRequest * NextToken: "STRING_VALUE", * MaxResults: Number("int"), * }; * const command = new GetJobsCommand(input); * const response = await client.send(command); * // { // GetJobsResponse * // Jobs: [ // JobList * // { // Job * // Name: "STRING_VALUE", * // JobMode: "SCRIPT" || "VISUAL" || "NOTEBOOK", * // JobRunQueuingEnabled: true || false, * // Description: "STRING_VALUE", * // LogUri: "STRING_VALUE", * // Role: "STRING_VALUE", * // CreatedOn: new Date("TIMESTAMP"), * // LastModifiedOn: new Date("TIMESTAMP"), * // ExecutionProperty: { // ExecutionProperty * // MaxConcurrentRuns: Number("int"), * // }, * // Command: { // JobCommand * // Name: "STRING_VALUE", * // ScriptLocation: "STRING_VALUE", * // PythonVersion: "STRING_VALUE", * // Runtime: "STRING_VALUE", * // }, * // DefaultArguments: { // GenericMap * // "": "STRING_VALUE", * // }, * // NonOverridableArguments: { * // "": "STRING_VALUE", * // }, * // Connections: { // ConnectionsList * // Connections: [ // ConnectionStringList * // "STRING_VALUE", * // ], * // }, * // MaxRetries: Number("int"), * // AllocatedCapacity: Number("int"), * // Timeout: Number("int"), * // MaxCapacity: Number("double"), * // WorkerType: "Standard" || "G.1X" || "G.2X" || "G.025X" || "G.4X" || "G.8X" || "Z.2X", * // NumberOfWorkers: Number("int"), * // SecurityConfiguration: "STRING_VALUE", * // NotificationProperty: { // NotificationProperty * // NotifyDelayAfter: Number("int"), * // }, * // GlueVersion: "STRING_VALUE", * // CodeGenConfigurationNodes: { // CodeGenConfigurationNodes * // "": { // CodeGenConfigurationNode * // AthenaConnectorSource: { // AthenaConnectorSource * // Name: "STRING_VALUE", // required * // ConnectionName: "STRING_VALUE", // required * // ConnectorName: "STRING_VALUE", // required * // ConnectionType: "STRING_VALUE", // required * // ConnectionTable: "STRING_VALUE", * // SchemaName: "STRING_VALUE", // required * // OutputSchemas: [ // GlueSchemas * // { // GlueSchema * // Columns: [ // GlueStudioSchemaColumnList * // { // GlueStudioSchemaColumn * // Name: "STRING_VALUE", // required * // Type: "STRING_VALUE", * // GlueStudioType: "STRING_VALUE", * // }, * // ], * // }, * // ], * // }, * // JDBCConnectorSource: { // JDBCConnectorSource * // Name: "STRING_VALUE", // required * // ConnectionName: "STRING_VALUE", // required * // ConnectorName: "STRING_VALUE", // required * // ConnectionType: "STRING_VALUE", // required * // AdditionalOptions: { // JDBCConnectorOptions * // FilterPredicate: "STRING_VALUE", * // PartitionColumn: "STRING_VALUE", * // LowerBound: Number("long"), * // UpperBound: Number("long"), * // NumPartitions: Number("long"), * // JobBookmarkKeys: [ // EnclosedInStringProperties * // "STRING_VALUE", * // ], * // JobBookmarkKeysSortOrder: "STRING_VALUE", * // DataTypeMapping: { // JDBCDataTypeMapping * // "": "DATE" || "STRING" || "TIMESTAMP" || "INT" || "FLOAT" || "LONG" || "BIGDECIMAL" || "BYTE" || "SHORT" || "DOUBLE", * // }, * // }, * // ConnectionTable: "STRING_VALUE", * // Query: "STRING_VALUE", * // OutputSchemas: [ * // { * // Columns: [ * // { * // Name: "STRING_VALUE", // required * // Type: "STRING_VALUE", * // GlueStudioType: "STRING_VALUE", * // }, * // ], * // }, * // ], * // }, * // SparkConnectorSource: { // SparkConnectorSource * // Name: "STRING_VALUE", // required * // ConnectionName: "STRING_VALUE", // required * // ConnectorName: "STRING_VALUE", // required * // ConnectionType: "STRING_VALUE", // required * // AdditionalOptions: { // AdditionalOptions * // "": "STRING_VALUE", * // }, * // OutputSchemas: [ * // { * // Columns: [ * // { * // Name: "STRING_VALUE", // required * // Type: "STRING_VALUE", * // GlueStudioType: "STRING_VALUE", * // }, * // ], * // }, * // ], * // }, * // CatalogSource: { // CatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // PartitionPredicate: "STRING_VALUE", * // OutputSchemas: [ * // { * // Columns: [ * // { * // Name: "STRING_VALUE", // required * // Type: "STRING_VALUE", * // GlueStudioType: "STRING_VALUE", * // }, * // ], * // }, * // ], * // }, * // RedshiftSource: { // RedshiftSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // RedshiftTmpDir: "STRING_VALUE", * // TmpDirIAMRole: "STRING_VALUE", * // }, * // S3CatalogSource: { // S3CatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // PartitionPredicate: "STRING_VALUE", * // AdditionalOptions: { // S3SourceAdditionalOptions * // BoundedSize: Number("long"), * // BoundedFiles: Number("long"), * // }, * // }, * // S3CsvSource: { // S3CsvSource * // Name: "STRING_VALUE", // required * // Paths: [ // required * // "STRING_VALUE", * // ], * // CompressionType: "gzip" || "bzip2", * // Exclusions: [ * // "STRING_VALUE", * // ], * // GroupSize: "STRING_VALUE", * // GroupFiles: "STRING_VALUE", * // Recurse: true || false, * // MaxBand: Number("int"), * // MaxFilesInBand: Number("int"), * // AdditionalOptions: { // S3DirectSourceAdditionalOptions * // BoundedSize: Number("long"), * // BoundedFiles: Number("long"), * // EnableSamplePath: true || false, * // SamplePath: "STRING_VALUE", * // }, * // Separator: "comma" || "ctrla" || "pipe" || "semicolon" || "tab", // required * // Escaper: "STRING_VALUE", * // QuoteChar: "quote" || "quillemet" || "single_quote" || "disabled", // required * // Multiline: true || false, * // WithHeader: true || false, * // WriteHeader: true || false, * // SkipFirst: true || false, * // OptimizePerformance: true || false, * // OutputSchemas: [ * // { * // Columns: [ * // { * // Name: "STRING_VALUE", // required * // Type: "STRING_VALUE", * // GlueStudioType: "STRING_VALUE", * // }, * // ], * // }, * // ], * // }, * // S3JsonSource: { // S3JsonSource * // Name: "STRING_VALUE", // required * // Paths: [ // required * // "STRING_VALUE", * // ], * // CompressionType: "gzip" || "bzip2", * // Exclusions: [ * // "STRING_VALUE", * // ], * // GroupSize: "STRING_VALUE", * // GroupFiles: "STRING_VALUE", * // Recurse: true || false, * // MaxBand: Number("int"), * // MaxFilesInBand: Number("int"), * // AdditionalOptions: { * // BoundedSize: Number("long"), * // BoundedFiles: Number("long"), * // EnableSamplePath: true || false, * // SamplePath: "STRING_VALUE", * // }, * // JsonPath: "STRING_VALUE", * // Multiline: true || false, * // OutputSchemas: "", * // }, * // S3ParquetSource: { // S3ParquetSource * // Name: "STRING_VALUE", // required * // Paths: "", // required * // CompressionType: "snappy" || "lzo" || "gzip" || "brotli" || "lz4" || "uncompressed" || "none", * // Exclusions: "", * // GroupSize: "STRING_VALUE", * // GroupFiles: "STRING_VALUE", * // Recurse: true || false, * // MaxBand: Number("int"), * // MaxFilesInBand: Number("int"), * // AdditionalOptions: { * // BoundedSize: Number("long"), * // BoundedFiles: Number("long"), * // EnableSamplePath: true || false, * // SamplePath: "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // RelationalCatalogSource: { // RelationalCatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // DynamoDBCatalogSource: { // DynamoDBCatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // PitrEnabled: true || false, * // AdditionalOptions: { // DDBELTCatalogAdditionalOptions * // DynamodbExport: "STRING_VALUE", * // DynamodbUnnestDDBJson: true || false, * // }, * // }, * // JDBCConnectorTarget: { // JDBCConnectorTarget * // Name: "STRING_VALUE", // required * // Inputs: [ // OneInput // required * // "STRING_VALUE", * // ], * // ConnectionName: "STRING_VALUE", // required * // ConnectionTable: "STRING_VALUE", // required * // ConnectorName: "STRING_VALUE", // required * // ConnectionType: "STRING_VALUE", // required * // AdditionalOptions: { * // "": "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // SparkConnectorTarget: { // SparkConnectorTarget * // Name: "STRING_VALUE", // required * // Inputs: [ // required * // "STRING_VALUE", * // ], * // ConnectionName: "STRING_VALUE", // required * // ConnectorName: "STRING_VALUE", // required * // ConnectionType: "STRING_VALUE", // required * // AdditionalOptions: { * // "": "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // CatalogTarget: { // BasicCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: [ // required * // "STRING_VALUE", * // ], * // PartitionKeys: [ // GlueStudioPathList * // "", * // ], * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // RedshiftTarget: { // RedshiftTarget * // Name: "STRING_VALUE", // required * // Inputs: [ // required * // "STRING_VALUE", * // ], * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // RedshiftTmpDir: "STRING_VALUE", * // TmpDirIAMRole: "STRING_VALUE", * // UpsertRedshiftOptions: { // UpsertRedshiftTargetOptions * // TableLocation: "STRING_VALUE", * // ConnectionName: "STRING_VALUE", * // UpsertKeys: [ // EnclosedInStringPropertiesMinOne * // "STRING_VALUE", * // ], * // }, * // }, * // S3CatalogTarget: { // S3CatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: [ // required * // "STRING_VALUE", * // ], * // PartitionKeys: [ * // "", * // ], * // Table: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // SchemaChangePolicy: { // CatalogSchemaChangePolicy * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // }, * // AutoDataQuality: { // AutoDataQuality * // IsEnabled: true || false, * // EvaluationContext: "STRING_VALUE", * // }, * // }, * // S3GlueParquetTarget: { // S3GlueParquetTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // PartitionKeys: [ * // "", * // ], * // Path: "STRING_VALUE", // required * // Compression: "snappy" || "lzo" || "gzip" || "brotli" || "lz4" || "uncompressed" || "none", * // NumberTargetPartitions: "STRING_VALUE", * // SchemaChangePolicy: { // DirectSchemaChangePolicy * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // Table: "STRING_VALUE", * // Database: "STRING_VALUE", * // }, * // AutoDataQuality: { * // IsEnabled: true || false, * // EvaluationContext: "STRING_VALUE", * // }, * // }, * // S3DirectTarget: { // S3DirectTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // PartitionKeys: [ * // "", * // ], * // Path: "STRING_VALUE", // required * // Compression: "STRING_VALUE", * // NumberTargetPartitions: "STRING_VALUE", * // Format: "json" || "csv" || "avro" || "orc" || "parquet" || "hudi" || "delta" || "iceberg" || "hyper" || "xml", // required * // SchemaChangePolicy: { * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // Table: "STRING_VALUE", * // Database: "STRING_VALUE", * // }, * // AutoDataQuality: { * // IsEnabled: true || false, * // EvaluationContext: "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // ApplyMapping: { // ApplyMapping * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Mapping: [ // Mappings // required * // { // Mapping * // ToKey: "STRING_VALUE", * // FromPath: "", * // FromType: "STRING_VALUE", * // ToType: "STRING_VALUE", * // Dropped: true || false, * // Children: [ * // { * // ToKey: "STRING_VALUE", * // FromPath: "", * // FromType: "STRING_VALUE", * // ToType: "STRING_VALUE", * // Dropped: true || false, * // Children: "", * // }, * // ], * // }, * // ], * // }, * // SelectFields: { // SelectFields * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Paths: [ // required * // "", * // ], * // }, * // DropFields: { // DropFields * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Paths: "", // required * // }, * // RenameField: { // RenameField * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // SourcePath: "", // required * // TargetPath: "", // required * // }, * // Spigot: { // Spigot * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Path: "STRING_VALUE", // required * // Topk: Number("int"), * // Prob: Number("double"), * // }, * // Join: { // Join * // Name: "STRING_VALUE", // required * // Inputs: [ // TwoInputs // required * // "STRING_VALUE", * // ], * // JoinType: "equijoin" || "left" || "right" || "outer" || "leftsemi" || "leftanti", // required * // Columns: [ // JoinColumns // required * // { // JoinColumn * // From: "STRING_VALUE", // required * // Keys: "", // required * // }, * // ], * // }, * // SplitFields: { // SplitFields * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Paths: "", // required * // }, * // SelectFromCollection: { // SelectFromCollection * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Index: Number("int"), // required * // }, * // FillMissingValues: { // FillMissingValues * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // ImputedPath: "STRING_VALUE", // required * // FilledPath: "STRING_VALUE", * // }, * // Filter: { // Filter * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // LogicalOperator: "AND" || "OR", // required * // Filters: [ // FilterExpressions // required * // { // FilterExpression * // Operation: "EQ" || "LT" || "GT" || "LTE" || "GTE" || "REGEX" || "ISNULL", // required * // Negated: true || false, * // Values: [ // FilterValues // required * // { // FilterValue * // Type: "COLUMNEXTRACTED" || "CONSTANT", // required * // Value: "", // required * // }, * // ], * // }, * // ], * // }, * // CustomCode: { // CustomCode * // Name: "STRING_VALUE", // required * // Inputs: [ // ManyInputs // required * // "STRING_VALUE", * // ], * // Code: "STRING_VALUE", // required * // ClassName: "STRING_VALUE", // required * // OutputSchemas: "", * // }, * // SparkSQL: { // SparkSQL * // Name: "STRING_VALUE", // required * // Inputs: [ // required * // "STRING_VALUE", * // ], * // SqlQuery: "STRING_VALUE", // required * // SqlAliases: [ // SqlAliases // required * // { // SqlAlias * // From: "STRING_VALUE", // required * // Alias: "STRING_VALUE", // required * // }, * // ], * // OutputSchemas: "", * // }, * // DirectKinesisSource: { // DirectKinesisSource * // Name: "STRING_VALUE", // required * // WindowSize: Number("int"), * // DetectSchema: true || false, * // StreamingOptions: { // KinesisStreamingSourceOptions * // EndpointUrl: "STRING_VALUE", * // StreamName: "STRING_VALUE", * // Classification: "STRING_VALUE", * // Delimiter: "STRING_VALUE", * // StartingPosition: "latest" || "trim_horizon" || "earliest" || "timestamp", * // MaxFetchTimeInMs: Number("long"), * // MaxFetchRecordsPerShard: Number("long"), * // MaxRecordPerRead: Number("long"), * // AddIdleTimeBetweenReads: true || false, * // IdleTimeBetweenReadsInMs: Number("long"), * // DescribeShardInterval: Number("long"), * // NumRetries: Number("int"), * // RetryIntervalMs: Number("long"), * // MaxRetryIntervalMs: Number("long"), * // AvoidEmptyBatches: true || false, * // StreamArn: "STRING_VALUE", * // RoleArn: "STRING_VALUE", * // RoleSessionName: "STRING_VALUE", * // AddRecordTimestamp: "STRING_VALUE", * // EmitConsumerLagMetrics: "STRING_VALUE", * // StartingTimestamp: new Date("TIMESTAMP"), * // FanoutConsumerARN: "STRING_VALUE", * // }, * // DataPreviewOptions: { // StreamingDataPreviewOptions * // PollingTime: Number("long"), * // RecordPollingLimit: Number("long"), * // }, * // }, * // DirectKafkaSource: { // DirectKafkaSource * // Name: "STRING_VALUE", // required * // StreamingOptions: { // KafkaStreamingSourceOptions * // BootstrapServers: "STRING_VALUE", * // SecurityProtocol: "STRING_VALUE", * // ConnectionName: "STRING_VALUE", * // TopicName: "STRING_VALUE", * // Assign: "STRING_VALUE", * // SubscribePattern: "STRING_VALUE", * // Classification: "STRING_VALUE", * // Delimiter: "STRING_VALUE", * // StartingOffsets: "STRING_VALUE", * // EndingOffsets: "STRING_VALUE", * // PollTimeoutMs: Number("long"), * // NumRetries: Number("int"), * // RetryIntervalMs: Number("long"), * // MaxOffsetsPerTrigger: Number("long"), * // MinPartitions: Number("int"), * // IncludeHeaders: true || false, * // AddRecordTimestamp: "STRING_VALUE", * // EmitConsumerLagMetrics: "STRING_VALUE", * // StartingTimestamp: new Date("TIMESTAMP"), * // }, * // WindowSize: Number("int"), * // DetectSchema: true || false, * // DataPreviewOptions: { * // PollingTime: Number("long"), * // RecordPollingLimit: Number("long"), * // }, * // }, * // CatalogKinesisSource: { // CatalogKinesisSource * // Name: "STRING_VALUE", // required * // WindowSize: Number("int"), * // DetectSchema: true || false, * // Table: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // StreamingOptions: { * // EndpointUrl: "STRING_VALUE", * // StreamName: "STRING_VALUE", * // Classification: "STRING_VALUE", * // Delimiter: "STRING_VALUE", * // StartingPosition: "latest" || "trim_horizon" || "earliest" || "timestamp", * // MaxFetchTimeInMs: Number("long"), * // MaxFetchRecordsPerShard: Number("long"), * // MaxRecordPerRead: Number("long"), * // AddIdleTimeBetweenReads: true || false, * // IdleTimeBetweenReadsInMs: Number("long"), * // DescribeShardInterval: Number("long"), * // NumRetries: Number("int"), * // RetryIntervalMs: Number("long"), * // MaxRetryIntervalMs: Number("long"), * // AvoidEmptyBatches: true || false, * // StreamArn: "STRING_VALUE", * // RoleArn: "STRING_VALUE", * // RoleSessionName: "STRING_VALUE", * // AddRecordTimestamp: "STRING_VALUE", * // EmitConsumerLagMetrics: "STRING_VALUE", * // StartingTimestamp: new Date("TIMESTAMP"), * // FanoutConsumerARN: "STRING_VALUE", * // }, * // DataPreviewOptions: { * // PollingTime: Number("long"), * // RecordPollingLimit: Number("long"), * // }, * // }, * // CatalogKafkaSource: { // CatalogKafkaSource * // Name: "STRING_VALUE", // required * // WindowSize: Number("int"), * // DetectSchema: true || false, * // Table: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // StreamingOptions: { * // BootstrapServers: "STRING_VALUE", * // SecurityProtocol: "STRING_VALUE", * // ConnectionName: "STRING_VALUE", * // TopicName: "STRING_VALUE", * // Assign: "STRING_VALUE", * // SubscribePattern: "STRING_VALUE", * // Classification: "STRING_VALUE", * // Delimiter: "STRING_VALUE", * // StartingOffsets: "STRING_VALUE", * // EndingOffsets: "STRING_VALUE", * // PollTimeoutMs: Number("long"), * // NumRetries: Number("int"), * // RetryIntervalMs: Number("long"), * // MaxOffsetsPerTrigger: Number("long"), * // MinPartitions: Number("int"), * // IncludeHeaders: true || false, * // AddRecordTimestamp: "STRING_VALUE", * // EmitConsumerLagMetrics: "STRING_VALUE", * // StartingTimestamp: new Date("TIMESTAMP"), * // }, * // DataPreviewOptions: { * // PollingTime: Number("long"), * // RecordPollingLimit: Number("long"), * // }, * // }, * // DropNullFields: { // DropNullFields * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // NullCheckBoxList: { // NullCheckBoxList * // IsEmpty: true || false, * // IsNullString: true || false, * // IsNegOne: true || false, * // }, * // NullTextList: [ // NullValueFields * // { // NullValueField * // Value: "STRING_VALUE", // required * // Datatype: { // Datatype * // Id: "STRING_VALUE", // required * // Label: "STRING_VALUE", // required * // }, * // }, * // ], * // }, * // Merge: { // Merge * // Name: "STRING_VALUE", // required * // Inputs: [ // required * // "STRING_VALUE", * // ], * // Source: "STRING_VALUE", // required * // PrimaryKeys: "", // required * // }, * // Union: { // Union * // Name: "STRING_VALUE", // required * // Inputs: [ // required * // "STRING_VALUE", * // ], * // UnionType: "ALL" || "DISTINCT", // required * // }, * // PIIDetection: { // PIIDetection * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // PiiType: "RowAudit" || "RowHashing" || "RowMasking" || "RowPartialMasking" || "ColumnAudit" || "ColumnHashing" || "ColumnMasking", // required * // EntityTypesToDetect: "", // required * // OutputColumnName: "STRING_VALUE", * // SampleFraction: Number("double"), * // ThresholdFraction: Number("double"), * // MaskValue: "STRING_VALUE", * // RedactText: "STRING_VALUE", * // RedactChar: "STRING_VALUE", * // MatchPattern: "STRING_VALUE", * // NumLeftCharsToExclude: Number("int"), * // NumRightCharsToExclude: Number("int"), * // DetectionParameters: "STRING_VALUE", * // DetectionSensitivity: "STRING_VALUE", * // }, * // Aggregate: { // Aggregate * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Groups: "", // required * // Aggs: [ // AggregateOperations // required * // { // AggregateOperation * // Column: "", // required * // AggFunc: "avg" || "countDistinct" || "count" || "first" || "last" || "kurtosis" || "max" || "min" || "skewness" || "stddev_samp" || "stddev_pop" || "sum" || "sumDistinct" || "var_samp" || "var_pop", // required * // }, * // ], * // }, * // DropDuplicates: { // DropDuplicates * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Columns: [ // LimitedPathList * // [ // LimitedStringList * // "STRING_VALUE", * // ], * // ], * // }, * // GovernedCatalogTarget: { // GovernedCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // PartitionKeys: "", * // Table: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // SchemaChangePolicy: { * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // }, * // }, * // GovernedCatalogSource: { // GovernedCatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // PartitionPredicate: "STRING_VALUE", * // AdditionalOptions: { * // BoundedSize: Number("long"), * // BoundedFiles: Number("long"), * // }, * // }, * // MicrosoftSQLServerCatalogSource: { // MicrosoftSQLServerCatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // MySQLCatalogSource: { // MySQLCatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // OracleSQLCatalogSource: { // OracleSQLCatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // PostgreSQLCatalogSource: { // PostgreSQLCatalogSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // MicrosoftSQLServerCatalogTarget: { // MicrosoftSQLServerCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // MySQLCatalogTarget: { // MySQLCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // OracleSQLCatalogTarget: { // OracleSQLCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // PostgreSQLCatalogTarget: { // PostgreSQLCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // }, * // Route: { // Route * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // GroupFiltersList: [ // GroupFiltersList // required * // { // GroupFilters * // GroupName: "STRING_VALUE", // required * // Filters: [ // required * // { * // Operation: "EQ" || "LT" || "GT" || "LTE" || "GTE" || "REGEX" || "ISNULL", // required * // Negated: true || false, * // Values: [ // required * // { * // Type: "COLUMNEXTRACTED" || "CONSTANT", // required * // Value: "", // required * // }, * // ], * // }, * // ], * // LogicalOperator: "AND" || "OR", // required * // }, * // ], * // }, * // DynamicTransform: { // DynamicTransform * // Name: "STRING_VALUE", // required * // TransformName: "STRING_VALUE", // required * // Inputs: "", // required * // Parameters: [ // TransformConfigParameterList * // { // TransformConfigParameter * // Name: "STRING_VALUE", // required * // Type: "str" || "int" || "float" || "complex" || "bool" || "list" || "null", // required * // ValidationRule: "STRING_VALUE", * // ValidationMessage: "STRING_VALUE", * // Value: "", * // ListType: "str" || "int" || "float" || "complex" || "bool" || "list" || "null", * // IsOptional: true || false, * // }, * // ], * // FunctionName: "STRING_VALUE", // required * // Path: "STRING_VALUE", // required * // Version: "STRING_VALUE", * // OutputSchemas: "", * // }, * // EvaluateDataQuality: { // EvaluateDataQuality * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Ruleset: "STRING_VALUE", // required * // Output: "PrimaryInput" || "EvaluationResults", * // PublishingOptions: { // DQResultsPublishingOptions * // EvaluationContext: "STRING_VALUE", * // ResultsS3Prefix: "STRING_VALUE", * // CloudWatchMetricsEnabled: true || false, * // ResultsPublishingEnabled: true || false, * // }, * // StopJobOnFailureOptions: { // DQStopJobOnFailureOptions * // StopJobOnFailureTiming: "Immediate" || "AfterDataLoad", * // }, * // }, * // S3CatalogHudiSource: { // S3CatalogHudiSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // AdditionalHudiOptions: { * // "": "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // CatalogHudiSource: { // CatalogHudiSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // AdditionalHudiOptions: { * // "": "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // S3HudiSource: { // S3HudiSource * // Name: "STRING_VALUE", // required * // Paths: "", // required * // AdditionalHudiOptions: "", * // AdditionalOptions: { * // BoundedSize: Number("long"), * // BoundedFiles: Number("long"), * // EnableSamplePath: true || false, * // SamplePath: "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // S3HudiCatalogTarget: { // S3HudiCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // PartitionKeys: "", * // Table: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // AdditionalOptions: "", // required * // SchemaChangePolicy: { * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // }, * // AutoDataQuality: { * // IsEnabled: true || false, * // EvaluationContext: "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // S3HudiDirectTarget: { // S3HudiDirectTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // Path: "STRING_VALUE", // required * // Compression: "gzip" || "lzo" || "uncompressed" || "snappy", // required * // NumberTargetPartitions: "STRING_VALUE", * // PartitionKeys: "", * // Format: "json" || "csv" || "avro" || "orc" || "parquet" || "hudi" || "delta" || "iceberg" || "hyper" || "xml", // required * // AdditionalOptions: "", // required * // SchemaChangePolicy: { * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // Table: "STRING_VALUE", * // Database: "STRING_VALUE", * // }, * // AutoDataQuality: { * // IsEnabled: true || false, * // EvaluationContext: "STRING_VALUE", * // }, * // }, * // DirectJDBCSource: { // DirectJDBCSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // ConnectionName: "STRING_VALUE", // required * // ConnectionType: "sqlserver" || "mysql" || "oracle" || "postgresql" || "redshift", // required * // RedshiftTmpDir: "STRING_VALUE", * // OutputSchemas: "", * // }, * // S3CatalogDeltaSource: { // S3CatalogDeltaSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // AdditionalDeltaOptions: "", * // OutputSchemas: "", * // }, * // CatalogDeltaSource: { // CatalogDeltaSource * // Name: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // Table: "STRING_VALUE", // required * // AdditionalDeltaOptions: "", * // OutputSchemas: "", * // }, * // S3DeltaSource: { // S3DeltaSource * // Name: "STRING_VALUE", // required * // Paths: "", // required * // AdditionalDeltaOptions: "", * // AdditionalOptions: { * // BoundedSize: Number("long"), * // BoundedFiles: Number("long"), * // EnableSamplePath: true || false, * // SamplePath: "STRING_VALUE", * // }, * // OutputSchemas: "", * // }, * // S3DeltaCatalogTarget: { // S3DeltaCatalogTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // PartitionKeys: "", * // Table: "STRING_VALUE", // required * // Database: "STRING_VALUE", // required * // AdditionalOptions: "", * // SchemaChangePolicy: { * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // }, * // AutoDataQuality: "", * // OutputSchemas: "", * // }, * // S3DeltaDirectTarget: { // S3DeltaDirectTarget * // Name: "STRING_VALUE", // required * // Inputs: "", // required * // PartitionKeys: "", * // Path: "STRING_VALUE", // required * // Compression: "uncompressed" || "snappy", // required * // NumberTargetPartitions: "STRING_VALUE", * // Format: "json" || "csv" || "avro" || "orc" || "parquet" || "hudi" || "delta" || "iceberg" || "hyper" || "xml", // required * // AdditionalOptions: "", * // SchemaChangePolicy: { * // EnableUpdateCatalog: true || false, * // UpdateBehavior: "UPDATE_IN_DATABASE" || "LOG", * // Table: "STRING_VALUE", * // Database: "STRING_VALUE", * // }, * // AutoDataQuality: "", * // }, * // AmazonRedshiftSource: { // AmazonRedshiftSource * // Name: "STRING_VALUE", * // Data: { // AmazonRedshiftNodeData * // AccessType: "STRING_VALUE", * // SourceType: "STRING_VALUE", * // Connection: { // Option * // Value: "STRING_VALUE", * // Label: "STRING_VALUE", * // Description: "STRING_VALUE", * // }, * // Schema: { * // Value: "STRING_VALUE", * // Label: "STRING_VALUE", * // Description: "STRING_VALUE", * // }, * // Table: { * // Value: "STRING_VALUE", * // Label: "STRING_VALUE", * // Description: "STRING_VALUE", * // }, * // CatalogDatabase: { * // Value: "STRING_VALUE", * // Label: "STRING_VALUE", * // Description: "STRING_VALUE", * // }, * // CatalogTable: { * // Value: "STRING_VALUE", * // Label: "STRING_VALUE", * // Description: "STRING_VALUE", * // }, * // CatalogRedshiftSchema: "STRING_VALUE", * // CatalogRedshiftTable: "STRING_VALUE", * // TempDir: "STRING_VALUE", * // IamRole: "