aws-glue

aws-glue

go

将数据从本地PySpark会话写入Iceberg/Glue表格。

英文: Write to Iceberg/Glue table from local PySpark session 问题我想要能够从我的本地机器使用Python操作托管在AWS Glue上的Ice...

2023年8月10日102评论

go

分组 Spark 数据框并将聚合数据转换为字符串。

英文: GroupBy Spark Dataframe and manipulate aggregated data as string 问题转换正在AWS Glue Spark作业中进行。在下面的...

2023年7月31日87评论

go

PySpark将DataFrame写入S3需要很长时间。

英文: PySpark takes a lot of time to write dataFrame to S3 问题我是你的中文翻译助手，以下是你要翻译的内容：我对Glue和PySpark还不熟...

2023年7月27日148评论

go

拥有 Athena 查询结果会对使用它的服务性能产生影响吗？

英文: Does having athena query result have an impact to performance of services that uses it? 问题我知道At...

2023年7月20日88评论

go

如何在AWS Glue 3.0 Jupyter Notebook作业中添加Python包？

英文: How do you add python packages in AWS Glue 3.0 Jupyter Notebook jobs? 问题我正在尝试将一个项目迁移到AWS Glue，并...

2023年7月18日73评论

go

Unknown parameter in Targets DeltaTargets must be one of: S3Targets, JdbcTargets, MongoDBTargets, DynamoDBTargets, CatalogTargets

英文: Unknown parameter in Targets DeltaTargets must be one of: S3Targets, JdbcTargets, MongoDBTargets...

2023年7月17日83评论

go

Spark Streaming 在写入数据库时，forEachBatch 提供的结果不一致/无序。

英文: Spark streaming forEachBatch giving inconsistent/unordered result while writing to database 问题问...

2023年7月17日76评论

go

无法在AWS中更改Hudi表的列名。

英文: Unable to alter column name for a Hudi table in AWS 问题 I'm unable to alter the column name of Hu...

2023年6月30日76评论

go

在AWS Glue中写入BigQuery时出现空指针异常。

英文: NullPointerException when writing to BigQuery in AWS Glue 问题我正在从AWS Aurora设置ETL管道到BigQuery，并使用G...

2023年6月16日75评论

go

Parquet pyarrow schema 转换为 Glue schema AWS

英文: Parquet pyarrow schema to Glue schema AWS 问题我正在尝试找到一种将S3上的parquet文件的pyarrow模式转换为可用的Glue模式的方法。为...

2023年6月16日73评论