英文:
Cloud Composer vs Cloud Dataproc Workflow Template
问题
使用Cloud Composer和Dataproc工作流模板来运行和编排一些Spark作业，有些并行进行，有些按顺序进行的主要区别是什么？
英文:
For running and orchestrating a few Spark jobs, some in parallel and some in a series.
What's the main difference between orchestration using Cloud Composer vs. a Dataproc workflow template?
答案1
得分: 2
非常相似。在这两种情况下都使用了DAG。主要的区别是：
- Dataproc Workflow 使用YAML工作流定义，只能运行Dataproc作业，而且没有额外费用。
- Composer 使用Python和操作符，可以运行不同类型的作业，但需要特定的部署（Composer集群），会产生额外的费用（一个小型集群大约每月$400）。
英文:
It's very similar. DAG in the 2 cases. The main differences are:
- Dataproc Workflow use YAML workflow definition, can run only Dataproc jobs, and no additional cost
- Composer use Python and operator, can run different type of jobs but require specific deployment (Composer Cluster) that incurs additional costs (about $400 per month for a small cluster)
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论