Canonicalは7月3日、Kubernetes上でSparkジョブをデプロイ/実行するオープンソースソリューション「Charmed Spark」の最初のベータ版リリースを発表した。
Charmed SparkはCanonical Data Fabricチームが開発を主導するソリューションのひとつで、Charmed Sparkのほかに「Charmed Kafka」「Charmed MongoDB」「Charmed OpenSearch」「Charmed PostgreSQL」「Charmed MySQL」が含まれている。いずれもデータベースやデータパイプラインの分野で人気の高いオープンソースプロダクトをマルチクラウドのKubernetesクラスタ上でデプロイ/実行するためにパッケージ化したソリューションを提供しており、耐久性（Durability）、セキュリティ（Security）、自動化（Automation）にフォーカス、加えてCanonicalによる最大10年のサポートを受けられる。また、いずれのソリューションもCanonicalが開発するサービスオーケストレーションツール「Juju」をベースにしていることも特徴のひとつだ。
今回ベータ版が公開されたCharmed SparkはApache Spark 3.3をベースにしており、ライセンスはApache Software License v2（一部はGNU Affero General Public License v3）。現時点でデプロイ可能な環境は「Microk8s」「Canonical Charmed Kubernetes」「AWS EKS」の3つとなっている。また、コンポーネントとしては以下が含まれている。
- Juju
- Jujuクライアント
- Spark History Server Charm
- Sparkクライアントツール
- ROCKs OCIコンテナイメージ … OCIフォーマットに準拠したミニマルなコンテナイメージ。コンテナを再起動することなくプロセスの動的なリロードや再構成を可能にするPebbleデーモンを実装
- Canonical Observability Stack … Prometheus、Grafana、Loki、Alertmanagerなどオープンソースのオブザーバビリティプロダクトで構成されたオブザーバビリティのターンキー機能
Canonicalは今回のCharmed Sparkベータ版リリースを「Sparkユーザに向けた包括的なソリューション構築に向けた最初のマイルストーン」として位置づけており、Sparkユーザが煩雑なリソース管理に煩わされることなく、Kubernetes上でどこでも簡単かつセキュアにSparkワークロードをデプロイ/実行できるようにしたいとしている。今後はユーザからのフィードバックをもとに、さらなる機能強化を図っていく予定だ。
