開発環境・言語
Python 3.11Apache SparkAWS GlueS3RedshiftAirflow
職務内容
ビッグデータ基盤の構築・運用プロジェクトです。PythonとApache Sparkを使ったデータパイプラインの開発を行います。日次バッチ処理からリアルタイムストリーミングまで幅広く対応いただきます。
募集背景
データドリブン経営推進のためのデータ基盤構築プロジェクトが発足しました。
必須スキル
- Python経験3年以上
- データパイプライン構築経験
- SQL経験
歓迎スキル
- Apache Spark経験
- AWS Glue経験
- リアルタイム処理経験