Spark
par Apache Software Foundation
Moteur de calcul distribué open source pour le traitement batch, streaming, SQL et machine learning.
Qu'est-ce que Spark ?
Spark est un moteur de traitement de données distribué et open source conçu pour exécuter des workloads en mémoire ou sur disque. Il prend en charge le batch, le streaming, les requêtes SQL, le machine learning et le traitement de graphes, et s'intègre avec des systèmes de stockage distribués comme HDFS. Les APIs multi-langages facilitent le développement pour data engineers et data scientists.
- Traitement batch
- Streaming
- Spark SQL
- MLlib
- Graph processing
Cloud · Sur site · Linux · Windows · macOS · API
Tarifs
Gratuit
0 €
Avis
Alternatives à Spark
Intégrations
Hadoop HDFS
Databricks
Microsoft Azure
Qui utilise Spark ?
METROPOLISDébits de boissons
VIAVI SolutionsFabrication de composants électroniques
DATAIKUÉdition de logiciels applicatifs
F.A.I.R.EAction sociale sans hébergement n.c.a.
VOODOOÉdition de jeux électroniques
CENTRIC SOFTWARE SASÉdition de logiciels système et de réseau
ESN et intégrateurs Spark
Questions frequentes sur Spark
Apache Spark est un projet open source publié par la Apache Software Foundation. Le moteur lui-même est gratuit et téléchargeable sans coût de licence. Des offres commerciales gérées par des fournisseurs tiers peuvent être facturées séparément, mais aucun tarif n'est publié pour le logiciel open source lui‑même.
Oui. Apache Spark est distribué comme logiciel libre sous licence Apache, ce qui permet une utilisation gratuite et illimitée du moteur. Les services managés basés sur Spark peuvent proposer des essais, mais cela dépend du fournisseur.
Parmi les alternatives on trouve Apache Flink pour le streaming, les solutions de data warehouse comme Snowflake ou Google BigQuery, ainsi que des moteurs SQL distribués et bibliothèques comme Presto ou Polars selon les cas d'usage.
Spark convient au traitement de volumes importants en batch et en streaming, à l'interrogation SQL de grands jeux de données, aux workflows de machine learning et au traitement de graphes. Il s'utilise en cluster, sur des environnements on‑premise ou cloud, et via des APIs Java, Scala, Python et R.
Logiciels similaires
- Kafka
Plateforme open source de streaming d'événements pour publier, stocker et traiter des flux de données en temps réel, destinée aux équipes d'
17 entreprises - Snowflake
Entrepôt de données cloud SaaS multi‑cloud pour stocker, transformer et partager des données à l'échelle entreprise.
17 entreprises - BigQuery
Entrepôt de données managé dans le cloud pour stocker, requêter et analyser de grands volumes à l'aide de SQL et d'outils IA.
17 entreprises - Databricks
Plateforme unifiée de traitement et d'analyse de données pour l'ingénierie des données, le machine learning et la création de rapports à l'é
10 entreprises - PyTorch
Bibliothèque open source pour le calcul tensoriel et la construction de modèles de deep learning, utilisée par chercheurs et ingénieurs.
9 entreprises - Elasticsearch
Moteur de recherche et d'analyse distribué pour indexer, rechercher et analyser de grands volumes de données via des API REST.
9 entreprises - TensorFlow
Bibliothèque open source pour concevoir, entraîner et déployer des modèles d'apprentissage automatique et de deep learning, adaptée aux data
5 entreprises - Talend
Plateforme d’intégration et de gouvernance des données pour concevoir, préparer et superviser les flux entre sources diverses.
3 entreprises - Dataiku
Plateforme collaborative de data science pour préparer les données, entraîner des modèles et déployer des solutions IA en production.
3 entreprises - Informatica
Plateforme d'intégration et de gestion des données pour centraliser, nettoyer et gouverner les informations en entreprise.
1 entreprises - Hadoop
Framework open source pour le stockage distribué et le traitement batch de très grands volumes de données, destiné aux équipes data et d'ing
1 entreprises - Azure Data Factory
Service cloud d'orchestration ETL/ELT pour déplacer, transformer et automatiser des pipelines de données entre sources cloud et locales.
Vous placez des consultants Spark ?
Branché sur BoondManager, Clustor affiche les offres ouvertes de chaque compte dans sa fiche société, avec le score de votre vivier, et prépare le dossier de compétences en 2 minutes.