Hadoop
par Apache Software Foundation
Framework open source pour le stockage distribué et le traitement batch de très grands volumes de données, destiné aux équipes data et d'ing
Qu'est-ce que Hadoop ?
Hadoop est un framework Java open source qui fournit un système de fichiers distribué (HDFS) et des composants pour exécuter des traitements distribués à grande échelle. Il inclut des composants pour l'ordonnancement des ressources (YARN) et prend en charge des charges en batch, interactives ou temps réel via son écosystème.
- HDFS
- YARN
- MapReduce
- Traitement distribué
- Écosystème extensible
Cloud · Sur site · Linux · API
Tarifs
Gratuit
0 €
Avis
Alternatives à Hadoop
- Apache Spark
- DatabricksComparer
- SnowflakeComparer
- Google BigQuery
- AWS EMR
- Azure HDInsight
Intégrations
Apache Spark
Apache Kafka
Apache Flink
HDFS
Qui utilise Hadoop ?
DATAIKUÉdition de logiciels applicatifs
ESN et intégrateurs Hadoop
Questions frequentes sur Hadoop
Oui. Hadoop est un projet open source distribué sous licence Apache 2.0 et disponible gratuitement via les sources officielles du projet.
Selon les analyses et comparatifs, les alternatives incluent des moteurs de traitement ou entrepôts cloud comme Apache Spark, Databricks, Snowflake, Google BigQuery, ainsi que des distributions managées telles qu'AWS EMR ou Azure HDInsight.
Hadoop s'intègre nativement à des composants de son écosystème pour le traitement et l'ingestion de données, notamment Apache Spark, Apache Kafka et Apache Flink, et repose sur HDFS pour le stockage distribué.
Hadoop convient au stockage et traitement de très grands volumes de données en mode batch et à l'exécution de tâches distribuées sur cluster. YARN permet la gestion des ressources pour exécuter plusieurs applications simultanément dans l'écosystème.
Logiciels similaires
- Kafka
Plateforme open source de streaming d'événements pour publier, stocker et traiter des flux de données en temps réel, destinée aux équipes d'
17 entreprises - Snowflake
Entrepôt de données cloud SaaS multi‑cloud pour stocker, transformer et partager des données à l'échelle entreprise.
17 entreprises - BigQuery
Entrepôt de données managé dans le cloud pour stocker, requêter et analyser de grands volumes à l'aide de SQL et d'outils IA.
17 entreprises - Spark
Moteur de calcul distribué open source pour le traitement batch, streaming, SQL et machine learning.
13 entreprises - Databricks
Plateforme unifiée de traitement et d'analyse de données pour l'ingénierie des données, le machine learning et la création de rapports à l'é
10 entreprises - PyTorch
Bibliothèque open source pour le calcul tensoriel et la construction de modèles de deep learning, utilisée par chercheurs et ingénieurs.
9 entreprises - Elasticsearch
Moteur de recherche et d'analyse distribué pour indexer, rechercher et analyser de grands volumes de données via des API REST.
9 entreprises - TensorFlow
Bibliothèque open source pour concevoir, entraîner et déployer des modèles d'apprentissage automatique et de deep learning, adaptée aux data
5 entreprises - Talend
Plateforme d’intégration et de gouvernance des données pour concevoir, préparer et superviser les flux entre sources diverses.
3 entreprises - Dataiku
Plateforme collaborative de data science pour préparer les données, entraîner des modèles et déployer des solutions IA en production.
3 entreprises - Informatica
Plateforme d'intégration et de gestion des données pour centraliser, nettoyer et gouverner les informations en entreprise.
1 entreprises - Azure Data Factory
Service cloud d'orchestration ETL/ELT pour déplacer, transformer et automatiser des pipelines de données entre sources cloud et locales.
Vous placez des consultants Hadoop ?
Branché sur BoondManager, Clustor affiche les offres ouvertes de chaque compte dans sa fiche société, avec le score de votre vivier, et prépare le dossier de compétences en 2 minutes.