hadoop生态圈：
Common 一组分布式文件系统和通用i/o的组件接口（序列化，java rpc 和持久化数据结构）
Avro 一种支持高效，跨语言的RPC以及永久存储数据的序列化系统
MapReduce 分布式数据处理模型和执行环境，运行于大型商用机集群
HDFS 分布式文件系统 运行于大型商用机集群
Pig 一种数据流语言和运行环境，用以检索非常大的数据集。比如运行在MapReduce和HDFS集群上
Hive 一个分布式，按列存储数据库。Hive管理HDFS中存储的数据，并提供基于sql的查询语言（运行时引擎翻译成MapReduce作业）用以查询数据。
Hbase 一个分布式，按列存储数据库。Hbase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）
Zookeeper 一个分布式、可用性高的协调服务。Zookeeper提供了分布式锁之类的基本服务用于构建分布式应用
Sqoop 在数据库和HDFS之间高效传输数据的工具
-----------------------------------------------------------------
hadoop 2.0.3 和网上介绍的版本有点不一样
它的config文件是在etx里面。startall 是在sbin里面
相关推荐
涵盖大数据hadoop、spark、scala、kafka和Linux-CentOS 6 基础和理论知识最全的思维导图，有助于学习大数据的小白自学
简要介绍了hadoop的发展历程、原理、特征以及基于hadoop的分布式系统的安装方法。
总结 人工智能的发展历程 人工智能的标志性产品 人工智能应用现状和发展趋势 2-3-人工智能关键技术全文共14页，当前为第14页。 卷积神经网络主要用于图像处理特征。多层神经网络，将局部感受野、权值共享、亚采样这...
目录 第一部分 人工智能大数据概览 第二部分 知识图谱技术概览 第三部分 自动问答解决方案 人工智能自动问答系统方案设计全文共33页，当前为第2页。 我国的大数据+人工智能战略 国外 2016年初，AlphaGo在围棋领域...
记录AgeFades 成长历程。Java重点: SpringBoot 整合各大流行框架、项目的架构实战经验开阔视野、对各项 Java圈子技术的学习与记录。前端重点: 对当下流行的 Vue + React 的学习记录目的: 为了更好了解前端同事行为，...
成长历程。 Java 重点: SpringBoot 整合各大流行框架、项目的架构实战经验 开阔视野、对各项 Java圈子技术的学习与记录。 前端 重点: 对当下流行的 Vue + React 的学习记录 目的: 为了更好了解前端同事行为，完成...
A、 信息传输 B、 信息处理 C、 信息爆炸 D、 信息转换 2、下⾯哪个选项属于⼤数据技术的"数据存储和管理"技术层⾯的功能？ A、 利⽤分布式⽂件系统、数据仓库、关系数据库等实现对结构化、半结构化 和⾮结构化海量...
1.3_Hadoop生态系统简介 1.4_大数据的价值与应用 1.5_大数据发展趋势 2.1_华为大数据解决方案简介 2.2_华为大数据平台架构 2.3_华为大数据商业咨询服务总体方案 2.4_大数据开发团队与社区贡献 2.5_华为大数据...
TRS 大数据管理系统发展历程 TRS 全文数据库 TRS 非结构化数据库 TRS 大数据 管理系统 理解大数据-实践大数据全文共48页，当前为第16页。 TRS 大数据管理系统V7.0 理解大数据-实践大数据全文共48页，当前为第17页。...
TRS 大数据管理系统发展历程 TRS 全文数据库 TRS 非结构化数据库 TRS 大数据 管理系统 理解大数据-实践大数据(1)全文共46页，当前为第15页。 TRS 大数据管理系统V7.0 理解大数据-实践大数据(1)全文共46页，当前为第...
京东大数据平台建设了完整的技术体系，包括离线计算、实 时计算和机器学习平台， 可以满足多种复杂应用场景的计算任务。 元数据管理、数据质量管理、任务调度、数据开发工具、流程中 心等构成了全面的数据运营工具...
资源，脚本，泊坞窗映像，工具和文档的集合，主要与用于本地开发，学习目的和快速原型制作的分布式系统有关。 发展历程 的Ubuntu # install pip3 sudo apt install -y python3-pip # install virtualenv globally ...