apache hadoop及其生态组件安装管理的缺点

• 部署过程及其复杂，超过20个节点的时候，手动操作就非常累了。
• 各组件部署完成后，各自为政，没有统一化的管理界面。
• 各组件之间的依赖关系很复杂，一环扣一环，部署过程心累。
• 各组件之间没有统一的可视化界面，比如hdfs占用磁盘空间、IO、运行状况等。
• 优化等需要用户自己根据业务场景进行跳转，效率极低，不能自动分发到所有节点上。

为了解决上述问题，出现了一些商业化的大数据组件，其中以Cloudera公司推出的CDH版本，CDH是hadoop和相关项目中最完整的、最稳定的、最流行的发行版本。CDH出现帮助解决了各个软件之间的兼容问题，同时集成了大量的常规企业优化方案，为了提升用户体验，还专门推出了一款管理自家产品的大数据软件cloudera manager。

cloudera manager是用于管理CDH集群的B/S应用。其特点：应用自动化安装，实时监控，集中的图形化管理，集成了全套的诊断工具等。

cloudera manager 优缺点

优点

• 统一的可视化界面，自动部署、配置、调优各类大数据组件
• 多用户权限管理
• 稳定性极好

缺点

• server和agent需要占用额外的内存和cpu(CM的server会占用4.5G内存，如果开启监控占用6.6G)
• 需要对hadoop的apahce版本有一定的调优经验

在实验条件下，虚拟机如果安装CM，那么建议内存分配如下：
16G内存的电脑，node1占用10G，node2占用3G
12G内存的电脑，node1占用8G，node2占用2.5G

cloudera manager 适用场景

• 适用于节点在5个以上的集群，节点较少时，为了节省服务器资源，可以不部署。
• 适用于运维工作较繁琐的场景，这样维护工作就会轻松很多。

安装

注意：安装cloudera manager推荐8G内存，

最后更新于  2022-05-13 14:20:01  并被添加「」标签，已有 754 位童鞋阅读过。

本站使用「署名 4.0 国际」创作共享协议，可自由转载、引用，但需署名作者且注明文章出处