98 lines
No EOL
6.7 KiB
Markdown
98 lines
No EOL
6.7 KiB
Markdown
## 当前你们公司使用的Hadoop版本是什么
|
||
## HDFS常见的数据压缩格式有哪些，介绍其中一种详细的实现方式
|
||
```
|
||
是否压缩数据以及使用何种压缩格式对性能具有重要的影响。在数据压缩上，需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据。在大多数情况下，每个的原则都类似。
|
||
您需要平衡压缩和解压缩数据所需的能力、读写数据所需的磁盘 IO，以及在网络中发送数据所需的网络带宽。正确平衡这些因素有赖于集群和数据的特征，以及您的使用模式。
|
||
如果数据已压缩（例如 JPEG 格式的图像），则不建议进行压缩。事实上，结果文件实际上可能大于原文件。
|
||
GZIP 压缩使用的 CPU 资源比 Snappy 或 LZO 更多，但可提供更高的压缩比。GZIP 通常是不常访问的冷数据的不错选择。而 Snappy 或 LZO 则更加适合经常访问的热数据。
|
||
BZip2 还可以为某些文件类型生成比 GZip 更多的压缩，但是压缩和解压缩时会在一定程度上影响速度。HBase 不支持 BZip2 压缩。
|
||
Snappy 的表现通常比 LZO 好。应该运行测试以查看您是否检测到明显区别。
|
||
对于 MapReduce，如果您需要已压缩数据可拆分，BZip2、LZO 和 Snappy 格式都可拆分，但是 GZip 不可以。可拆分性与 HBase 数据无关。
|
||
对于 MapReduce，您可压缩中间数据、输出或二者。相应地调整您为 MapReduce 作业提供的参数。以下示例压缩中间数据和输出。MR2 先显示，然后显示 MR1。
|
||
1.gzip压缩
|
||
|
||
优点：
|
||
压缩率比较高，而且压缩/解压速度也比较快；
|
||
hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；
|
||
有hadoop native库；
|
||
大部分linux系统都自带gzip命令，使用方便。
|
||
缺点：不支持split。
|
||
应用场景：
|
||
当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip文件，运行mapreduce程序的时候通过多个gzip文件达到并发。
|
||
hive程序，streaming程序，和java写的mapreduce程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改。
|
||
2.lzo压缩
|
||
|
||
优点：
|
||
压缩/解压速度也比较快，合理的压缩率；
|
||
支持split，是hadoop中最流行的压缩格式；
|
||
支持hadoop native库；
|
||
可以在linux系统下安装lzop命令，使用方便。
|
||
缺点：
|
||
压缩率比gzip要低一些；
|
||
hadoop本身不支持，需要安装；
|
||
在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）。
|
||
应用场景：
|
||
一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越明显。
|
||
3.snappy压缩
|
||
|
||
优点：
|
||
高速压缩速度和合理的压缩率；
|
||
支持hadoop native库。
|
||
缺点：
|
||
不支持split；
|
||
压缩率比gzip要低；
|
||
hadoop本身不支持，需要安装；
|
||
linux系统下没有对应的命令。
|
||
应用场景：
|
||
当mapreduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式；
|
||
或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入。
|
||
4.bzip2压缩
|
||
|
||
优点：
|
||
支持split；
|
||
具有很高的压缩率，比gzip压缩率都高；
|
||
hadoop本身支持，但不支持native；
|
||
在linux系统下自带bzip2命令，使用方便。
|
||
缺点：
|
||
压缩/解压速度慢；
|
||
不支持native。
|
||
应用场景：
|
||
适合对速度要求不高，但需要较高的压缩率的时候，可以作为mapreduce作业的输出格式；
|
||
或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；
|
||
或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。
|
||
|
||
作者：VentLam
|
||
链接：https://www.jianshu.com/p/b50bc3f8819c
|
||
来源：简书
|
||
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
|
||
```
|
||
## HDFS垃圾回收的时间模式是多久，如何修改该时间
|
||
## HDFS如何生效机架感知，取消机架感知有什么问题
|
||
## HDFS常见的运维操作有哪些，哪些操作是高危的，如果高危操作出现问题，如何解决
|
||
## HDFS常见的故障是什么，如何处理，是否可以给出三种预案来防范大部分常见故障
|
||
## 你经历过哪些严重的Hadoop故障
|
||
## HDFS常用的IO压力测试工具有哪些
|
||
## Hadoop哪些地方依赖于主机名，是否可以全部替换为IP呢（HDFS/YARN/SPARK）
|
||
## HDFS有哪些核心的指标需要采集和监控，最重要的三个指标是什么
|
||
## HDFS节点下线，如何提升其下线速度
|
||
## HDFS常见的误删除数据场景，以及如何防止数据被误删除
|
||
## HDFS集群对外提供的访问方式有几种，哪种最为常见，每种方式各自的优缺点和使用场景
|
||
## HDFS你做过哪些性能调优，哪些是通用的，哪些是针对特定场景的
|
||
## Hadoop日常的运维操作有什么管理工具，已经搭建的集群如何使用ambari
|
||
## Hadoop各类角色如何进行扩容，缩容，节点迁移（IP变更）
|
||
## Hadoop各类角色的JVM参数配置如何设定
|
||
## HDFS的block大小如何设置，取决于哪些因素
|
||
## YARN的nodemanager上跑任务的时候，有时候会将磁盘全部打满，如何解决
|
||
## HDFS集群多个业务方使用时如何提前做好运维规划，如权限，配额，流量突增，数据安全，目录结构
|
||
## HDFS中，小文件的定义是什么，如何对小文件进行统计分析，如何优化该问题
|
||
## HDFS的namenode如何进行主备切换
|
||
## YARN的nodemanager导致机器死机，如何解决
|
||
## 如何下线YARN的nodemanager节点，假如该节点持续在运行计算任务
|
||
## YARN的nodemanager节点，从Active Nodes转为Lost Nodes，有哪些原因，在哪里设置
|
||
## YARN的nodemanager节点如果转为Lost Nodes后，该节点上的计算任务是否还会正常继续
|
||
## HDFS的快照原理简要介绍一下，为什么可以确保数据的安全性
|
||
## YARN的yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs参数应该如何设置，有哪些常见的问题
|
||
## distcp拷贝数据的时候，出现了java.lang.outofmemoryerror:java heap space，如何处理
|
||
## 有两个hadoop集群，机器相同，磁盘占用相同，一个集群磁盘的使用率比较均匀，另一个集群磁盘使用率起伏较大（很多写满的，很多使用率很低的），那么第二个集群会有哪些问题
|
||
## hdfs namenode启动慢，常见的原因有哪些？如何优化？
|
||
## hadoop的hdfs、yarn配置的zookeeper，是否可以分开 |