大数据面试题之数仓问题

DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。这一层的数据一般是遵循数据库第三范式的，其数据粒度通常和ODS的粒度相同。在DW层会保存BI系统中所有的历史数据，例如保存10年的数据。


EDW主要面向专业分析人员、辅助决策支持人员等，为了实现基于历史数据的统计分析和数据挖掘，以获得客户深层次的特征和市场发展的规律，例如专业分析人员的经营状况趋势分析由EDW提 供支撑。

DM  


数据集市，以某个业务应用为出发点而建设的局部DW。DM只关心自己需要的数据，不会全量考虑企业整体数据架构和应用，每个应用有自己的DM。 数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体(data cube)。


这层数据是面向主题来组织数据的，通常是星形或雪花结构的数据。从数据粒度来说，这层的数据是轻度汇总级的数据，已经不存在明细数据了。从数据的时间跨度来说，通常是 DW 层的一部分，主要的目的是为了满足用户分析的需求，而从分析的角度来说，用户通常只需要分析近几年（如近三年的数据）的即可。从数据的广度来说，仍然覆盖了所有业务数据。一个星型结构包含两个基本部分——一个事实表和各种支持维表。


事实表  ---- 
描述数据集市中最密集的数据。在电话公司中，用于呼叫的数据是典型的最密集数据；在银行中，与账目核对和自动柜员机有关的数据是典型的最密集数据。对于零售业而言，销售和库存数据是最密集的数据等。通常，事实表的数据不能更改，但可以输入数据。 它包括：一个反映事实表建立目的的实体的主键，如一张订单、一次销售、一个电话等等，主键信息，连接事实表与维表的外键。 


维度表 ---- 维表是围绕着事实表建立的。维表包含非密集型数据，它通过外键与事实表相连。典型的维表建立在数据集市的基础上，包括产品目录、客户名单、厂商列表等等。


数据集市产品 --- 
国外知名的Garnter关于数据集市产品报告中，位于第一象限的敏捷商业智能产品有QlikView, Tableau和SpotView



2. hive 的几种存储格式

Hive文件存储格式
1.textfile
textfile为默认格式
存储方式：行存储
磁盘开销大 数据解析开销大
压缩的text文件 hive无法进行合并和拆分

2.sequencefile
二进制文件,以<key,value>的形式序列化到文件中
存储方式：行存储
可分割 压缩
一般选择block压缩
优势是文件和Hadoop api中的mapfile是相互兼容的。


3.rcfile
存储方式：数据按行分块 每块按照列存储
压缩快 快速列存取
读记录尽量涉及到的block最少
读取需要的列只需要读取每个row group 的头部定义。
读取全量数据的操作 性能可能比sequencefile没有明显的优势



4.orc

存储方式：数据按行分块 每块按照列存储

压缩快 快速列存取

效率比rcfile高,是rcfile的改良版本



5.自定义格式
用户可以通过实现inputformat和 outputformat来自定义输入输出格式。

总结：
textfile 存储空间消耗比较大，并且压缩的text 无法分割和合并 查询的效率最低,可以直接存储，加载数据的速度最高
sequencefile 存储空间消耗最大,压缩的文件可以分割和合并 查询效率高，需要通过text文件转化来加载
rcfile 存储空间最小，查询的效率最高 ，需要通过text文件转化来加载，加载的速度最低

3.flume 各个组件的介绍
1.   SourceNetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入；type：source的类型，必须是netcat。
bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。
port：绑定的本地的端口。

Avro Source：监听一个avro服务端口，采集Avro数据序列化后的数据；type：avrosource的类型，必须是avro。
bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。
port：绑定的本地的端口。

Exec Source：于Unix的command在标准输出上采集数据；type:source的类型：必须是exec。
command：要执行命令。

Spooling Directory Source：监听一个文件夹里的文件的新增，如果有则采集作为source。type：source 的类型：必须是spooldir
spoolDir：监听的文件夹 【提前创建目录】
fileSuffix：上传完毕后文件的重命名后缀，默认为.COMPLETED
deletePolicy：上传后的文件的删除策略never和immediate，默认为never。
fileHeader：是否要加上该文件的绝对路径在header里，默认是false。
basenameHeader：是否要加上该文件的名称在header里，默认是false。

2. SinkHDFS Sink：将数据传输到hdfs集群中。type：sink的类型 必须是hdfs。
hdfs.path：hdfs的上传路径。
hdfs.filePrefix：hdfs文件的前缀。默认是:FlumeData
hdfs.rollInterval:间隔多久产生新文件，默认是:30（秒） 0表示不以时间间隔为准。
hdfs.rollSize：文件到达多大再产生一个新文件，默认是:1024（bytes）0表示不以文件大小为准。
hdfs.rollCount：event达到多大再产生一个新文件，默认是:10（个）0表示不以event数目为准。
hdfs.batchSize：每次往hdfs里提交多少个event，默认为100
hdfs.fileType：hdfs文件的格式主要包括：SequenceFile, DataStream ,CompressedStream，如果使用了CompressedStream就要设置压缩方式。
hdfs.codeC：压缩方式：gzip, bzip2, lzo, lzop, snappy
注：%{host}可以使用header的key。以及%Y%m%d来表示时间，但关于时间的表示需要在header里有timestamp这个key。

Logger Sink将数据作为日志处理（根据flume中的设置的日志方式来显示）要在控制台显示在运行agent的时候加入：-Dflume.root.logger=INFO,console 。
type：sink的类型：必须是 logger。
maxBytesToLog：打印body的最长的字节数 默认为16

Avro Sink：数据被转换成Avro Event，然后发送到指定的服务端口上。type：sink的类型：必须是 avro。
hostname：指定发送数据的主机名或者ip
port：指定发送数据的端口

File Roll Sink：数据发送到本地文件。type：sink的类型：必须是 file_roll。
sink.directory：存储文件的目录【提前创建目录】
batchSize：一次发送多少个event。默认为100
sink.rollInterval：多久产生一个新文件，默认为30s。单位是s。0为不产生新文件。【即使没有数据也会产生文件】

3.ChannelMemory Channel使用内存作为数据的存储。Type channel的类型：必须为memory
capacity：channel中的最大event数目
transactionCapacity：channel中允许事务的最大event数目

File Channel 使用文件作为数据的存储Type channel的类型：必须为 file
checkpointDir ：检查点的数据存储目录【提前创建目录】
dataDirs ：数据的存储目录【提前创建目录】
transactionCapacity：channel中允许事务的最大event数目

Spillable Memory Channel 使用内存作为channel超过了阀值就存在文件中Type channel的类型：必须为SPILLABLEMEMORY
memoryCapacity：内存的容量event数
overflowCapacity：数据存到文件的event阀值数
checkpointDir：检查点的数据存储目录
dataDirs：数据的存储目录

4. InterceptorTimestamp Interceptor 时间戳拦截器 在header里加入key为timestamp，value为当前时间。type：拦截器的类型，必须为timestamp
preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false

Host Interceptor 主机名或者ip拦截器，在header里加入ip或者主机名type：拦截器的类型，必须为host
preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false
useIP：如果设置为true则使用ip地址，否则使用主机名，默认为true
hostHeader：使用的header的key名字，默认为host

Static Interceptor 静态拦截器，是在header里加入固定的key和value。type：avrosource的类型，必须是static。
preserveExisting:如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false
key:静态拦截器添加的key的名字
value:静态拦截器添加的key对应的value值

5.  Channel SelectorMultiplexing Channel Selector 根据header的key的值分配channelselector.type 默认为replicating
selector.header：选择作为判断的key
selector.default：默认的channel配置
selector.mapping.*：匹配到的channel的配置

6. Sink Processor负载均衡
a1.sinkgroups=g1
a1.sinkgroups.g1.sinks=k1 k2
a1.sinkgroups.g1.processor.type=load_balance
a1.sinkgroups.g1.processor.backoff=true
a1.sinkgroups.g1.processor.selector=round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut=30000

backoff：开启后，故障的节点会列入黑名单，过一定时间再次发送，如果还失败，则等待是指数增长；直到达到最大的时间。
如果不开启，故障的节点每次都会被重试。
selector.maxTimeOut：最大的黑名单时间（单位为毫秒）。

故障转移
a1.sinkgroups=g1
a1.sinkgroups.g1.sinks=k1 k2
a1.sinkgroups.g1.processor.type=failover
a1.sinkgroups.g1.processor.priority.k1=10
a1.sinkgroups.g1.processor.priority.k2=5
a1.sinkgroups.g1.processor.maxpenalty=10000
#maxpenalty 对于故障的节点最大的黑名单时间 (in millis 毫秒)


今日小作业：
4. flume 和 kafka 的区别

hive的底层实现原理

hive和hbase的区别  以及为什么hive是数据仓库

spark 消费 kafka时 会出现的问题   和  spark消费kafka时 是如何消费的

hive 和spark的运行机理有什么不同

hive 实现 查询某字段连续出现    查询列表时间

作者：黑马程序员大数据培训学院

首发： http://java.itheima.com