2018优就业人保合作
400-650-7353
首页 > IT就业指南 > 面试题 > 【大数据面试题】互联网公司常见的大数据面试题

【大数据面试题】互联网公司常见的大数据面试题

2018-07-13 13:51:35 来源:互联网 手机端入口

随着云时代的到来,大数据相关岗位的需求量也越来越大,为了更好的让大数据人找到自己理想的工作,下面优就业给大家分享几道大数据面试题,欢迎阅读。

1、fsimage和edit的区别?

大家都知道namenode与secondary namenode 的关系,当他们要进行数据同步时叫做checkpoint时就用到了fsimage与edit,fsimage是保存最新的元数据的信息,当fsimage数据到一定的大小事会去生成一个新的文件来保存元数据的信息,这个新的文件就是edit,edit会回滚最新的数据。

2、列举几个配置文件优化? 

1)Core-site.xml 文件的优化

a、fs.trash.interval,默认值: 0;说明: 这个是开启hdfs文件删除自动转移到垃圾箱的选项,值为垃圾箱文件清除时间。一般开启这个会比较好,以防错误删除重要文件。单位是分钟。

b、dfs.namenode.handler.count,默认值:10;说明:hadoop系统里启动的任务线程数,这里改为40,同样可以尝试该值大小对效率的影响变化进行最合适的值的设定。

【大数据面试题】互联网公司常见的大数据面试题

c、mapreduce.tasktracker.http.threads,默认值:40;说明:map和reduce是通过http进行数据传输的,这个是设置传输的并行线程数。

3、datanode 首次加入 cluster 的时候,如果 log 报告不兼容文件版本,那需要namenode 执行格式化操作,这样处理的原因是?

1)这样处理是不合理的,因为那么 namenode 格式化操作,是对文件系统进行格式化,namenode 格式化时清空 dfs/name 下空两个目录下的所有文件,之后,会在目录 dfs.name.dir 下创建文件。

2)文本不兼容,有可能时 namenode 与 datanode 的 数据里的 namespaceID、clusterID 不一致,找到两个 ID 位置,修改为一样即可解决。

相关推荐:

【大数据培训教程】把握时代风口,挑战大数据高薪

【大数据培训班】大数据课程更新迭代,师资匠心研造

北京大数据培训怎么样?北京大数据培训多少钱?

免责声明:本文来源于网络,由网友提供或网络搜集,仅供个人交流学习参考使用,不涉及商业盈利目的。如有版权问题,请联系本站管理员予以更改或删除。谢谢合作!

关键词: 大数据面试题

相关推荐

 
 
咨询中心
优就业微信扫一扫
微信扫一扫

400-650-7353

加入官方微博