月归档:2015年08月

hive更换正则切分到分隔符

线上会把nginx日志送入hdfs中供hive查询,之前nginx的日志格式是传 … 继续阅读

发表在 大数据 | 留下评论

linux输入特殊字符

小要点,每次都要google去,因为不常用   如图是一张ascii表 … 继续阅读

发表在 好玩的linux | 留下评论

hive权限控制hdfs实现

hive权限控制可以使用hive自带的权限控制,也可以用hdfs来做权限控制 h … 继续阅读

发表在 大数据, 好玩的linux, 未分类 | 留下评论

随手发一个监控kafka topic group读取进度的脚本

脚本如下,十秒钟读取一次数据。group可以通过参数传递,循环检测十秒钟消费进度 … 继续阅读

发表在 大数据, 好玩的linux | 留下评论

sqoop导入数据库到hive

sqoop是一个传统数据库跟大数据之间的桥梁,可以从传统数据库导入数据到hdfs … 继续阅读

发表在 大数据 | 留下评论