大数据基础设计报告(DOC 26页)
所属分类：大数据
文件大小：1078 KB
下载要求：10 学币或VIP
点击下载
资料简介：
（10）查询搜索过”仙剑奇侠传“的uid，并且次数大于3
（1）查询总条数
（1）编写1个脚本sogou-log-extend.sh，
其中sogou-log-extend.sh的内容为：
（2）非空查询条数
（3）无重复总条数
（4）独立UID总数
（5）查询频度排名（频度最高的前50词）
（6）查询次数大于2次的用户总数
（7）查询次数大于2次的用户占比
（8）Rank在10以内的点击次数占比
（9）直接输入URL查询的比例
1.将原始数据加载到HDFS平台
1.将原始数据加载到HDFS平台。
1.查看数据库：showdatabases;
2.将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段
2.创建数据库:createdatabasesogou;
2.将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段。
3.将处理后的数据加载到HDFS平台
3.使用数据库:usesogou;
3.将处理后的数据加载到HDFS平台。
4.以下操作分别通过MR和Hive实现
4.以下操作分别通过MR和Hive实现。
4.查看所有表：showtables;
5.将4每步骤生成的结果保存到HDFS中
..............................
精品资料网 m.cnshu.cn
Copyright © 2004- 粤ICP备10098620号-1
