博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop综合大作业
阅读量:6555 次
发布时间:2019-06-24

本文共 439 字,大约阅读时间需要 1 分钟。

Hadoop综合大作业 要求:

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

选一篇小说写

启动hadoop

Hdfs上创建文件夹

上传文件至hdfs

启动Hive

创建原始文档表

导入文件内容到表nodacs并查看

用HQL进行词频统计,结果放在表words里

查看统计结果

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

我爬取的京剧网信息词频统计后放到op.csv文件中:

将文件保存在邮箱,下载到虚拟机中,复制并改为csv模式

将本地系统hadoop文件夹里的op.csv上传至hdfs的openginput文件夹中:

查看hdfs上的op.csv文件前20条数据的内容:

启动Hive

在数据库hive里创建文档表op:

导入文件内容到表op:

查看表的前20条数据:

 

转载于:https://www.cnblogs.com/candyxue/p/9084872.html

你可能感兴趣的文章
javascript创建对象(二)
查看>>
开关WIFI脚本
查看>>
win7 64位_VS2010的fftw3配置
查看>>
Java02-方法 课后作业
查看>>
hdu 1003 Max Sum (DP)
查看>>
学习进度表_二周
查看>>
tag标签
查看>>
TTS语言 录音功能
查看>>
MySQL 查询最大最小值优化
查看>>
软件工程的实践项目课程的自我目标
查看>>
Weak is not weak,Strong is not strong
查看>>
setsockopt 详解
查看>>
首次使用AWS服务器EC2
查看>>
POJ-1860-Currency Exchange
查看>>
[深度学习]受限玻尔兹曼机生成手写数字训练样本原理
查看>>
莫比乌斯反演
查看>>
Django Hello World
查看>>
分析rails日志,计算响应率
查看>>
PHP 提交checkbox表单时 判断复选框是否被选中
查看>>
day12-sqlalchemy 常用语法
查看>>