本节来介绍Spark实战案例:通过分析网站的访问日志,来求出网站中访问量最高的两个页面。
access_log.txt 提取码:xxjc
本节用到的日志文件格式如下所示:
192.168.88.1 - - [30/Jul/2017:12:54:52 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242 192.168.88.1 - - [30/Jul/2017:12:54:53 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242 192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241
使用WinSCP工具将$SPARK_HOME/jars目录下的所有Jar包下载到本地目录如E:/sparklib中。
- 打开IDEA开发工具,选择“Create New Project”,选择Scala下面的sbt工程,Next
- 工程名字:WebAccessCount,选择一个保存位置,比如:E:/WebAccessCount,Java版本和Scala版本需要和Spark集群环境中的保持一致,sbt版本保持默认,Finish
- 在WebAccessCount工程上右键单击,New,Directory,输入目录名:lib,OK
- 将刚才下载好的所有Jar包,复制粘贴到lib文件夹,在弹出的确认对话框中单击OK
- 选中lib目录下的所有的Jar包,右键,选中“Add as Libirary”,在弹出的对话框中输入库的名字,比如:spark_jars,OK
注意:IDEA构建工程的过程比较慢,请耐心等待。只有等工程构建完成后,工程的结构才会完整,写代码时才会有智能提示。可以通过更改sbt源的方式来提高构建速度,这里不作介绍。
- 在WebAccessCount工程下的src/main/scala目录上右键,New,Package:demo,OK
- 在demo下面New,Scala Class:WebAccessCount.scala,种类选择:Object,OK
- 编写WebAccessCount.scala代码如下:
以上就是本篇文章【Spark从入门到精通19:Spark实战案例之统计网站访问量】的全部内容了,欢迎阅览 ! 文章地址:http://ktsh.xhstdz.com/news/643.html
栏目首页
相关文章
动态
同类文章
热门文章
网站地图
返回首页 物流园资讯移动站 http://ktsh.xhstdz.com/mobile/ , 查看更多