行而学之

罗学焕

Scala和Java二种方式实战Spark Streaming开发

一、Java方式开发 1、开发前准备假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算，需要注意事项：设置本地master，如...

Posted by luoxuehuan on April 21, 2016

基于HDFS的SparkStreaming案例实战和内幕解析

概要本节主要讲解在开发环境中编写SparkStreaming代码监控hdfs目录，实现实时wordCount计算。先通过Java方式演示过程，并在文末提供Scala版本代码。一、环境准备 1.启动Hadoop集群 cd /usr/local/hadoop/hadoop-2.6...

Posted by luoxuehuan on April 19, 2016

Spark入门之wordcount

package com.core import org.apache.spark.{SparkConf, SparkContext} /** * Created by lxh on 2016/3/14. * 查看源码快捷键：CTRL + N * */ object Wor...

Posted by luoxuehuan on April 14, 2016

Linux基础命令学习（1）

基础操作修改机器名：vim /etc/hostname在文件中修改机器名称为我们想要的名称：hulb 然后关机： shutdown –h now 重启： reboot –h now 查看ip：ifconfig 通过vim /etc/hosts来建立域名和ip之间的映射关系，访问...

Posted by luoxuehuan on March 19, 2016

Spark程序运行报错（1）

报错内容： System memory 259522560 must be at least 4.718592E8. Please use a larger heap size. 解决： Window——Preference——Java——Installed JREs——选中一个Jr...

Posted by luoxuehuan on March 17, 2016

teaM项目总结（1）

【1】注册格式验证，正则表达式[各种常用表达式，及使用方法] 重复验证，ajax css样式修改、提示框【2】登陆密码验证，传输安全性，MD5 Session… Shiro 过滤器，安全认证，权限获取【3】密码找回邮箱发送手机短信发送、http请求验证码验证机制存s...

Posted by luoxuehuan on November 26, 2015

Hibernate实现不带条件的简单分页查询

Hibernate实现不带条件的简单分页查询。主要用到： Query query = getSessionDao().createQuery(hql1); 及两个分页条件： query.setFirstResult(firstPage*pageSize);//...

Posted by luoxuehuan on August 19, 2015

spark调优-jvm调优原理以及降低cache操作的内存占比

一、性能调优分类： 1.常规性能调优：分配资源，并行度。。等。 2.JVM调优：JVM相关的参数。通常情况下，如果你的硬件配置，基础的JVM的配置，都ok的话，JVM通常不会造成太严重的性能问题，反而更多的是，在troubleshooting中，JVM占了很重要的位置！！ JVM...

Posted by luoxuehuan on April 2, 2015