当才华还撑不起野心时,那就应该静下心来学习; 当能力还驾驭不了目标时,那就应该沉下心来历练;
sungang_1120 · 共 312 篇文章
Spring Cloud 架构,例子
Genesis. Is a Spring Cloud Project Genesis 中文意思: 起源, 哈哈哈哈...... 技术架构 genesis 是一个基于Spring cloud(Camden.RELEASE) Spring Boot(1.4.1.RELEASE) Mybatis(3.3.0) 通用Mapper 通用分页Pagehelper完成的一个基础组件架构,后面会持续更新... MAVEN模块说明 1. 基础组件说明 项目名称 端口 描述 URL genesis-common 无 公共模块(工具类,资源......) 无 genesis-core 无 核心代码 无 genes…
2016-10-31 16:17 · 细细品味-Java · 细细品味-微服务 · 细细品味-Spring Boot · 评论(0)
换位思考真的是一个很好的习惯
换位思考真的是一个很好的习惯。 换位思考,顾名思义就是换一个位置、换到对方的位置来思考问题。 在工作中,换位思考能够让我们明白对方、尤其是合作伙伴和上司的意思,从而发现事实的真相,最直截了当、最快速的解决掉问题;而不是陷入沟通不顺的境地、因为没能明白对方意思而不能完工甚至做了很多的无用功。在商业竞争和合作上则达到“知己知彼、百战百胜”的高度。 在交往中,换位思考能够给自己建立起一个良好的口碑和优秀的人际关系,因为一旦做到了这一点。便不会有人觉得你自私、自大、平庸、攻于心计、缺乏能力、难以相处等等。因为,当你每次换到对方的角度来思考后,你的所作所为都只可能让周围的人觉得你豁达、谦虚、不凡、为人…
2015-12-16 13:49 · 随笔小记 · 评论(0)
合并HDFS和本地文件系统中的小文件
众所周知,HDFS中过多的小文件,会给NameNode造成很大的压力,所谓的小文件,是指远远小于文件块大小的文件。 在使用HDFS的过程中,应尽量避免生成过多的小文件。 本文以TextFile为例,介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中,对小文件的合并方法 将本地的小文件合并,上传到HDFS 假设存放在本地的数据由很多个小文件组成,需要上传到HDFS。一般的做法是在本地使用脚本、程序先把小文件合并后再上传。 其实没有必要,HDFS中提供了一个很有用的命令 appendToFile,就可以解决这个问题。 假设本地有两个小文件1.txt和2…
2015-12-09 13:24 · 细细品味-hadoop · 细细品味-hdfs · 评论(0)
使用flume日志采集直接将采集数据导入hive
今天给大家分享下 使用flume采集日志,直接将日志导入对应的hive表中,然后使用hive进行日志分析 下面就以apache access log为例 具体使用hive的外部表还是普通的表,个人决定哈 我这里就以普通表来讲解,首先我们创建一个hive表(注:此表我是从hive官网上直接拷贝修改了下表名,哈哈) 1,首先进入hive 命令行模式 我创建了一个自己的数据库 create database hive_1208; 然后使用该数据库: use hive_1208; 直接执行建表语句: CREATE TABLE td_log_analyze( host STRING, identity…
2015-12-08 13:34 · 细细品味-hadoop · 细细品味-hive · 细细品味-flume · 细细品味-hdfs · 评论(0)
ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n
今天使用flume采集apache access log到hive表中,然后使用hiveQL进行日志分析,出现错误: 需要修改 1,HIVE_HOME/conf/hive-env.sh 加上HADOOP_HOME=you home 2,HIVE_HOME/conf/hive-site.xml 加上 <property> <name>hive.aux.jars.path</name> <value>file:///usr/local/hive-0.13.0/lib/hive-contrib-0.13.0.jar</value> <description>Added by tiger.zeng …
2015-12-08 13:13 · 细细品味-hadoop · 细细品味-hive · 评论(0)
total number of created files now is 100385, which exceeds 100000. Killing the j
今天将临时表里面的数据按照天分区插入到线上的表中去,出现了 Hive 创建的文件数大于100000个的情况,我的SQL如下: hive> insert overwrite table test partition(dt) > select * from table_tmp; table_tmp表里面一共有570多G的数据,一共可以分成76个分区,SQL运行的时候创建了2163个Mapper,0个Reducers。程序运行到一般左右的时候出现了以下的异常: [Fatal Error] total number of created files now is 100385, which exce…
2015-12-07 10:17 · 细细品味-hadoop · 细细品味-hive · 评论(0)
hbase shell出现ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException
今天安装hbase HA之后启动hbase shell之后 输入list出现以下异常信息: 不过前提要保证你hbase相关进程都是正常运行 然后查看hbase 配置的logs目录出现 去google 了一下发现是 这是由于hadoop启动是还处在安全模式造成的 通过下面名查看 果然处于安全模式开启状态 hadoop dfsadmin -safemode get hadoop dfsadmin -safemode leave 关闭 之后再执行hbase shell之后一些操作正常运行
2015-11-27 13:52 · 细细品味-hbase · 细细品味-hadoop · 评论(0)
TCMalloc优化Nginx、MySQL、Redis内存管理
TCMalloc优化Nginx、MySQL、Redis内存管理 TCMalloc(Thread-Caching Malloc)与标准glibc库的malloc实现一样的功能,但是TCMalloc在效率和速度效率都比标准malloc高很多。TCMalloc是google-perftools工具中的一个(gperftools四个工具分别是:TCMalloc、heap-checker、heap-profiler和cpu-profiler),这个工具是开源的,以源码形式发布。如果觉得自己维护一个内存分配器麻烦的话,可以考虑将TCMalloc静态库连接到你的程序中。使用的时候和glibc中的mallo…
使用Maven Jenkins和JMeter自动化测试
有两个插件能够实现在Maven build集成Jmeter测试, jmeter-maven-plugin 和 chronos-maven-plugin . 选择哪一个取决于情况,下面是一些判断标准: 该插件不应该依赖于本地JMeter的安装。 它必须能够从命令行启动JMeter测试(无GUI)。 JMeter的图形用户界面也应该通过插件(例如,通过一个单独的Maven目标)直接实现。 它包含JMeter的插件。 该插件应该产生有意义的报告。 第一第二条两个都满足,jmeter-maven-plugin可以在无图形情况下使用一个简单的附加依赖项kg.apc:jmeter-plugins直接使用…
2015-10-19 14:36 · 细细品味-Java · 评论(0)
GITHUB干货系列:JAVA 资源集合- GITHUB.COM
转载于: http://www.blogjava.net/xiaomage234/archive/2014/11/11/419933.html akullpp 在 Github 上发起维护的一个 Java 资源列表,内容包括:构建工具、数据库、框架、模板、安全、代码分析、日志、第三方库、书籍、Twitter、Java站点等等。 包括: 构建工具 字节码操作 代码分析s Compiler-compiler 持续集成 数据库 日期和时间 依赖注入 开发 分布式应用 分布式 文档处理 游戏开发 GUI 高性能 IDE Imagery JSON JVM 和 JDK 日志 机器学习 Messaging…
2015-04-02 14:50 · 细细品味-Java · 评论(0)
使用logback.xml配置来实现日志文件输出
Logback是由 log4j 创始人设计的又一个开源日志组件。logback当前分成三个模块:logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 改良版本。此外logback-classic完整实现SLF4J API使你可以很方便地更换成其它日志系统如log4j或JDK14 Logging。logback-access访问模块与Servlet容器集成提供通过Http来访问日志的功能。 logback.xml配置如下: <?xml version="1.0…
2014-08-15 12:59 · 细细品味-Java · 评论(0)
Mysql 列转行统计查询 、行转列统计查询
Mysql 列转行统计查询 、行转列统计查询 -- ---------------------------- -- Table structure for `TabName` -- ---------------------------- DROP TABLE IF EXISTS `TabName`; CREATE TABLE `TabName` ( `Id` int(11) NOT NULL AUTO_INCREMENT, `Name` varchar(20) DEFAULT NULL, `Date` date DEFAULT NULL, `Scount` int(11) DEFAULT …
2014-07-29 16:57 · 细细品味-Mysql · 评论(0)
mysql中用命令行复制表结构的方法
mysql中用命令行复制表结构的方法: 1.只复制表结构到新表 CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2 或者 CREATE TABLE 新表 LIKE 旧表 2.复制表结构及数据到新表 CREATE TABLE 新表 SELECT * FROM 旧表 3.复制旧表的数据到新表(假设两个表结构一样) INSERT INTO 新表 SELECT * FROM 旧表 4.复制旧表的数据到新表(假设两个表结构不一样) INSERT INTO 新表(字段1,字段2,.......) SELECT 字段1,字段2,...... FROM 旧表
2014-07-04 17:32 · 细细品味-Mysql · 评论(0)
Spring3 的 @value
在spring 3.0中,可以通过使用@value,对一些如xxx.properties文件 中的文件,进行键值对的注入,例子如下: 1 首先在applicationContext.xml中加入: <beans xmlns:util="http://www.springframework.org/schema/util" xsi:schemaLocation="http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-3.1.xsd"> <util:pro…
2014-06-27 13:15 · 细细品味-Spring · 评论(0)
Linux VI和VIM命令搜索单词和替换单词
我们在编辑文件时常常需要搜索单词和替换单词,VI编辑器也提供了搜索和替换的功能。首先按下斜杠(/), 前提是VI编辑器在一般模式下,也就是需要刚刚进入VI命令或按"ESC"后的模式,光标会自动移动到编辑器下方的命令行,用户输入搜索的字符串,按下“Enter”开始搜索,VI编辑器可能用以下三种方式相应用户的搜索。 1、当满足搜索条件的字符串出现在当前光标位置后面时,VI编辑器将光标跳转到第一个满足搜索条件的位置。 2、当满足搜索条件的字符串出现在当前光标位置前面时,VI编辑器将跳转带从开头开始的第一个满足搜索条件 的位置 3、文件中不存在满足条件的字符串时,VI编辑器提示错误信息。 下图1-1…
2014-06-25 11:58 · 细细品味-Linux · 评论(0)