ximeng1234
- 浏览: 162918 次
-
最新评论
-
西巴拉古呀那：
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
小灯笼：
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
ximeng1234：
spark spark-1.6.1-bin-hadoop2.6 ...
Spark On YARN 环境搭建
文章列表
Mysql分表和分区的区别
- 博客分类：
- Mysql
一，什么是mysql分表，分区 什么是分表，从表面意思上看呢，就是把一张表分成N多个小表，具体请看mysql分表的3种方法 什么是分区，分区呢就是把一张表的数据分成N多个区块，这些区块可以在同一个磁盘上，也可以在不同的磁盘上，具体请参考mysql分区功能详细介绍，以及实例 二，mysql分表和分区有什么区别呢 1，实现方式上 a），mysql的分表是真正的分表，一张表分成很多表后，每一个小表都是完正的一张表，都对应三个文件，一个.MYD数据文件，.MYI索引文件，.frm表结构文件。
Sql代码
SQL解析器的性能测试
- 博客分类：
- Mysql
文章来自：http://blog.csdn.net/wind520/article/details/42109061
对同一个sql语句，使用3种解析器解析出ast语法树（这是编译原理上的说法，在sql解析式可能就是解析器自定义的statement类型），执行100万次的时间对比。
[java] view plaincopy
package demo.test;
import java.io.StringReader;
import java.sql.SQLSyntaxErrorException;
import net.sf.j ...
文章来自：http://blog.javachen.com/2014/08/04/import-data-to-hive-with-sqoop/
Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例，实现关系数据库导入到 hdfs 和 hive。
1. 安装 Sqoop
使用 rpm 安装即可。
yum install sqoop sqoop-metastore -y
安装完之后需要下载 mysql jar 包到 sqoop 的 lib 目录。
这里使用 hive 的 metastore 的 ...
hiveclient所在主机的jdk 1.7_51，hive 0.12和hadoop 2.3.0是从服务器端拷贝过来的，环境变量一切OK. 执行连接报了Invalid URL的错误： $ beeline Beeline version 0.12.0 by Apache Hive beeline> !connect jdbc:hive2://cloud011:10000 scan complete in 2ms Connecting to jdbc:hive2://cloud011:10000 Enter username for jdbc:hive2://cloud011:10000 ...
数据库写入性能测试小工具
- 博客分类：
- 测试工具
文章来自：http://blog.csdn.net/kongxx/article/details/42360663
今天工作需要要写一个小工具来测试一下数据库的写入性能，需要支持多并发，并且支持调整事务提交记录大小，所以就用Java写了一个，就一个类，比较简单但是基本功能都有了，下面看看代码实现
[java] view plaincopyprint?
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
impo ...
关闭SELINUX
#Disable SeLinuxsetenforce 0if [ -s /etc/selinux/config ]; then sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/configfi
查看SELINUX
getenforce
此时SELINUX状态为：Permissive已经可以满足需求
如果SELINUX已经加载则需要重启才能彻底关闭则需重启系统
步骤如下：
查看SELinux状态：
1、/usr/sbin/sestatus -v ##如果 ...
原文来自 http://www.gpfeng.com/?p=657&utm_source=tuicool
写在前面
14年中换了一份工作，出国游荡了一阵子，目前工作离数据库内核远了点，离业务近了些，业务层面碰到的‘高深’技术问题也少了，旅行后发现人也懒了不少，导致博 ...
使用Maven搭建Hadoop开发环境
- 博客分类：
- Hadoop
文章来自：http://blog.csdn.net/kongxx/article/details/42339581
关于Maven的使用就不再啰嗦了，网上很多，并且这么多年变化也不大，这里仅介绍怎么搭建Hadoop的开发环境。
1. 首先创建工程
[plain] view plaincopyprint?
mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -Dinterac ...
文章来自：http://my.oschina.net/lanzp/blog/398644
在 此之前我们使用Mysql作为数据源，但发现这数据增长速度太快，并且由于种种原因，因此必须使用HBase，所以我们要把Mysql表里面的数据迁移到 HBase中，在这里我就不讲解、不争论为什么要使用HBase，HBase是什么了，喜欢的就认真看下去，总有些地方是有用的
我们要做的3大步骤：
新建HBase表格。
把MYSQL数据迁移到HBase中。
在Java Web项目中读取HBase的数据。
先介绍一下必要的一 ...
在本系列的 Spring Roo 简介，第 1 部分：从源代码构建 和 Spring Roo 简介，第 2 部分：使用 Spring Roo 开发应用程序 中，我们使用 Spring Roo 1.1 开发了一个会议应用程序。在 Spring Roo 简介，第 3 部分：开发 Spring Roo 的附加组件 和 Spring Roo 简介，第 5 部分：编写 Spring Roo 的高级附加组件和包装器附加组件 中，我们开发了 Spring Roo 附加组件。而在这两部分之间的 Spring Roo 简介，第 4 部分：用 Spring Roo 和 Cloud Foundry 在云中快速开发应 ...
本系列 “Spring Roo 简介” 的 Spring Roo 简介，第 3 部分：开发 Spring Roo 的附加组件 讨论了 Spring Roo 附加架构，以及如何使用 addon create 命令创建国际化的、简单的附加组件。本文主要关注 Spring Roo 支持的其余两种类型的附加组件，即高级附加组件和包装器附加组件。建议您在开始阅读本文之前先阅读第 3 部分的文章。
高级附加组件的简介
高 级附加组件允许 Spring Roo 执行简单附加组件所能执行的一切操作，例如，利用依赖关系或插件更新 Maven POM 文件，更新或添加配置文件，增强现有的 Java 类型，并使 ...
适合国内网速的CDH5安装
- 博客分类：
- Hadoop
0.集群规划
说明：由于CDH可以方便的动态添加删除主机，动态改变主机上的服务，所以后面再对各机器上跑得服务进行分配。
共三台机器
操作系统: centos6.5
机器名：work01、work02、work03
work03运行Cloudera Manager
在本 “Spring Roo 简介” 系列文章的 第 1 部分 和 第 2 部分 中，我们 使用 Spring Roo 从头开始构建了一个功能完整的企业应用程序。在那时，我曾打算写一篇关于 Spring Roo 与 Google App Engine 平台即服务 (PaaS) 集成的文章。Spring Roo 支 ...
入门
在本 “Spring Roo 简介” 系列的 Spring Roo 简介，第 1 部分：从源代码构建 和 Spring Roo 简介，第 2 部分：使用 Spring Roo 开发应用程序，我们 使用 Spring Roo 从头开始构建了一个功能完整的企业应用程序。前两篇 文章专注于使用 Spring Roo 的快速应用开发环境构建 Web 应用程序。我们涵盖了 许多功能，如：JPA、Selenium 测试、Spring Security、电子邮件 集成、Spring Roo 社交功能、数据库逆向工程等。 现在我们将看一看 Spring Roo 的 附加架构。然后我们将使用 addon ...
在此 Spring Roo 系列的 Spring Roo 简介，第 1 部分：从源代码构建 中，我们使用 Spring Roo 构建了一个小的企业会议应用程序。此处，我们将使用 Spring Roo 将简单的 CRUD web 应用程序扩展成一个成熟的企业应用程序。开始之前，要确认 ...