ximeng1234
- 浏览: 162903 次
-
最新评论
-
西巴拉古呀那：
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
小灯笼：
基于Spring Boot框架企业级应用系统开发全面实战网盘地 ...
使用 Spring Boot 快速构建 Spring 框架应用 -
ximeng1234：
spark spark-1.6.1-bin-hadoop2.6 ...
Spark On YARN 环境搭建
文章列表
Spark On YARN 环境搭建
- 博客分类：
- spark
==================================================================================
一、基础环境
==================================================================================
1、服务器分布
192.168.10.84 主名字节点
192.168.10.84 备名字节点
192.168.10.83 数据节点1
192.168.10.85 数据节点2
---------------------------------- ...
hadoop 2.0 详细配置教程
- 博客分类：
- Hadoop
创建账户
使用root登 陆 所有机器后，所有的机器都 创建 hadoop 用 户
useradd hadoop
passwd hadoop
此 时 在 /home/ 下就会生成一个 hadoop 目 录 ，目 录 路径 为 /home/hadoop
创建相关的目录
定 义 需要数据及目 录 的存放路径
定 义 代 码及工具 存放的路径
mkdir -p /home/hadoop/source
mkdir -p /home/hadoop/tools
定 义 数据 节 点存放的路径到跟目 录 下的hadoop文件夹, 这 里是数据 节 点存放目 录 需要有足够的空 间 存放
mkdir ...
1、安装JDK
2、安装sbt
3、安装git
git配置
git config --global user.name [username]
git config --global user.email [email]
git https配置
https方式每次都要输入密码，按照如下设置即可输入一次就不用再手输入密码的困扰而且又享受https带来的极速
设置记住密码（默认15分钟）：
git config --global credential.helper cache
如果想自己设置时间，可以这样做：
...
grok-patterns
地址：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME}HTTPDUSER %{EMAILADDRESS}|%{USER}INT (?:[+-]?(?:[ ...
转自：http://bigbo.github.io/pages/2015/08/07/logstash_kafka_new/
通过kafka传输
Kafka 是一个高吞吐量的分布式发布订阅日志服务，具有高可用、高性能、分布式、高扩展、持久性等特性。目前已经在各大公司中广泛使用。和之前采用 Redis 做轻量级消息队列不同，Kafka 利用磁盘作队列，所以也就无所谓消息缓冲时的磁盘问题。此外，如果公司内部已有 Kafka 服务在运行，logstash 也可以快速接入，免去重复建设的麻烦。
如果打算新建 Kafka 系统的，请参考 Kafka 官方入门文档：http://kafka.apac ...
rsyslog与Kafka结合使用
- 博客分类：
- Kafka
转自：http://bigbo.github.io/pages/2015/01/21/syslog_kafka/
前言
最近在折腾 Rsyslog ,传输日志,对他怎么说呢,谁用谁知道,我仅仅是了解使用的程度,对于里面的坑以及使用策略还没有那么深入,不过日后会逐步的细化了解,其实现在对于日志传输来过网上一大堆技术方案任你选.但是感觉用rsyslog传输还是最方便,最快捷的.他以不变应万变,看图说话:
可见rsyslog的覆盖面是相当的广泛.奈何近几日,打算把redis替换为 kafka ,本篇主要记录 rsyslog 与
转自：http://bigbo.github.io/pages/2015/02/28/elasticsearch_hadoop/?utm_source=tuicool&utm_medium=referral
elastic与Hadoop的连接
几个月前,由于资源有限,而需求无限,不得已想到es与hadoop的连接,本来想的很好,尝试把HDFS作为es的存储后端,把index存入HDFS中,这样就能节省存储空间了.当然官网也有相关使用配置(这里就不介绍了),经过几天的奋斗还是没能实现当初的想法,也幸亏没实现,实现了性能也是一大坑(猜测性能非常差以至于官方的 elastics ...
CORS（跨域资源共享）简介
- 博客分类：
- Java基础
CORS其实出现时间不短了，它在维基百科上的定义是：跨域资源共享（CORS ）是一种网络浏览器的技术规范，它为Web服务器定义了一种方式，允许网页从不同的域访问其资源。而这种访问是被同源策略所禁止的。CORS系统定义了一种浏览器和服务器交互的方式来确定是否允许跨域请求。 它是一个妥协，有更大的灵活性，但比起简单地允许所有这些的要求来说更加安全。
而W3C的官方文档目前还是工作草案，但是正在朝着W3C推荐的方向前进。
简言之，CORS就是为了让AJAX可以实现可控的跨域访问而生的。
以往的解决方案
以前要实现跨域访问，可以通过JSONP、F ...
引入
使用AES加密时，当密钥大于128时，代码会抛出java.security.InvalidKeyException: Illegal key size or default parameters
Illegal key size or default parameters是指密钥长度是受限制的，java运行时环境读到的是受限的policy文件。文件位于${java_home}/jre/lib/security。这种限制是因为美国对软件出口的控制。
解决方案
去掉这种限制需要下载Java Cryptography Extension (JCE) Unlimite ...
转自：http://www.blogjava.net/libin2722/articles/355631.html
目的：搭建Nginx与tomcat整合，用Nginx代替apache 步骤：一、安装Tomcat和JDK 1、上传apache-tomcat-6.0.18.tar.gz和jdk-6u12-linux-i586.bin至/usr/local2、执行如下命令安装tomcat：
linux服务器校对时间方法
- 博客分类：
- Linux
转自：http://blog.csdn.net/llnara/article/details/8286873
Linux中有个ntp包可以自动校准时间，并且非常好用。Debian系统安装NTP校时包：1 apt-get install ntpdateCentOS系统安装NTP校时包：1 yum install ntp校时命令：1 ntpdate cn.pool.ntp.org如果想每隔一定时间自动校时，只需将上面的命令加入至Cron就行了：1 00 12 * * * /sbin/ntpdate cn.pool.ntp.org
任何企业应用程序都需要处理时间问题。应用程序需要知道当前的时间点和下一个时间点，有时它们还必须计算这两个时间点之间的路 径。使用 JDK 完成这项任务将非常痛苦和繁琐。现在来看看 Joda Time，一个面向 Java™ 平台的易于使用的开源时间/日期库。正如您在本文中了解的那样，Joda-Time 轻松化解了处理日期和时间的痛苦和繁琐。
在编写企业应用程序时，我常常需要处理日期。并且在我的最新项目中 — 保险行业 — 纠正日期计算尤其重要。使用 java.util.Calendar 让我有些不安。如果您也曾使用这个类处理过日期/时间值，那么您就知道它使用起来有多麻烦。因此当我接触到 Jod ...
文章转自：http://www.searchtech.pro/elasticsearch-plugins
Elasticsearch扩展性非常好，有很多官方和第三方开发的插件，下面以分词、同步、数据传输、脚本支持、站点、其它这几个类别进行划分。
分词插件
Combo Analysis Plugin (作者 Olivier Favre, Yakaz)
简介：组合分词器，可以把多个分词器的结果组合在一起。
Smart Chinese Analysis Plugin (作者 elasticsearch 团队)
简介：lucene默认的中文分词器
ICU Analysis pl ...
Sense
为了方便、直观的使用es的REST Api，我们可以使用sense。Sense是Chrome浏览器的一个插件，使用简单。
如图：
Sense安装：
https://chrome.google.com/webstore/detail/sense/doinijnbnggojdlcjifpdckfokbbfpbo
centos 7安装kubernetes集群
- 博客分类：
- Docker
1.关闭firewall使用iptables防火墙
关闭firewall：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
安装iptables防火墙
yum install iptables-services #安装
vi /etc/sysconfig/iptables #编辑防火墙配置文件
# Firewall configuration written by system-config-firewal ...