zhouwenjian
- 浏览: 14225 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
1. jstat -gc pid可以显示gc的信息，查看gc的次数，及时间。
其中最后五项，分别是young gc的次数，young gc的时间，full gc的次数，full gc的时间，gc的总时间。
2.jstat -gccapacity pid可以显示，VM内存中三代（young,old,perm）对象的使用和占 ...
- 2013-06-18 17:02
- 浏览 192
- 评论(0)
Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。
配置详解
以下是从storm的backtype.storm.Config类中搜集的所有storm支持的配置项(Based storm 0.6.0)：
配置项
配置说明
storm.zookeeper.port
ZooKeeper连接端口
storm.local.dir
storm使用的本地文件系统目录(必须存在并且storm进程可读写)
storm.cluster.mode
...
- 2013-05-23 11:13
- 浏览 267
- 评论(0)
关闭nimbus相关进程
kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'`关闭supervisor上的所有storm进程
kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`Command line client
This page describes all the commands that are possible with the "storm&qu ...
- 2013-05-23 10:50
- 浏览 277
- 评论(0)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。
值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利用其提供的一系列API接口（或者称为原语集），摸索出来的典型使用方法。因此，也非常欢迎读者分享你在ZK使用上的奇技淫巧。
ZooKeeper典型应用场景一览
- 2013-05-20 18:47
- 浏览 171
- 评论(0)
Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。
Transactional Topology目前已经不再维护，由Trident来实现事务性topology，但是原理相同。
5.1一致性事务的设计
Storm如何实现即对tuple并行处理，又保证事务性。本节从简单的事务性实现方法入手，逐步引出Transactional Topology的原理。
5 ...
- 2013-05-14 10:44
- 浏览 317
- 评论(0)
4.1 简介
storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。
4.2 理解消息被完整处理
一个消 ...
- 2013-05-14 10:43
- 浏览 234
- 评论(0)
3.1 Storm集群组件
Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：
1. 主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。
2. 每个工作节点（Work Node）上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个 ...
- 2013-05-14 10:31
- 浏览 231
- 评论(0)
在运行一个Storm任务之前，需要了解一些概念：
Topologies
Streams
Spouts
Bolts
Stream groupings
Reliability
Tasks
Workers
Configuration
- 2013-05-14 10:26
- 浏览 173
- 评论(0)
1.1 实时流计算
互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。
随着互联网的更进一步发展，从Portal信息浏览型到Search信息搜索型到SNS关系交互传递型，以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对效率的要求让大家对于实时性的要求进一步提升，而信息的交互和沟通正在从 ...
- 2013-05-14 10:23
- 浏览 203
- 评论(0)
Pluginssites
OpenExplorer :https://github.com/downloads/samsonw/OpenExplorer/OpenExplorer_1.5.0.v201108051513.jar
Maven2eclipse : http://download.eclipse.org/technology/m2e/releases
PyDev :http://pydev.org/updates
Run-jetty-run :http://run-jetty-run.googlecode.com/svn/trunk/updatesite/
Subclipse ...
- 2013-04-19 17:23
- 浏览 170
- 评论(0)
1. 全文检索的基本原理
Lucene 是一个高效的，基于Java 的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。
什么叫做全文检索呢？这要从我们生活中的数据说起。我们生活中的数据总体分为两种：结构化数据和 ...
- 2013-04-18 16:47
- 浏览 210
- 评论(0)
svn基本的目录结构：
svn://proj/
|
+-trunk
+-branches
+-tags
1.0开发，做dev1.0的branch
此时的目录结构svn://proj/
+trunk/ (不负担开发任务)
+branches/
+dev_1.0 (copy from trunk)
+tags/
1.0开发完成，merge dev1.0到trunk
此时的目录结构svn://proj/
+trunk/ (merge from branch dev_1.0) ===>测试，打tag或者修改合并后的bug，担负bug代码修改
+br ...
- 2013-04-18 16:42
- 浏览 293
- 评论(0)