Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。Ganglia集群主要用来监控系统性能，它由RRDTool工具处理数据，并生成相应的监控相关的图形，并提供一个Web控制台来直观地提供给客户端，管理员可以通过丰富的图形来对整个被监控的物理机器集群节点进行评估。Ganglia能够监控的内容很多，如CPU利用率 、Mem利用率、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。需要知道的是，Ganglia可以做系统监控，但是，目前它不支持服务器异常或故障报警功能。 Ganglia监控集群架构 下面，我们参考《Monitoring with Ganglia》一书，对Ganglia的架构有一个基本了解，然后在配置使用过程中，能够更好地理解监控的基本原理。下面是Ganglia的整体架构，如图所示： 通过上图我们可以看到，Ganglia集群主要是由gmond、gmetad、gweb这3个守护进程组成，其中gmetad进程相当于监控集群的Master，而多个gmond
按月份浏览文章: 七月 2014
Hive-0.12.0的Web接口HWI安装、配置、改造及使用
使用Hive的HWI接口，可以通过在Web页面上提交HQL查询操作，并浏览查询结果数据。默认情况下，HWI只支持浏览结果数据，不能够下载查询结果文件（当然，HWI可能也是考虑通过Web下载大量的结果数据，对服务器造成压力，或者处于安全方面的考虑）。我们对HWI进行了简单的改造，改造内容主要是增加了一个内置的文件服务器，可以通过页面进行查询，然后下载结果文件。 HWI安装配置 首先，要保证Hadoop集群正常运行，Hive能够正常使用。 先要安装Ant，如下所示： wget http://mirrors.hust.edu.cn/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz tar xvzf apache-ant-1.9.4-bin.tar.gz ln -s /usr/local/apache-ant-1.9.4-bin /usr/local/ant 修改Hive的环境配置文件hive-env.sh，增加如下配置内容： export ANT_LIB=/usr/local/ant 将如下JAR文件拷贝到${HIVE_HOME}/lib目录下面： // 用于编译JSP文件 jasper-compiler-5.5.23.jar jasper-runtime-5.5.23.jar // 替换默认的servlet-api-2.5-20081211.jar，我使用的是apache-tomcat-7.0.53/lib下面的s