Hive-0.12.0的Web接口HWI安装、配置、改造及使用

使用Hive的HWI接口,可以通过在Web页面上提交HQL查询操作,并浏览查询结果数据。默认情况下,HWI只支持浏览结果数据,不能够下载查询结果文件(当然,HWI可能也是考虑通过Web下载大量的结果数据,对服务器造成压力,或者处于安全方面的考虑)。我们对HWI进行了简单的改造,改造内容主要是增加了一个内置的文件服务器,可以通过页面进行查询,然后下载结果文件。

HWI安装配置

首先,要保证Hadoop集群正常运行,Hive能够正常使用。
先要安装Ant,如下所示:

wget http://mirrors.hust.edu.cn/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
tar xvzf apache-ant-1.9.4-bin.tar.gz
ln -s /usr/local/apache-ant-1.9.4-bin /usr/local/ant

修改Hive的环境配置文件hive-env.sh,增加如下配置内容:

export ANT_LIB=/usr/local/ant

将如下JAR文件拷贝到${HIVE_HOME}/lib目录下面:

// 用于编译JSP文件
jasper-compiler-5.5.23.jar
jasper-runtime-5.5.23.jar

// 替换默认的servlet-api-2.5-20081211.jar,我使用的是apache-tomcat-7.0.53/lib下面的servlet-api.jar文件
servlet-api.jar

另外,由于Hive 0.12.0版本的HWI的问题,需要将你的${JAVA_HOME}/lib/tools.jar文件也加入到${HIVE_HOME}/lib目录下。这个算是一个Bug吧,大概要到Hive 0.13.0版本能够解决。
接下来,需要在${HIVE_HOME}/conf/hive-site.xml配置文件中,加入如下配置内容:

     <!-- HWI Configuration -->
     <property>
                <name>hive.hwi.listen.host</name>
                <value>0.0.0.0</value>
                <description>This is the host address the Hive Web Interface will listen on.</description>
        </property>
     <property>
                <name>hive.hwi.listen.port</name>
                <value>9999</value>
                <description>This is the port the Hive Web Interface will listen on.</description>
        </property>
     <property>
                <name>hive.hwi.war.file</name>
                <value>/lib/hwi.war</value>
                <description>This is the WAR file with the jsp content for Hive Web Interface.</description>
        </property>

其中,属性hive.hwi.war.file对应的hwi.war文件,我们会在后面改造之后重新打包为该文件,并拷贝到${HIVE_HOME}/lib目录下面。

HWI改造

默认使用HWI是没有查询结果文件下载功能的,可以增加一个文件服务器,用来存放并提供下载查询结果文件。这里,我发现HWI虽然也提供一个Web容器,但是由于封装的太深,所以放弃修改内部源码,而是直接通过我熟悉的方式,使用Jetty实现了一个文件服务,需要用到下面的一些JAR文件:

// 用于文件服务器
jetty-continuation-8.1.0.RC5.jar 
jetty-io-8.1.0.RC5.jar       
jetty-server-8.1.0.RC5.jar  
jetty-util-8.1.0.RC5.jar   
jetty-xml-8.1.0.RC5.jar
jetty-http-8.1.0.RC5.jar         
jetty-security-8.1.0.RC5.jar 
jetty-servlet-8.1.0.RC5.jar 
jetty-webapp-8.1.0.RC5.jar
  • 实现文件服务器

首先,定义一个服务器接口,用来控制文件服务器的启停操作等,如下所示:

package org.shirdrn.hadoop.hive.jetty;

public interface JettyServer {

     int getPort();

     /** Start this server. */
     void start();

     /** Stop this server. */
     void close();

     /** Wait for this server to exit. */
     void join() throws InterruptedException;
    
}

然后,实现一个文件服务器,代码如下所示:

package org.shirdrn.hadoop.hive.jetty;

import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Map.Entry;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.eclipse.jetty.server.Server;
import org.eclipse.jetty.server.handler.DefaultHandler;
import org.eclipse.jetty.server.handler.HandlerList;
import org.eclipse.jetty.server.handler.ResourceHandler;
import org.eclipse.jetty.server.nio.SelectChannelConnector;

/**
* Jetty file server for handling hvie query result file downloading.
*
* @author yanjun
*/
public class JettyFileServer implements JettyServer {

     private static final Log LOG = LogFactory.getLog(JettyFileServer.class);
     private final Server server;
     private final int port = 9722;
    
     static Map<String, String> users = new HashMap<String, String>();
     static Map<String, String> resourceBases = new HashMap<String, String>();
     static {
          users.put("user", "user");
          resourceBases.put("user", "/download");
     }
    
     public JettyFileServer() {
          server = new Server(port);
        SelectChannelConnector connector = new SelectChannelConnector();
        server.addConnector(connector);
        // create file context for each authorized user
        HandlerList handlers = new HandlerList();
        createFileServerContexts(handlers);
       
        handlers.addHandler(new DefaultHandler());
       
        server.setHandler(handlers);
     }

     private void createFileServerContexts(HandlerList handlers) {
          Iterator<Entry<String, String>> iter = users.entrySet().iterator();
          while(iter.hasNext()) {
               Entry<String, String> entry = iter.next();
               String user = entry.getKey();
               String fileBase = resourceBases.get(user);
               ResourceHandler resourceHandler = createResourceHandler(user, fileBase);
               handlers.addHandler(resourceHandler);
          }
     }
    
     private ResourceHandler createResourceHandler(String user, String fileBase) {
          ResourceHandler resourceHandler = new ResourceHandler();
        resourceHandler.setDirectoriesListed(true);
        resourceHandler.setWelcomeFiles(new String[]{ "index.html" });
        resourceHandler.setResourceBase(fileBase);
        return resourceHandler;
     }
    
     @Override
     public int getPort() {
          return port;
     }

     @Override
     public void start() {
          try {
               server.start();
          } catch (InterruptedException e) {
          } catch (Exception e) {
               throw new RuntimeException("Fail to start Jetty file server!", e);
          }
     }

     @Override
     public void close() {
          try {
               server.stop();
          } catch (Exception e) {
               throw new RuntimeException("Fail to stop Jetty file server!", e);
          }         
     }

     @Override
     public void join() throws InterruptedException {
          server.join();
     }

}

这里,为了简化,我没有使用配置的方式,配置文件服务器的resource base目录,直接写死路径在代码里面,默认是/download目录,主要的是,这个目录需要设置一下权限,可以允许任何人写,但是不能覆盖别人已经写的文件(执行查询生成的结果文件):

chmod 1777 /download
  • 增加一个ServletContextListener

主要用来启动文件服务器,实现类FileServerContextListener的代码如下所示:

package org.shirdrn.hadoop.hive.jetty;

import javax.servlet.ServletContextEvent;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

public class FileServerContextListener implements javax.servlet.ServletContextListener {

  protected static final Log l4j = LogFactory.getLog(FileServerContextListener.class
      .getName());
  private JettyServer fileServer;
 
  public void contextInitialized(ServletContextEvent sce) {
     // start Jetty file server
    l4j.info("Start Jetty file server...");
    JettyServer server = new JettyFileServer();
    server.start();
    l4j.info("Jetty file server started!");
  }

  public void contextDestroyed(ServletContextEvent sce) {
     // stop Jetty file server
    fileServer.close();
    l4j.info("Jetty file server stopped!");
  }
}

然后,需要在web.xml文件中增加如下配置:

  <listener>
       <listener-class>org.shirdrn.hadoop.hive.jetty.FileServerContextListener</listener-class>
  </listener> 
  • 增加下载链接,设置DDL、DML操作限制

因为我们可能需要将HWI暴露给组织内部的其他项目团队使用,只允许他们查询,就应该限制Hive的DDL、DML操作,不运行他们建库建表、
这里,需要修改页面session_manage.jsp,修改后的内容,如下所示:

<%@page import="org.apache.hadoop.hive.hwi.*" %>
<%@page import="java.util.Arrays" %>
<%@page import="java.util.List" %>
<%@page errorPage="error_page.jsp" %>
<% HWISessionManager hs = (HWISessionManager) application.getAttribute("hs");; %>

<% HWIAuth auth = (HWIAuth) session.getAttribute("auth"); %>
<% if (auth==null) { %>
     <jsp:forward page="/authorize.jsp" />
<% } %>
<% String sessionName=request.getParameter("sessionName"); %>
<% HWISessionItem sess = hs.findSessionItemByName(auth,sessionName); %>
<% String message=null; %>
<%
     String randomFile = String.valueOf(System.currentTimeMillis()) + ".txt"; // 生成随机文件名称
     String errorFile=request.getParameter("errorFile");
     String resultFile=request.getParameter("resultFile");
     resultFile = "/user/download/" + resultFile; // 结果文件存储的路径
     String query = request.getParameter("query");
     String silent = request.getParameter("silent");
     String start = request.getParameter("start");
    
     // 简单的HQL操作过滤,限制DDL、DML操作
    String[] stoppedKeywords = new String[] {
         "INSERT", "DELETE", "TRUNCATE",
         "CREATE", "DROP", "ALTER",
         "GRANT", "REVOKE", "LOAD"
    };
     List<String> list = Arrays.asList(stoppedKeywords);
    if(query != null) {
            String q = query.toUpperCase();
            String[] a = q.split("\\s+");
            for(String w : a) {
                 if(list.contains(w)) { // 如果包含上述关键词,直接抛出异常,限制执行操作
                      String err = "Permission denied! Excludes operations: " + list;
                      throw new HWIException(err);
                 }
            }
       }
%>
<%
  if (request.getParameter("start")!=null ){
    if ( sess.getStatus()==HWISessionItem.WebSessionItemStatus.READY){
      sess.setErrorFile(errorFile);
      sess.setResultFile(resultFile);
      sess.clearQueries();
     
      for (String q : query.split(";") ){
        sess.addQuery(q);
      }
      if (query.length()==0){
        message="You did not specify a query";
        start="NO";
      }
      if (silent.equalsIgnoreCase("YES") )
     sess.setSSIsSilent(true);
      else
     sess.setSSIsSilent(false);
            
     message="Changes accepted.";
     if (start.equalsIgnoreCase("YES") ){
       sess.clientStart();
          message="Session is set to start.";
     }
      }
  }
%>
<!DOCTYPE html>
<html>
<head>
<title>Manage Session <%=sessionName%></title>
<link href="css/bootstrap.min.css" rel="stylesheet">
</head>
<body style="padding-top: 60px;">
    <jsp:include page="/navbar.jsp"></jsp:include>
     <div class="container">
          <div class="row">
               <div class="span4">
                    <jsp:include page="/left_navigation.jsp" />
               </div><!-- span4 -->
               <div class="span8">
                    <h2>
                         Manage Session
                         <%=sessionName%></h2>

                    <% if (message != null) {  %>
                    <div class="alert alert-info"><%=message %></div>
                    <% } %>

                    <% if (sess.getStatus()==HWISessionItem.WebSessionItemStatus.QUERY_RUNNING) { %>
                    <div class="alert alert-warning">Session is in QUERY_RUNNING
                         state. Changes are not possible!</div>
                    <% } %>

                    <% if (sess.getStatus()==HWISessionItem.WebSessionItemStatus.QUERY_RUNNING){ %>
                    <%--
               View JobTracker: <a href="<%= sess.getJobTrackerURI() %>">View Job</a><br>
               Kill Command: <%= sess.getKillCommand() %>
               Session Kill: <a href="/hwi/session_kill.jsp?sessionName=<%=sessionName%>"><%=sessionName%></a><br>
               --%>
                    <% } %>

                    <div class="btn-group">
                         <a class="btn" href="/hwi/session_history.jsp?sessionName=<%=sessionName%>"><i class="icon-book"></i> History</a>
                         <a class="btn" href="/hwi/session_diagnostics.jsp?sessionName=<%=sessionName%>"><i class="icon-cog"></i> Diagnostics</a>
                         <a class="btn"href="/hwi/session_remove.jsp?sessionName=<%=sessionName%>"><i class="icon-remove"></i> Remove</a>
                         <a class="btn"href="/hwi/session_result.jsp?sessionName=<%=sessionName%>"><i class=" icon-download-alt"></i> Result Bucket</a>
                    </div>

                    <form action="session_manage.jsp" class="form-horizontal">
                         <input type="hidden" name="sessionName" value="<%=sessionName %>">

                         <fieldset>
                              <legend>Session Details     </legend>
                              <div class="control-group">
                                   <label class="control-label" for="fldresfile">Result File</label>
                                   <div class="controls">
                                        <input id="fldresfile" type="text" name="resultFile"
                                             readonly value="<%=randomFile%>">
                                        <% if (sess.getResultFile()!=null) { %>
                                             <a href="/hwi/view_file.jsp?sessionName=<%=sessionName%>">View File</a>
                                             <%
                                                  String[] a = sess.getResultFile().split("/");
                                                  String file = a[a.length - 1];
                                             %>
                                             <!-- 增加下载文件的链接 -->
                                             <a target="_blank" href="http://192.168.1.105:9722/<%=file%>">Download File</a>
                                        <% } %>
                                   </div>
                              </div>

                              <div class="control-group">
                                   <label class="control-label" for="flderrfile">Error File</label>
                                   <div class="controls">
                                        <input id="flderrfile" type="text" name="errorFile"
                                             value="<%
                    if (sess.getErrorFile()==null) { out.print(""); } else { out.print(sess.getErrorFile()); }
                 %>">
                                   </div>
                              </div>

                              <div class="control-group">
                                   <label class="control-label" for="fldquery">Query</label>
                                   <div class="controls">
                                        <textarea id="fldquery" name="query" rows="8" cols="70">
                                             <%
                    if (sess.getQueries()==null) {
                      out.print("");
                    } else {
                         for (String qu: sess.getQueries() ) {
                        out.print(qu); out.print(" ; ");
                      }    
                    }
                    %>
                                        </textarea>
                                   </div>
                              </div>


                              <div class="control-group">
                                   <label class="control-label" for="fldsilent">Silent Mode</label>
                                   <div class="controls">
                                        <select id="fldsilent" name="silent">
                                             <option value="YES"
                                                  <% if (sess.getSSIsSilent()==true) { out.print("SELECTED=\"TRUE\""); } %>>YES</option>
                                             <option value="NO"
                                                  <% if (sess.getSSIsSilent()==false) { out.print("SELECTED=\"TRUE\""); } %>>NO</option>
                                        </select>
                                   </div>
                              </div>

                              <div class="control-group">
                                   <label class="control-label" for="fldstart">Start Query</label>
                                   <div class="controls">
                                        <select id="fldstart" name="start">
                                             <option value="YES" SELECTED="TRUE">YES</option>
                                             <option value="NO">NO</option>
                                        </select>
                                   </div>
                              </div>

                         </fieldset>

                         <h3>Query Return Codes</h3>
                         <p>
                              <% for (int i=0; i< sess.getQueryRet().size();++i ){ %>
                              <%=i%>
                              :
                              <%=sess.getQueryRet().get(i)%><br>
                              <% } %>
                         </p>

                         <% if (sess.getStatus()!=HWISessionItem.WebSessionItemStatus.QUERY_RUNNING) { %>
                         <div class="form-actions">
                              <button type="submit" class="btn btn-primary">Submit</button>
                         </div>

                         <% } %>
                    </form>
               </div><!-- span8 -->
          </div><!-- row -->
     </div><!-- container -->
</body>
</html>

上面注释的地方,说明了修改的内容,可以查看。

HWI重新构建

我们只需要将我们自己实现的代码部分,打包到WAR文件里面就可以,因为默认的HWI的Java实现部分,可以在Hive的软件包中找到,可以查看${HIVE_HOME}/lib/hive-hwi-0.12.0.jar。上面我们改造过程中实现了一个Jetty文件服务器,编译完成后,需要删除默认目录${HWI_HOME}\target\WEB-INF\classes下面,不是我们改造后增加的类的类文件,然后就可以执行如下命令构建:

cd ${HWI_HOME}\target
jar cvf hwi.war *

然后,将生成的hwi文件,拷贝到部署Hive的对应目录${HIVE_HOME}/lib/下面即可,启动HWI服务:

hive --service hwi >> /tmp/hwi/hwi.log &

然后,就可以通过Web页面访问。

HWI使用

访问页面,例如我的是http://10.10.2.245:9999/hwi,然后,可以看到HWI首页,执行如下操作进行查询:

  1. 点击“Authorize”,填写“User”和“Groups”的内容,例如都是hadoop,然后点击提交按钮“Submit”;
  2. 点击“Create Session”,填写“Session name”,例如MYSESSION[hadoop],然后点击提交按钮“Submit”;
  3. 这时,进入到Manage Session MYSESSION[hadoop]页面,可以在“Query”中输入HQL查询语句,“Start Query”选择“YES”,然后击提交按钮“Submit”;
  4. 可以通过“View File”和“Result Bucket”查看结果内容;
  5. 可以通过我们改造后的“Download File”链接,进行查询结果文件的下载。

参考链接

Creative Commons License

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布,欢迎转载、使用、重新发布,但务必保留文章署名时延军(包含链接:http://shiyanjun.cn),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请与我联系

评论(1): “Hive-0.12.0的Web接口HWI安装、配置、改造及使用

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>