本篇教程介绍了大数据应用 即席查询和数据开放，希望阅读本篇文章以后大家有所收获，帮助大家对大数据云计算大数据应用的理解更加深入。

<

提纲：


解决什么场景


即席查询的发展历程


五个特性


小结


  数据开放实验室（OpenDataLab） 是云纵数据中心继魔镜（竞情数据分布式抓取管理平台）、魔盒（大数据协作平台）、数屏（可视化监控屏管理平台）之后推出的又一款大数据应用。
  它的现阶段目标是将我司的各种数据，经过脱敏、清洗等处理之后，授权下游企业使用，通过即席查询确定数据格式，定义API，通过API拉取数据。它的用户既有企业内部用户，也有企业外部用户。
  它的开发者有：前台少明，川川，中舟，顺闯，仓库清勇，兴申，明军，明黎，梁键等。
 
  蚂蚁金服曾把大数据应用划分为四个阶段，如下图所示：

图1 四个应用阶段
 
  虽然我们的数据开放实验室对标的是处于第四阶段的蚂蚁数巢之云数据实验室，但是第一我们现阶段数据量还是太小，第二蚂蚁金服强调的是“可用不可见，相逢不相识”的可信的大数据加工处理环境，而我们强调的是将大数据以自助定制API的方式输出给可信的合作伙伴，本质上还是即席查询的变种。 
 
0x00，解决什么场景
   我们定义数据开放实验室要解决三件事：
1）把数据仓库的数据复制到实验室数据专区。把数据专区里的数据授权给企业，在这个数据复制的过程中，可以对数据做脱敏等清洗工作；
2）企业可以看到企业专区里的表结构和数据字典，可以做即席查询（Ad-hoc），当然只展示结果集的前1000条记录；
3）企业如果觉得结果集符合需求，可以将查询发布为 API，通过接口调用，可以将数据拉到企业本地。
  
0x01，即席查询的发展历程
面向数据仓库的即席查询，这个工作在窝窝开展过，技术选型为 shib+node.js+Presto。Presto 也是几年前诸多互联网公司提升 Ad-hoc 响应速度的重要选择之一。
到了2016、2017年，即席查询有了更多的选择，如 Apache Zeppelin，Apache Kylin，原先用了 Presto 的那拨公司陆续接入了 Kylin，如美团点评，唯品会，链家，京东POP，国美商城，百度地图。
2017年3月3日，明军做了 Kylin 技术演示。我们发现一个严重的问题，由于给企业授权数据是分批分期进行的，如果 Kylin 建了多个 Cube，不同 Cube 之间的表不能联表查询，那就违背了数据开放实验室的需求，你想企业客户都已经看到了多张表，不可能说因为底层 Cube 的限制而不允许联表查询。唯品会2016年12月做的 Kylin 分享中提到，他们基于 Presto+Kylin 双引擎的架构做了改造，支持了跨 Cube Join。我们短期内还做不到这一点。
 
2017年7月14日数据开放实验室第一次公开演示。
2017年8月18日数据开放实验室正式上线。
 
0x02，五大特性
接下来展示一下这个产品企业前台的五个特性。
第一，企业前台的 dashboard 展示集群资源使用情况，已授权数据表数量，已发布API数量，如下图所示：

图3 首页dashboard
 
当 Hadoop 集群的CPU、内存使用情况变为红色时，不建议进行数据查询操作。
第二，数据列表可以查看数据字典，数据大小。
第三，查询编辑器里支持按 tab 键提示关键字、表名、字段名，还支持一键格式化。

图6 智能提示和格式化
 
咱们这里的 SQL 采用的是类似于 SQL 的语法，可以看作是标准 SQL 的子集，但不能因此简单地把 OpenDataLab 等价成⼀个数据库，它在一些查询语法上跟标准 SQL 有所不同，需要看帮助文档。
还可以把当前 SQL 语句保存下来，以后能在“查询记录”列表里找回来。
查询的执行过程会实时打印出来，如下图所示：

图7 执行信息
 
第四，查询之后，可以发布为 API 了，临时或一次性使用数据，可以选择“单次”，周期性获取数据，选择“周期”。
第五，API 发布后，可以在 API 列表里找到，能看到 API 任务进度和数据定制进度。加速状态为“已加速”的分析才能被外部程序访问到。
既可以由程序调用 API，同时为了方便内部用户导出数据，这里也提供了下载报表的按钮。
数据开放实验室还有一个管理后台，能开通企业，对企业授权数据，定义数据脱敏和转换等规则，这里不再赘述。
  
0x03，小结
就酱，底层有 DataFlash 集群，上层应用有魔盒、魔镜、数屏、数据开放实验室等大数据应用或工具。
 
-EOF-

   

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据应用频道！