对标mongodb存储类JSON数据文档统计分析详解
（福利推荐：你还在原价购买阿里云服务器？现在阿里云0.8折限时抢购活动来啦！4核8G企业云服务器仅2998元/3年，立即抢购>>>：9i0i.cn/aliyun）
一、文档存储的需求
很多的开发者都使用过mongodb，在mongodb中数据记录是以文档的形式存在的(类似于一种多级嵌套SQL的形式)。比如下面的JSON数据结构：dev_ip表示某一台服务器的ip、location字段存放经纬度、meminfo.total和meminfo.userd分别代表内存总量和使用量。
[{
"dev_ip": "123.46.5.111",
"location": [39.916527, 116.397128],
"meminfo": {
"total": 64,
"used": 23.2
}
},
{
"dev_ip": "123.46.5.112",
"location": [39.916144, 116.392582],
"meminfo": {
"total": 64,
"used": 27.8
}
}]
二、建表
存储文档需要使用到Map这种数据类型，在某些比较旧的版本中，Map数据类型还是实验性的，不能直接使用。如果想使用，需要执行set allow_experimental_map_type = 1;。
然后我们可以按照JSON的数据结构来建表，location是数组Array数据类型，meminfo是Map数据类型。
CREATE TABLE dev_meminfo ( dev_ip String, location Array(Float64), meminfo Map(String, Float32) ) ENGINE = MergeTree() ORDER BY dev_ip;
clickhouse提供了数组类型Array(T)，数组类型由多个T元素组成。T可以是任意的基础数据类型，或者也可以是数组类型。如果是数组类型就形成了多维数组，Cickhouse对多维数组的支持有限，所以不建议使用多维数组。数组里面所有的T元素的数据类型必须是一样的，否则会抛出异常。
三、数据入库
在linux环境下，我们可以将JSON数据保存为一个文档，命名如：dev_meminfo.json。然后使用下面的命令行，完成文档JSON数据的入库。jq的作用是将JSON数组及Map从结构中剥离出来，从而符合JSONEachRow要求的输入格式。
cat dev_meminfo.json |jq -c .[] | clickhouse-client --database acaidb -m -u acai --password '<你的密码>' \ --query="INSERT INTO dev_meminfo FORMAT JSONEachRow"
或者我们可以直接使用INSERT语句来完成数据的单条插入，如下：
INSERT INTO dev_meminfo FORMAT JSONEachRow {"dev_ip": "123.46.5.112", "location": [39.916144, 116.392582],"meminfo": {"total": 64,"used": 27.8}};
四、查询数据
select * 的方式查询数据：
# clickhouse-client --database acaidb -m -u acai --password '4rfv$RFV' --query="SELECT * FROM dev_meminfo"
123.46.5.111 [39.916527,116.397128] {'total':64,'used':23.2}
123.46.5.112 [39.916144,116.392582] {'total':64,'used':27.8}
使用字段名称方式查询数据，需要注意的是Ciickhouse的数组的下标是从0开始的，这与我们传统编程开发中的规范是不一致的。
# clickhouse-client --database acaidb -m -u acai --password '4rfv$RFV' --query="SELECT dev_ip,location[1],location[2],meminfo['total'],meminfo['used'] FROM dev_meminfo" 123.46.5.111 39.916527 116.397128 64 23.2 123.46.5.112 39.916144 116.392582 64 27.8
五、总结
我们看到clickhouse可以代替mongodb进行类JSON文档数据的存储，而且支持SQL查询统计分析，这一点是比较吸引人的。我只是介绍了简单的查询，其实针对各种统计分析场景，clickhouse提供了超级多的统计分析函数、窗口函数等等，当然针对数组的数据类型也有很多的统计分析函数。
更为值得注意的是：笔者看到一些测评文章，clickhouse的的统计分析性能是mongodb的近百倍之多(笔者自己尚未验证，请关注我的专栏后续文章)。但是也不是说clickhouse可以代替mongodb的所有应用场景，至少面向用户的并发请求的场景clickhouse是不满足的，因为clickhouse的定位是数据仓库，主要是面向数据分析OLAP场景，而不是面向用户高并发的联机事务处理OLTP。
到此这篇关于对标mongodb存储类JSON数据文档统计分析的文章就介绍到这了,更多相关mongodb存储类JSON数据文档统计内容请搜索程序员之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持程序员之家！
相关文章
这篇文章主要给大家介绍了关于MongoDB批量将时间戳转为通用日期格式的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用MongoDB具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-07-07
今天小编就为大家分享一篇关于mongodb的写操作，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-01-01
这篇文章主要介绍了linux 使用docker安装mongodb方法,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-11-11
数据库性能对软件整体性能的影响是不言而喻的，那么，当我们使用MongoDB时改如何提高数据库性能呢？这篇文章通过范式化与反范式化、填充因子的使用和索引的使用三个方面来谈了谈Mongodb性能优化的相关问题，有需要的朋友们下面来一起看看吧。2016-10-10
这里给大家分享的是作者在阿里云centos下部署mongodb的过程全记录，非常的详细，也遇到了很多问题，最终部署成功，希望对大家能够有所帮助2017-08-08
Mongodb聚合函数count、distinct、group如何实现数据聚合操作
Mongodb中自带的基本聚合函数有三种：count、distinct和group。下面我们分别来讲述一下这三个基本聚合函数及如何实现数据聚合操作，感兴趣的朋友一起学习吧2016-05-05
这篇文章主要介绍了MongoDB教程之基本管理命令,本文讲解了启动和停止MongoDB、服务器状态监控两部份内容,需要的朋友可以参考下2015-05-05
MongoDB使用mongoexport和mongoimport命令,批量导出和导入JSON数据到同一张表的实例
今天小编就为大家分享一篇关于MongoDB使用mongoexport和mongoimport命令,批量导出和导入JSON数据到同一张表的实例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2018-10-10
这篇文章主要给大家介绍了关于mongos崩溃后无法重启问题的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了在Linux服务器中配置mongodb环境的步骤，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-07-07
最新评论