Hive实战之Youtube数据集
Flink完全基于流式处理，同时也支持了写Hive表。本文介绍一下如果通过Flinksql实现kafka数据入库hive，并能够实时可查。由于写hive表必须基于hive catalog，所以需要 注册hive catalog 。
HiveServer2和HiveServer1可以在同一个系统上并发运行，共享相同的数据集。这允许您运行HiveServer1以支持使用本机HiveServer1 Thrift绑定的Perl或Python脚本。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把MySQL数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意MySQL的压力。
text-align: center">
hive导入CSV文件,字段中双引号内有逗号
在CSV中是用 “，”分割。你字段里面有逗号说明这个单元格的值是一个字符串，所以要加引号。
单击“Microsoft OFFice 按”，然后单击“打开”。将显示“打开”对话框。在“文件类型”框中，选择“文本文件”。
一般csv文件中若有英文逗号，则一般该单元格会被双引号括住。csv文件有些列含有换行符、逗号等特殊符号，这就导致csv文件出现列异常的情况。csv文件是以逗号隔开的，假如某句话也含有逗号，会导致读取时失败。
给该列数据的首尾加上单引号或者双引号，这样就会以引号所括内容为一个整体了(当然，还要处理该字段中本身就存在引号的情形)。具体，参考csv文件的说明。
excel打开CSV出现逗号的原因是CSV以逗号作为分隔符，如无此分隔符就无法在EXCEL中有效的进行字段分隔了。如下办法可将逗号去掉并将CSV还原为EXCEL常规格式。
关于在Hive中将特定字符分隔的字符串拆分成多行的应用
可以在hive建表语句中，使用built-in的 org.apache.hadoop.hive.contrib.serdeMultiDelimitSerDe类， 来使你的表支持多字符分割列。
先用js定义一个变量，就是一个字符串的变量，如图，字符串用逗号隔开。
打开excel2013文档。如下图所示一个单元格中有三行内容。点击单元格，选择单元格中的内容。点击鼠标右键，选择“***”。点击目标单元格，点击鼠标右键，选择“粘贴”。内容就会按照三行粘贴了。
首先用regexp_replace函数将双引号替换为空格，并用str_to_map函数将字符串转为map类型。
hive导入到clickhouse的几种方式总结
主要说下安装过程。说明文档里说的 bin/logstash-plugin install logstash-output-clickhouse 方式，没有安装成功，所以只能自己编译安装。
从本地文件系统中导入数据到Hive表；从HDFS上导入数据到Hive表；在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
ClickHouse留存分析工具十亿数据秒级查询方案 高效压缩位图RoaringBitmap的原理与应用 留存函数（retention）一般来说，求留存率的做法就是两天的用户求交集，join的速度会比较慢。
clickhouse SQL查询语句 【译自Github 英文文档】内容有缩减，原文请点击这里创建数据库create DATABASE [IF NOT EXISTS] db_name创建表CREATE TABLE可以有几种形式。
Hive中的 collect_set() 函数功能，将某一列中的value取值转换成一个 set ；在 ClickHouse 中可以通过 groupUniqArray() 来实现。
Million 数据集：ClickHouse比Vertica约快5倍，比Hive快279倍，比MySQL快801倍。1Billion 数据集：ClickHouse比Vertica约快5倍，MySQL和Hive已经无法完成任务了。
