Hive笔记(一)
hive主要支持gzip、zlib、snappy、lzo 这四种压缩方式。 压缩不会改变元数据的分割性，即压缩后原来的值不变。
分区裁剪就在查询时只读需要的分区。Hive中与分区裁剪优化相关的则是 hive.optimize.pruner ，默认是 true 。
hive.compute.query.using.stats之前的版本的默认值是fasle，然后现在是ture，具体从哪个版本我不太清楚。如果设置为true，Hive在执行某些查询时，例如select count(1)，只利用元数据存储中保存的状态信息返回结果。
HIVE常用正则表达式
一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列匹配某个句法规则的字符串。例如：Handel、Hndel和Haendel这三个字符串，都可以由H(a||ae)ndel这个模式来描述。
在这个查询中，我们使用RLike操作符来匹配包含至少5个连续数字的字段。你可以根据需要修改查询以满足你的需求。请注意，这只适用于Hive 0.13及更高版本。
说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。
可以采用以下方法来实现：首先用regexp_replace函数将双引号替换为空格，并用str_to_map函数将字符串转为map类型。
操作类型： strings 描述： 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合Java正则表达式B的正则语法，则为TRUE；否则为FALSE。
pattern， int index)，第一个参数是待处理的字符串，第二个参数是写好的正则，第三个表达式一般用不上可以忽略掉。来看例子：有了以上函数，相信应该能满足大家对于hive进行字符串提取的一切要求了。
Hive中正则r的用法实战
1、在这个查询中，我们使用RLIKE操作符来匹配包含至少5个连续数字的字段。你可以根据需要修改查询以满足你的需求。请注意，这只适用于Hive 0.13及更高版本。
2、语法： regexp_replace(string A， string B， string C) 返回值： string 说明： 将字符串A中的符合JAVA正则表达式B的部分替换为C 。注意，在有些情况下要使用转义字符，类似 Oracle 中的regexp_replace函数。
3、语法： A RLIKE B 操作类型： strings 描述： 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合JAVA正则表达式B的正则语法，则为TRUE；否则为FALSE。
4、hive SHOW DATABASES；defaultfinancialshuman_resources 如果数据库非常多的话，那么可以使用正则表达式匹配来筛选出需要的数据库名，正则表达式这个概念，将会在第3节“Like和RLike”介绍。
5、regexp_like用法详细说明：Regexp_like用于搜索字符串中与提供的正则表达式匹配的字符串。它返回一个布尔值，指示字符串是否匹配正则表达式。
6、（也可以使用正则表达式代替 LIKE操作符）。通配符是一类键盘字符。当查找文件夹时；当不知道真正字符或者不想键入完整名字时，常常使用通配符代替一个或多个真正字符。星号（*）可以使用星号代替零个、单个或多个字符。
text-align: center">
