一招教你使用Hive处理文本数据
1、常用的的有三种：从本地文件系统中导入数据到Hive表；从HDFS上导入数据到Hive表；在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
2、hive把纯文本放在表对应的位置，就可以查询到数据，但是如果纯文本里面存在表头，会把表头也作为第一行数据。如果又不想在纯文本中去掉表头只要在建表语句中加入如下‘tblproperties (skip.header.line.count=1)’即可。
3、通过HiveQL加载数据：Hive可以通过HiveQL语句来加载数据，无论是结构化数据（如csv、JSON）还是非结构化数据（如文本文件）。使用HiveQL加载数据相对简单，适用于较小规模的数据集。
4、使用两个分隔符将文本拆分为键值对：str_to_map(text[， delimiter1， delimiter2])返回：map Delimiter1将文本分成K-V对，Delimiter2分割每个K-V对。
5、第一种方法： 用hive -e命令 第二种方法： 使用重定向 问题 ：由于我的数据里可能含有英文逗号 ， 。再以逗号分割字段，在后续导入CSV的过程中可能遇到问题。
6、pattern， int index)，第一个参数是待处理的字符串，第二个参数是写好的正则，第三个表达式一般用不上可以忽略掉。来看例子：有了以上函数，相信应该能满足大家对于hive进行字符串提取的一切要求了。
enter">
hive怎样取出字段包含的所有特殊字符
用替换（Ctrl+H)，查找字为固定字符，替换为不输入任何值，点击全部替换。 示例，把下表中的百度批量删除。
在CSV中是用 “，”分割。你字段里面有逗号说明这个单元格的值是一个字符串，所以要加 引号 。
在这个查询中，我们使用RLike操作符来匹配包含至少5个连续数字的字段。你可以根据需要修改查询以满足你的需求。请注意，这只适用于Hive 0.13及更高版本。
hive分隔符问题
首先测试hive是否能智能区分分隔符与文本内，结果表明：当分隔符与文本内容相同时，会产生数据混淆问题。
如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据，在Hive中变成了两行。
第一种方法： 用hive -e命令 第二种方法： 使用重定向 问题 ：由于我的数据里可能含有英文逗号 ， 。再以逗号分割字段，在后续导入csv的过程中可能遇到问题。
第三种方式临时解决问题，不能根本上解决问题；对 hive 的基础知识了解不足，导致问题出现排查速度较慢。数据源头进行必要的数据 ETL 清洗，对字段分隔符的处理必须谨慎。
