Hive默认的换行符怎么查看?
1、Windows和DOS系统用 \r\n 表示换行符，即“回车换行符”；Unix和Linux系统用 \n 表示换行符；Mac系统用 \r 表示换行符。
2、···采集的用户sql，分析后通过sqoop将hive（表的格式是textfile）导入到mysql中。因为SQL中存在换行符。需要替换。
3、ctrl+H打开替换对话框，将光标定位在查找内容文本框，ALT+enter，这里时候文本框虽然没有什么内容，但其实我们已经输入了强制换行符。替换为文本框里面什么都不要输入。
hive导入CSV文件,字段中双引号内有逗号
1、在CSV中是用 “，”分割。你字段里面有逗号说明这个单元格的值是一个字符串，所以要加引号。
2、一般csv文件中若有英文逗号，则一般该单元格会被双引号括住。csv文件有些列含有换行符、逗号等特殊符号，这就导致csv文件出现列异常的情况。csv文件是以逗号隔开的，假如某句话也含有逗号，会导致读取时失败。
3、给该列数据的首尾加上单引号或者双引号，这样就会以引号所括内容为一个整体了(当然，还要处理该字段中本身就存在引号的情形)。具体，参考csv文件的说明。
4、EXCEL打开CSV出现逗号的原因是CSV以逗号作为分隔符，如无此分隔符就无法在EXCEL中有效的进行字段分隔了。如下办法可将逗号去掉并将CSV还原为EXCEL常规格式。
hive分隔符问题
1、首先测试hive是否能智能区分分隔符与文本内容，结果表明：当分隔符与文本内容相同时，会产生数据混淆问题。
2、). 目前Lateral View不支持有上而下的优化。如果使用Where子句，查询可能将不被编译。
3、第一种方法： 用hive -e命令 第二种方法： 使用重定向 问题 ：由于我的数据里可能含有英文逗号 ， 。再以逗号分割字段，在后续导入csv的过程中可能遇到问题。
4、第三种方式临时解决问题，不能根本上解决问题；对 hive 的基础知识了解不足，导致问题出现排查速度较慢。数据源头进行必要的数据 ETL 清洗，对字段分隔符的处理必须谨慎。
5、在CSV中是用 “，”分割。你字段里面有逗号说明这个单元格的值是一个字符串，所以要加 引号 。
6、此前一直使用HIVE的insert overwrite到本地目录的方法进行文件导出，但问题多多。主要原因是分隔符经常出现在字段中，实操中用竖杠|分隔问题较少。
hive怎样取出字段的所有特殊字符
用替换（Ctrl+H)，查找字为固定字符，替换为不输入任何值，点击全部替换。 示例，把下表中的百度批量删除。
如果是规整的json字符串，可以先使用Hive函数get_json_object取出dySub 后面的数字，再做sum。另外也可以使用Hive函数regexp_extract，使用正则表达式抽取出dySub 后面的数字。
使用sqoop从MySQL导出数据至Hive时，如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据，在Hive中变成了两行。
UDF的大致意思就是对传入的字符串做分词，分词后在通过特殊符号“\001”来对每一个词进行拼接，最终返回一个拼接好的字符串。根据开发UDF的步骤，将UDF打成jar包并上传到HDFS，并在Hive中创建方法关联该jar包。
在CSV中是用 “，”分割。你字段里面有逗号说明这个单元格的值是一个字符串，所以要加 引号 。
hive导入到clickhouse的几种方式总结
1、主要说下安装过程。说明文档里说的 bin/logstash-plugin install logstash-output-clickhouse 方式，没有安装成功，所以只能自己编译安装。
2、从本地文件系统中导入数据到Hive表；从HDFS上导入数据到Hive表；在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
3、ClickHouse留存分析工具十亿数据秒级查询方案 高效压缩位图RoaringBitmap的原理与应用 留存函数（retention）一般来说，求留存率的做法就是两天的用户求交集，join的速度会比较慢。
4、Hive中的 collect_set() 函数功能，将某一列中的value取值转换成一个 set ；在 ClickHouse 中可以通过 groupUniqArray() 来实现。
5、由于ClickHouse定位还是OLAP，不适合大量地在线调用，所以需要将人群的数据导入到Mongodb中来提供在线服务调用。
6、可以的 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。由号称“俄罗斯 Google”的Yandex开发而来，在2016年开源，在计算引擎里算是一个后起之秀，在内存数据库领域号称是最快的。
