在采用常用的数据迁移工具时，常会采用sqoop和dataX工具，在数据迁移时难免会遇到一些特殊字符的处理，比如hive里的换行符\n无法更改，而原数据源难免的会存在一些数据格式会存储\n,如mysql里的mediumtext格式就会存储有\n，这是后数据存储进hive后就不可比遍的与hive的换行符冲突，造成数据的切分错乱。 解决方案： 方案一： 把换行符替换成空字符串，sqoop中有替换的参数，但是datax中没有。 如下 将下将换行符换成 ‘\n’，在sqoop的配置李添加下列参数 –hive-delims-replacement ‘\n’ \ 方案二 有些场景中，为了保留数据的完整性，必须保留换行符怎么办呢？ 既让换行符冲突，那么我们在存储数据时采用列式存储，这样就不会因为某字段存有换行符而导致数据错乱，常采用orc列式存储格式 步骤1.建时是指定存储格式和压缩格式添加如下参数：
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' TBLPROPERTIES ( 'orc.compress'='ZLIB')步骤2.写sqoop导出数据到hive时指定存储压缩格式
--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="ZLIB")' \