准备工作 下载docker：https://download.docker.com/linux/static/stable/x86_64 我下载的是docker-20.10.6.t...
- 转载文章
- 2023-08-20
时间格式转换 日期格式→Unix时间戳 转10位Unix时间戳 数据：2020-07-23 15:01:13 Presto：select to_unixtime(cast('202...
- 转载文章
- 2023-08-20
Linux操作系统的网络模块是负责网络通信的核心部分。它通过实现各种协议和算法，使得计算机能够在网络中进行数据交换和通信。网络模块主要包括以下几个方面的功能： （1）IP协议栈：负...
- 转载文章
- 2023-04-18
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，...
- 转载文章
- 2023-02-23
一、研发背景 DataX官方开源的版本支持HDFS文件的读写，但是截止目前，并没有支持Parquet文件的读写，得益于DataX出色的数据同步性能，去年公司的项目大部分采用...
- 转载文章
- 2023-02-23
一、研发背景 DataX官方开源的版本支持HDFS文件的读写，并没有支持基于JDBC的Hive数据读写，很多时候一些数据同步不太方便，比如在读取Hive之前先执行一些sql...
- 转载文章
- 2023-02-23
数据湖Hudi与对象存储Minio及Hive\Spark\Flink的集成
本文主要记录对象存储组件Minio、数据湖组件Hudi及查询引擎Hive\Spark之间的兼容性配置及测试情况，…
- 转载文章
- 2023-02-23
最近在项目中遇到同步两个 CDH 数据文件的需求，调研了一圈，发现 datax 不支持两个 cdh 同时进行 kerberos 认证，因此切换到 chunjun，c...
- 转载文章
- 2023-02-23
