使用kettle对数据库类型及表变更的调研
需求MS sql server 到 mysql 数据表结构的变更，由数据库A为sql server、数据库B为mysql, 1.A的表test_a 转换为 B的表test_a; 2.A的表test_a 转换为B的表test_a及test_b 3.A的表test_a及test_b转换为B的test_a kettle的安装下载地址：http://www.kettle.be/ 配合的mysql的驱动：
spring boot配置引用yml
引用spring boot 项目有以下配置文档： application.yml application-druid.yml application-redis.yml 当需要在springboot中引用其他的yml文件时，需要在application.yml里配置: 123spring: profiles: include: druid,redis
动态创建月维度表及sharding-jdbc5.0单库分表实现
单库分表一张表数据达到一定级别后，查询、插入、修改、DDL等效率降低，需要优化。这时可以使用单库分表，进行数据的拆分。 主要解决单表数据量过大的问题。 未解决：CPU、内存、带宽等单库的资源限制。 sharding-jdbc固定actual-data-nodes问题，需要动态生成表，采用定时任务实现创建配置文件：application-shardingjdbc.yml 123# 分表的表名用于定时
动态创建月维度表及sharding-jdbc单库分表实现
单库分表一张表数据达到一定级别后，查询、插入、修改、DDL等效率降低，需要优化。这时可以使用单库分表，进行数据的拆分。 主要解决单表数据量过大的问题。 未解决：CPU、内存、带宽等单库的资源限制。 sharding-jdbc固定actual-data-nodes问题，需要动态生成表，采用定时任务实现创建配置文件：application-shardingjdbc.yml 123# 分表的表名用于定时
log的mdc生成traceId
spring 添加拦截器12345678910111213141516171819202122/** * MDC * * 为每个请求添加traceId */@Componentpublic class MDCFilter extends OncePerRequestFilter { private static final String TRACEID = "traceI
mysql主备延迟
什么是主备延迟1.主库 A 执行完成一个事务，写入 binlog，我们把这个时刻记为 T1; 2.之后传给备库 B，我们把备库 B 接收完这个 binlog 的时刻记为 T2; 3.备库 B 执行完成这个事务，我们把这个时刻记为 T3 所谓主备延迟，就是同一个事务，在备库执行完成的时间和主库执行完成的时间之间的差值，也就是 T3-T1。 什么情况会导致主备延迟情况一：备库所在机器的性能要比主库所在
mycat与sharding-sphere对比
参考文档： https://dbaplus.cn/news-11-1854-1.html 1.方案对比mycat是db 代理的分库分表解决方案。 sharding-sphere中sharding-jdbc是对jdbc 代理的分库分表解决方案。 从解决方案/架构来看sharding-jdbc更符合分布式架构的设计，直连数据库，没有中间应用，理论性能是最高的（实际性能需要结合具体的代码实现
elk安装
1.创建linux用户与组12345678910添加工作组groupadd elastic创建elastic用户useradd -g elastic elastic设置密码passwd elastic修改目录权限chown -R elastic:elastic /usr/local/elk切换用户su elastic 2. 安装elasticsearch 7.6下载解压： 123cd /usr/