数据库同步实践(suishen-cdc)
一、需求背景 需要将业务数据库的数据,向数仓同步,目前包括两种数据库:mongo、mysql。 二、总体实现方案 1、总体流程 a、定时任务,加载数据库事件偏移信息,统一监听数据库变更事件; b、本地缓存收集事件变更信息(一定的数据量、一定的收集时间); c、收集达到阈值后,向消 »
一、需求背景 需要将业务数据库的数据,向数仓同步,目前包括两种数据库:mongo、mysql。 二、总体实现方案 1、总体流程 a、定时任务,加载数据库事件偏移信息,统一监听数据库变更事件; b、本地缓存收集事件变更信息(一定的数据量、一定的收集时间); c、收集达到阈值后,向消 »
背景 如上图,互联网企业的国内业务肯定部署在国内,出海业务则一般部署在海外;具体部署区域,则一般根据用户所在区域,选择就近的区域。 源站部署到不同区域,选择不同的机房,对于各地用户来说,会带来网络距离及网络线路质量的差异,从而对用户的访问响应时间也会产生一定差异。 网 »
背景 在任何一个生产产品的行业,不管是互联网行业,还是建筑行业,或者是医疗行业,都得面对一个事物,那就是故障; 故障处理的好,那只是一个故障;故障处理的不好,就有可能升级成不同级别的事故; 出现事故,这是任何人都不想看见的; 如何避免事故,是安全生产的头等大事; 在这里,我会介绍 »
前言 前面有讲过因为主机内存资源不足导致主机及pod均NotReady的状态,今天分享一个因为主机磁盘资源不足导致pod Evicted的故障。 故障现象 收到告警,有大量pod处于Evicted状态。 故障排查 查看告警后发现有问题的pod,均是调度到了同一台主机后出现的Evi »
背景 某业务服务端接口有验签逻辑、Postman调用接口自测加签麻烦 需要服务端多个环境域名切换测试 服务端接口部分需要登录后测试 Pre-request Script简介 Postman 有一个基于 Node.js 的强大运行时,它允许我们向请求和集合中添加动态行为。允许我们编 »
故障现象 收到告警,有主机处于NotReady状态,并且该主机的cpu使用率,内存使用率,负载都很高。 故障排查 登陆容器,查看node状态,发现主机处于NotReady状态。 查看主机内的容器状态,发现部分pod处于“删除中”状态,部分pod处于“重启”状态。 登陆华为云,查看 »
事务ACID原则 原子性:事务中的所有操作,要么全部成功,要么全部失败 一致性:要保证数据库内部完整性约束、声明性约束 隔离性:对同一资源操作的事务不能同时发生 持久性:对数据库做的一切修改将永久保存,不管是否出现故障 一、理论基础 1)CAP理论 1998年,加州大学的计算机科 »
一、简单介绍 suishen-esb中,提供了Dubbo对Hystrix的集成; Hystrix内部使用了线程池完成具体的任务执行; 每一个远程service使用独立的线程池; 内部封装中,线程池的核心线程数和最大线程数默认为30,等待队列使用SynchronousQueue(不 »
背景 我们常用的redis、mysql、mongodb等服务,因为client程序使用异常,如果连接数监控没做好且没及时处理的情况下,server连接数就容易被打满; server连接数被打满的情况下,client就不能新建连接; 对于短连接client,会影响新建连接,业务 »
Https接口请求异常 一. 问题现象 wolves在接入个启DSP渠道时,后端请求转化回调https接口时,返回异常:javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_failure,但是请 »