基于OPEN NSFW的UGC图⽚合规治理体系设计与实践
一、业务背景 某业务的UGC(⽤户⽣成内容)平台中,⽬前历史图⽚没有过内容安全,历史海量数据(1亿+规模)存在隐性违规⻛险。当⽤户访问时,会被检测到,导致域名被封⻛险。因此需要对历史图⽚进⾏扫描,删除违规图⽚。 ⽬前有两种⽅案: 使⽤云端商业API。 构建本地化内容安全检测体 »
一、业务背景 某业务的UGC(⽤户⽣成内容)平台中,⽬前历史图⽚没有过内容安全,历史海量数据(1亿+规模)存在隐性违规⻛险。当⽤户访问时,会被检测到,导致域名被封⻛险。因此需要对历史图⽚进⾏扫描,删除违规图⽚。 ⽬前有两种⽅案: 使⽤云端商业API。 构建本地化内容安全检测体 »
一、背景 公司目前使用的Spring Boot版本为1.5.12.RELEASE,该版本较低且不支持MongoDB事务管理功能。随着公司业务的不断扩展和发展,涉及到更多复杂的业务场景,确保数据一致性和事务原子性显得更加重要。 基于上述情况,本次对Spring Boot的升级变得至 »
一、需求背景 需要将业务数据库的数据,向数仓同步,目前包括两种数据库:mongo、mysql。 二、总体实现方案 1、总体流程 a、定时任务,加载数据库事件偏移信息,统一监听数据库变更事件; b、本地缓存收集事件变更信息(一定的数据量、一定的收集时间); c、收集达到阈值后,向消 »
背景 如上图,互联网企业的国内业务肯定部署在国内,出海业务则一般部署在海外;具体部署区域,则一般根据用户所在区域,选择就近的区域。 源站部署到不同区域,选择不同的机房,对于各地用户来说,会带来网络距离及网络线路质量的差异,从而对用户的访问响应时间也会产生一定差异。 网 »
背景 在任何一个生产产品的行业,不管是互联网行业,还是建筑行业,或者是医疗行业,都得面对一个事物,那就是故障; 故障处理的好,那只是一个故障;故障处理的不好,就有可能升级成不同级别的事故; 出现事故,这是任何人都不想看见的; 如何避免事故,是安全生产的头等大事; 在这里,我会介绍 »
前言 前面有讲过因为主机内存资源不足导致主机及pod均NotReady的状态,今天分享一个因为主机磁盘资源不足导致pod Evicted的故障。 故障现象 收到告警,有大量pod处于Evicted状态。 故障排查 查看告警后发现有问题的pod,均是调度到了同一台主机后出现的Evi »
背景 某业务服务端接口有验签逻辑、Postman调用接口自测加签麻烦 需要服务端多个环境域名切换测试 服务端接口部分需要登录后测试 Pre-request Script简介 Postman 有一个基于 Node.js 的强大运行时,它允许我们向请求和集合中添加动态行为。允许我们编 »
故障现象 收到告警,有主机处于NotReady状态,并且该主机的cpu使用率,内存使用率,负载都很高。 故障排查 登陆容器,查看node状态,发现主机处于NotReady状态。 查看主机内的容器状态,发现部分pod处于“删除中”状态,部分pod处于“重启”状态。 登陆华为云,查看 »
事务ACID原则 原子性:事务中的所有操作,要么全部成功,要么全部失败 一致性:要保证数据库内部完整性约束、声明性约束 隔离性:对同一资源操作的事务不能同时发生 持久性:对数据库做的一切修改将永久保存,不管是否出现故障 一、理论基础 1)CAP理论 1998年,加州大学的计算机科 »
一、简单介绍 suishen-esb中,提供了Dubbo对Hystrix的集成; Hystrix内部使用了线程池完成具体的任务执行; 每一个远程service使用独立的线程池; 内部封装中,线程池的核心线程数和最大线程数默认为30,等待队列使用SynchronousQueue(不 »