JDK升级总结

一、背景 项目升级JDK11,主要基于以下几个出发点: 目前公司使用的JDK8,在2019年1月已经停止更新维护 越来越多的框架和第三方库新版本不再兼容低版本JDK,如果想使用新版本的特性就必须升级。以下是一些常见的框架和第三方库,在其最新版本中需要使用JDK11及以上版本: S »

前端库开发经验小结

一、开发背景 业务组内前端项目有大量日历黄历相关计算,且需要应用在H5、小程序等诸多平台,这部分算法原先放在js文件中作为模块导出,并没有封装成库。这样做的缺点有: API没有统一的文档,使用不方便。 需要重复通过调用函数实现业务。 不便于管理,算法中有错误没法及时修改到 »

Flink优化--RocksDB状态及Checkpoint调优

一、背景 企业生产环境中,会出现大量依赖中间状态的实时任务,目前flink的状态存储有Memory、FileSystem 和 RocksDB 三种可选,且 RocksDB 是状态数据量较大(GB 到 TB 级别)时的唯一选择。RocksDB 的性能发挥非常仰赖调优,如果全部采 »

Gpt2初识

一. 背景介绍 GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型,其论文原文为 languagemodelsareunsupervisedmultitask_learners GPT2模型的预训练语料库为超过40G的近8000万的网页文本数据,G »

微鲤大数据集群FLINK版本升级踩坑总结

1、背景 微鲤大数据Flink集群依托于华为云于2020年建设,Flink版本为1.10.0。Flink集群主要负责埋点日志实时处理、业务指标实时计算、实时ETL、智能推荐、广告竞价等工作。现有Flink Job 超百个,slot 1800+,日均处理数据超十亿,日均200GB左 »

Flutter+iOS混合开发实践

一、混合开发效果展示和描述 ①、演示鲤读混合开发效果 ②、概述: flutter与native混合开发,包含两个模块:flutter调用原生功能、原有项目嵌入flutter模块 主要内容: flutter如何调用native原生硬件信息,flutter和native之间如何通信, »

ANDROID函数插桩实现隐私合规检测

1. 隐私合规检测的需求 工信部对app个人隐私收集要求严格 应用市场第三方检测中心检测出问题 接入的第三方广告sdk调用敏感函数次数和时机 2. 隐私合规整改的方案 手动排查:耗时、耗力、可能会有遗漏 xposed:非root手机需要借助太极等第三方框架 Gradle Tra »

分布式事务SEATA的介绍与实践

事务ACID原则 原子性:事务中的所有操作,要么全部成功,要么全部失败 一致性:要保证数据库内部完整性约束、声明性约束 隔离性:对同一资源操作的事务不能同时发生 持久性:对数据库做的一切修改将永久保存,不管是否出现故障 一、理论基础 1)CAP理论 1998年,加州大学的计算机科 »

「星星许愿池」实现方案

需求概括: 每轮许愿时间为30s,投注期间用户可选择许愿池投注,同时展示投注动效,在线人数以及当前在线用户投注情况需实时更新。30s投注结束后,展示中奖动画,以及返幸运币动画,此期间不可投注。完成之后,开启下一轮。 技术选型 该活动的重点是页面数据需要实时刷新,之前 »

记线上Dubbo调用异常排查处理

一、简单介绍 suishen-esb中,提供了Dubbo对Hystrix的集成; Hystrix内部使用了线程池完成具体的任务执行; 每一个远程service使用独立的线程池; 内部封装中,线程池的核心线程数和最大线程数默认为30,等待队列使用SynchronousQueue(不 »