Gpt2初识

一. 背景介绍 GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型,其论文原文为 languagemodelsareunsupervisedmultitask_learners GPT2模型的预训练语料库为超过40G的近8000万的网页文本数据,G »

微鲤大数据集群FLINK版本升级踩坑总结

1、背景 微鲤大数据Flink集群依托于华为云于2020年建设,Flink版本为1.10.0。Flink集群主要负责埋点日志实时处理、业务指标实时计算、实时ETL、智能推荐、广告竞价等工作。现有Flink Job 超百个,slot 1800+,日均处理数据超十亿,日均200GB左 »

Flutter+iOS混合开发实践

一、混合开发效果展示和描述 ①、演示鲤读混合开发效果 ②、概述: flutter与native混合开发,包含两个模块:flutter调用原生功能、原有项目嵌入flutter模块 主要内容: flutter如何调用native原生硬件信息,flutter和native之间如何通信, »

ANDROID函数插桩实现隐私合规检测

1. 隐私合规检测的需求 工信部对app个人隐私收集要求严格 应用市场第三方检测中心检测出问题 接入的第三方广告sdk调用敏感函数次数和时机 2. 隐私合规整改的方案 手动排查:耗时、耗力、可能会有遗漏 xposed:非root手机需要借助太极等第三方框架 Gradle Tra »

分布式事务SEATA的介绍与实践

事务ACID原则 原子性:事务中的所有操作,要么全部成功,要么全部失败 一致性:要保证数据库内部完整性约束、声明性约束 隔离性:对同一资源操作的事务不能同时发生 持久性:对数据库做的一切修改将永久保存,不管是否出现故障 一、理论基础 1)CAP理论 1998年,加州大学的计算机科 »

「星星许愿池」实现方案

需求概括: 每轮许愿时间为30s,投注期间用户可选择许愿池投注,同时展示投注动效,在线人数以及当前在线用户投注情况需实时更新。30s投注结束后,展示中奖动画,以及返幸运币动画,此期间不可投注。完成之后,开启下一轮。 技术选型 该活动的重点是页面数据需要实时刷新,之前 »

记线上Dubbo调用异常排查处理

一、简单介绍 suishen-esb中,提供了Dubbo对Hystrix的集成; Hystrix内部使用了线程池完成具体的任务执行; 每一个远程service使用独立的线程池; 内部封装中,线程池的核心线程数和最大线程数默认为30,等待队列使用SynchronousQueue(不 »

tcpkill介绍,一个主动清理tcp连接的工具

背景 我们常用的redis、mysql、mongodb等服务,因为client程序使用异常,如果连接数监控没做好且没及时处理的情况下,server连接数就容易被打满; server连接数被打满的情况下,client就不能新建连接; 对于短连接client,会影响新建连接,业务 »

Swift防御编程

1、背景 我们在代码设计和编写过程中,要尽可能的确保自己的代码不出错,防御性编程能使我们尽早的发现较小问题,而不是等到客户反馈或者收到异常崩溃的时候才发现。 作为开发人员,几乎没有人能保证自己的程序一定没有bug,所以适度的防御会提高开发质量并且降低调试bug的时间。 防御编码的 »