K8S故障排查之主机NotReady
故障现象 收到告警，有主机处于NotReady状态，并且该主机的cpu使用率，内存使用率，负载都很高。 故障排查 登陆容器，查看node状态，发现主机处于NotReady状态。 查看主机内的容器状态，发现部分pod处于“删除中”状态，部分pod处于“重启”状态。 登陆华为云，查看 »
微鲤实时数仓建设方案及整体规划
一、实时数仓建设背景 1. 实时需求日趋迫切 目前公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性要求不高 »
怎样以最小的时间成本实现iOS项目的文案国际化----支持OC和Swift项目
前景： 最近经历了TuTu和Yaame 的开发之后，发现国际化过程占用了大量的时间成本。国际化过程工作量大，没有什么技术含量。 思考 能不能通过脚本来实现iOS项目的文案国际化的流程呢？把从获取项目内的文案，到翻译，再到更新到本地的Local文件内，最后修改项目内的代码。 方案 »
JDK升级总结
一、背景 项目升级JDK11，主要基于以下几个出发点： 目前公司使用的JDK8，在2019年1月已经停止更新维护 越来越多的框架和第三方库新版本不再兼容低版本JDK，如果想使用新版本的特性就必须升级。以下是一些常见的框架和第三方库，在其最新版本中需要使用JDK11及以上版本： S »
前端库开发经验小结
一、开发背景 业务组内前端项目有大量日历黄历相关计算，且需要应用在H5、小程序等诸多平台，这部分算法原先放在js文件中作为模块导出，并没有封装成库。这样做的缺点有： API没有统一的文档，使用不方便。 需要重复通过调用函数实现业务。 不便于管理，算法中有错误没法及时修改到 »
Flink优化--RocksDB状态及Checkpoint调优
一、背景 企业生产环境中，会出现大量依赖中间状态的实时任务，目前flink的状态存储有Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（GB 到 TB 级别）时的唯一选择。RocksDB 的性能发挥非常仰赖调优，如果全部采 »
Gpt2初识
一. 背景介绍 GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为 languagemodelsareunsupervisedmultitask_learners GPT2模型的预训练语料库为超过40G的近8000万的网页文本数据，G »
微鲤大数据集群FLINK版本升级踩坑总结
1、背景 微鲤大数据Flink集群依托于华为云于2020年建设，Flink版本为1.10.0。Flink集群主要负责埋点日志实时处理、业务指标实时计算、实时ETL、智能推荐、广告竞价等工作。现有Flink Job 超百个，slot 1800+，日均处理数据超十亿，日均200GB左 »
Flutter+iOS混合开发实践
一、混合开发效果展示和描述 ①、演示鲤读混合开发效果 ②、概述： flutter与native混合开发，包含两个模块：flutter调用原生功能、原有项目嵌入flutter模块 主要内容： flutter如何调用native原生硬件信息，flutter和native之间如何通信， »
ANDROID函数插桩实现隐私合规检测
1. 隐私合规检测的需求 工信部对app个人隐私收集要求严格 应用市场第三方检测中心检测出问题 接入的第三方广告sdk调用敏感函数次数和时机 2. 隐私合规整改的方案 手动排查：耗时、耗力、可能会有遗漏 xposed：非root手机需要借助太极等第三方框架 Gradle Tra »