微鲤技术团队

中华万年历客户端埋点方案解析

前言孔雀系统SDK是我们客户端埋点SDK的前身。在最开始设计时，孔雀系统主要是为应用提供各种样式的广告展示及广告的view、click等事件的统计。广告样式包括：开屏广告、提醒弹窗、回退弹窗广告、通用广告等，和现在第三方的广告SDK类似（banner、插屏、开屏、原生等）， »

随着互联网的发展，数据日益增多，增长超过了单机能够处理的上线，数据如何存储和处理成为了科技公司的难题，随着google的三篇论文的发布，大家终于找到了一个方案-分布式文件系统+MapReduce。Hadoop是参考google论文实现的，集成了分布式文件系统与分布式批处理平台。h »

来自公司内部的技术分享。根据市面上的公开资料总结了Netflix在技术上面的一些实践和创新，给技术团队的下一步发展寻找一些方向。 »

之前的一篇文章《中华万年历推荐系统实践》讲述了我们从0开始做推荐系统的一些实践。后续主要针对微鲤看看的信息流推荐做了进一步的优化迭代。本文即讲述了这些实践。作者介绍林晟，微鲤数据挖掘工程师。目前承担了推荐引擎算法、策略部分以及广告CTR预估等数据挖掘方面的研发工作。 »

来自公司内部的技术分享，是对区块链技术的入门讲解。详文：http://www.rowkey.me/blog/2018/03/15/blockchain/ »

来自公司内部的技术分享，是数仓的入门知识。目录数据仓库基本概念维度建模缓慢变化维度拉链表数据分层 1.1 数据仓库基本概念 1.2 维度建模 1.3 缓慢变化维度 1.4 拉链表 1.5 数据分层作者介绍郭彦磊，微鲤高级大数据开发工程师。作为主要研发人员 »

来自公司内部的一次架构交流/培训，把架构的概念、架构的形式、架构设计原则都做了阐述。 PPT观看 »

如上图，2亿华人都在使用的日历-中华万年历，给大家提供了实用、方便的服务。那又是怎样的技术团队，在给我们中华万年历提供技术支撑服务了？答案就是我们的后台技术中心团队，主要包括开发团队和SR团队。在这里重点介绍下我们的SR团队的演进过程以及dev和ops的合作。 »

业务介绍中华万年历的头条数据是根据推荐算法聚合而成的数据，包括ALS算法数据、用户画像数据、时效数据、非时效数据、定投数据、惊喜数据、频道数据、热榜数据、用户相关阅读推荐数据等。启动方式分为冷启动和用户画像启动。冷启动：无用户画像或用户画像得分<8分。用户画像：根据用 »

单节点的统计系统 2014年之前，中华万年历统计的主要内容是广告，那时候统计方案是客户端采集到曝光、点击等数据，在客户端进行轻度汇总之后，提交到服务器，服务器通过redis做队列，采用Bitmap和Bitset的数据结构进行去重统计，然后快照到MySQL中，延时5分钟左右。这个阶 »