身安不如心安,屋宽不如心宽 。

Elasticsearch 在移动病毒侦测领域应用那些事儿

2016-12-10 by 李啸

李啸,曾经供职于百度, 小米科技,华为南京研究所,从事大规模分布式队列,KV存储,流式反作弊,广告传输系统,小米云平台,华为中间价(高性能jetMQ)的开发运维工作;
目前加入趋势科技(中国)南京研发中心,任职高级研发工程师,从事移动安全专家系统开发工作。目标是打造一套业界top one的海量移动病毒分析侦测平台。
目前我们team主要从事对Android/ios/Mac平台的病毒样本分析研究工作,作为工程团队的我们,主要致力于提供一套分布式移动病毒分析,侦测系统。并且在探索构建一套基于Elasticsearch的规则引擎系统,旨在为公司提供一套病毒分析,检索,情报收集的基础平台。
同时,我们team也在探索将service容器化,尝试使用基于Microservice的交互架构,并尝试将Kubernetes应用于Docker实例的管理,以充分利用服务器资源和配置隔离。

目前移动应用越来越普及,与此同时,大量malware散布于互联网之中,我们需要构建一个病毒分析和检测的平台对大量样本进行分析和检测来protect end user免受病毒的侵扰。
分享主题将围绕elasticearch在移动病毒分析和检测领域的应用展开。
第一部分,介绍系统设计。介绍移动病毒侦测技术在我司的演进过程,介绍分析system的演进过程,逐步过渡到elasticsearch的特点和应用范畴,引入elasticsearch engine后带来的优势。分析移动病毒的特征,基于特征如何设计elasticsearch病毒特征库。如何使用rules来监控和检测病毒。
第二部分,介绍垮库查询系统。根据业务特点,我司的特征库存在分表分库现象,重点介绍如何根据业务特点设计proxy来做elasticsearch垮库查询以及性能优化。
第三部分,介绍elasticsearch集群运维相关。介绍elasticsearch运维,调优,监控,测试相关实践经验。