falcon-log-agent 是一个开源版的日志采集工具,旨在从流式的日志中抓取、统计日志中的特征信息。
获取的特征信息,与开源版 Open-Falcon 监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。
准确可依赖 :历经滴滴线上业务近一年考验,统计准确性高。
性能高、资源消耗可控 :性能优化程度高,单核单策略可支撑日志分析:20W条/秒
接入成本低 :外挂式采集,只需要标准化日志即可;输出数据直接对接 open-falcon。
附:滴滴公司 agent 升级前后资源占用对比图
日志采集,是一种外挂式的采集。通过读取进程打印的日志,来进行监控数据的采集与汇聚计算。
本 agent 即日志采集场景下的实时计算。实时读取文件内容,实时计算,将计算结果直接推送至falcon。
要求日志必须包含时间 :不包含时间的日志,只能根据当前时间统计日志条数,结果非常不准确。
不支持文件软链
日志时间必须有序 :为了应对日志延迟落盘等,agent会根据日志的时间来判断某一周期的数据是否采集完成,如果日志时间顺序错乱,可能导致采集不准。