Sparser 是一个用于解析原始数据的解析引擎,由斯坦福大学开源,用于非结构化和半结构化的数据格式,例如 JSON、Avro 和 Parquet。
特性
用原始过滤器过滤后再解析,丢弃那些不需要用假阳性率解析的记录
用高效的优化器选择级联的原始过滤器
提供超过现有解析器 22 倍的加速度
Sparser 的独特之处在于它可利用 SIMD 加速过滤函数在解析之前过滤数据。在 JSON、Avro 和 Parquet 数据上,Sparser 的速度比最先进的解析器最多快 22 倍,并且能将 Apache Spark 中的端对端的查询运行时间最多提高 9 倍。
Sparser与现有技术的比较