如何使用Python连接HBase和Spark？

小编典典

如何使用Python连接HBase和Spark？

python

我有一个令人尴尬的并行任务，我使用Spark来分配计算。这些计算是在Python中进行的，我使用PySpark读取和预处理数据。我任务的输入数据存储在HBase中。不幸的是，我还没有找到一种令人满意的（即易于使用且可扩展）的方式，可以使用Python从/向Spark读取/写入HBase数据。

我之前探讨过的内容：

使用从我的Python进程内部进行连接happybase。该软件包允许使用HBase的Thrift API从Python连接到HBase。这样，我基本上跳过Spark进行数据读取/写入，并且错过了潜在的HBase-Spark优化。读取速度似乎相当快，但是写入速度却很慢。这是目前我最好的解决方案。
使用SparkContextnewAPIHadoopRDD和saveAsNewAPIHadoopDataset使用HBase的MapReduce接口。此示例曾经包含在Spark代码库中（请参阅此处）。但是，现在认为这些已经过时了，而不再支持HBase的Spark绑定（请参阅此处）。我还发现这种方法很慢且麻烦（对于阅读，编写效果很好），例如，newAPIHadoopRDD必须对返回的字符串进行各种解析和转换，以最终得到所需的Python对象。它还一次仅支持一列。

我知道的替代方法：

我目前正在使用Cloudera的CDH和5.7.0版提供的内容hbase-spark（CDH发行说明，以及详细的博客文章）。该模块（以前称为SparkOnHBase）将正式成为HBase 2.0的一部分。不幸的是，这个奇妙的解决方案似乎仅适用于Scala / Java。
华为的HBase Spark-SQL / Astro（我看不出两者之间的区别…）。它看起来不像我希望的解决方案那样强大和得到很好的支持。

阅读 216

2020-12-20

共1个答案

小编典典

我发现是由的制造商之一发表的hbase-spark，这似乎暗示着有一种方法可以使用Spark
SQL使用PySpark查询HBase。

实际上，可以将此处描述的模式应用于使用PySpark使用SparkSQL查询HBase，如以下示例所示：

from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlc = SQLContext(sc)

data_source_format = 'org.apache.hadoop.hbase.spark'

df = sc.parallelize([('a', '1.0'), ('b', '2.0')]).toDF(schema=['col0', 'col1'])

# ''.join(string.split()) in order to write a multi-line JSON string here.
catalog = ''.join("""{
    "table":{"namespace":"default", "name":"testtable"},
    "rowkey":"key",
    "columns":{
        "col0":{"cf":"rowkey", "col":"key", "type":"string"},
        "col1":{"cf":"cf", "col":"col1", "type":"string"}
    }
}""".split())


# Writing
df.write\
.options(catalog=catalog)\  # alternatively: .option('catalog', catalog)
.format(data_source_format)\
.save()

# Reading
df = sqlc.read\
.options(catalog=catalog)\
.format(data_source_format)\
.load()

我已经尝试过hbase- spark-1.2.0-cdh5.7.0.jar（由Cloudera分发），但是遇到了麻烦（org.apache.hadoop.hbase.spark.DefaultSource does not allow create table as select写java.util.NoSuchElementException: None.get时，读时）。事实证明，当前版本的CDH不包括hbase-spark允许Spark SQL-HBase集成的更改。

什么做
的工作对我来说是shc星火包，发现在这里。我必须对以上脚本进行的唯一更改是更改：

data_source_format = 'org.apache.spark.sql.execution.datasources.hbase'

按照shc自述文件中的示例，这是我在CDH群集上提交上述脚本的方式：

spark-submit --packages com.hortonworks:shc:1.0.0-1.6-s_2.10 --repositories http://repo.hortonworks.com/content/groups/public/ --files /opt/cloudera/parcels/CDH/lib/hbase/conf/hbase-site.xml example.py

大部分工作shc似乎已经合并到hbase-sparkHBase模块中，以在2.0版中发布。这样，可以使用上述模式对HBase进行Spark
SQL查询（有关详细信息，请参见：https：
//hbase.apache.org/book.html#_sparksql_dataframes）。上面的示例显示了PySpark用户的外观。

最后，请注意：我上面的示例数据仅包含字符串。不支持Python数据转换shc，因此我遇到了整数和浮点数未在HBase中显示或出现奇怪值的问题。

2020-12-20