Spark MLLIb具有HashingTF()函数,该函数根据每个术语的哈希值计算文档术语频率。
1)它使用什么函数进行哈希处理?
2)如何从Python获得相同的哈希值?
3)如果我想为给定的单个输入计算散列输出,而不计算术语“频率”,我该怎么做?
如果您有疑问,通常检查来源。给定项的存储区确定如下:
def indexOf(self, term): """ Returns the index of the input term. """ return hash(term) % self.numFeatures
如您所见,这只是hash存储桶的一个普通的旧模块数。
hash
最终哈希只是每个存储区计数的向量(为简便起见,我省略了docstring和RDD的情况):
def transform(self, document): freq = {} for term in document: i = self.indexOf(term) freq[i] = freq.get(i, 0) + 1.0 return Vectors.sparse(self.numFeatures, freq.items())
如果您想忽略频率,则可以将其set(document)用作输入,但是我怀疑这里有很多好处。要创建set,hash无论如何都要计算每个元素。
set(document)
set