Lucene Token Lucene分析 Lucene TokenStream Lucene Token 令牌表示(起始偏移量,结束偏移,令牌类型和位置增量位置,)在像它的元数据相关的详细信息的文档中的文本或字。 类声明 以下是org.apache.lucene.analysis.Token类的声明: public class Token extends TermAttributeImpl implements TypeAttribute, PositionIncrementAttribute, FlagsAttribute, OffsetAttribute, PayloadAttribute, PositionLengthAttribute 字段 static AttributeSource.AttributeFactory TOKEN_ATTRIBUTE_FACTORY - 方便的工厂,返回令牌作为实现的基本属性,并返回默认实现了impl(以“默认地将Impl”追加)的所有其他属性。 类的构造函数 S.N. 构造函数和说明 1 Token() 构造一个令牌将空文。 2 Token(char[] startTermBuffer, int termBufferOffset, int termBufferLength, int start, int end) 构造具有给定期限的缓冲区(偏移和长度)令牌,开始和结束偏移 3 Token(int start, int end) 构造一个空文本标记,并开始和结束偏移。 4 Token(int start, int end, int flags) 构造一个空文本标记,并开始和结束偏移量加上标志。 5 Token(int start, int end, String typ) 构造一个空文本标记,并开始和结束偏移量加上令牌类型。 6 Token(String text, int start, int end) 构造具有给定期限文字令牌,并开始和结束偏移。 7 Token(String text, int start, int end, int flags) 构造具有给定的文字,开始和结束偏移量,和类型的令牌。 8 Token(String text, int start, int end, String typ) 构造具有给定的文字,开始和结束偏移量和类型的令牌。 类方法 S.N. 方法及说明 1 void clear() 重置术语文本,负载,标志和positionIncrement,startOffset,endOffset和令牌类型为默认值。 2 Object clone() 浅克隆。 3 Token clone(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset) 使得克隆,但替换术语缓冲区和开始/结束的过程中抵消。 4 void copyTo(AttributeImpl target) 从这个属性为传入的目标属性复制值。 5 int endOffset() 返回此令牌的结束偏移,比对应此令牌源文本的最后一个字符的位置大一。 6 boolean equals(Object obj) 7 int getFlags() 得到bitset对已设置的任何位。 8 Payload getPayload() 返回此令牌的负载。 9 int getPositionIncrement() 返回此令牌的位置增量。 10 int getPositionLength() 获取位置的长度。 11 int hashCode() 12 void reflectWith(AttributeReflector reflector) 这种方法是属性自省,应该只需添加键/值这个属性包含给定AttributeReflector。 13 Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset) 调用clear(),CharTermAttributeImpl.copyBuffer(char[], int, int), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 在Token.DEFAULT_TYPE 14 Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType) 缩写调用 clear(), CharTermAttributeImpl.copyBuffer(char[], int, int), setStartOffset(int), setEndOffset(int), setType(java.lang.String)在Token.DEFAULT_TYPE 15 Token reinit(String newTerm, int newStartOffset, int newEndOffset) 缩写调用 clear(), CharTermAttributeImpl.append(CharSequence), setStartOffset(int), setEndOffset(int) setType(java.lang.String) on Token.DEFAULT_TYPE 16 Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset) 缩写调用 clear(), CharTermAttributeImpl.append(CharSequence, int, int), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 在Token.DEFAULT_TYPE 17 Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType) 缩写调用 clear(), CharTermAttributeImpl.append(CharSequence, int, int), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 18 Token reinit(String newTerm, int newStartOffset, int newEndOffset, String newType) 缩写调用clear(), CharTermAttributeImpl.append(CharSequence), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 19 void reinit(Token prototype) 原型令牌的字段复制到这一个。 20 void reinit(Token prototype, char[] newTermBuffer, int offset, int length) 原型令牌的领域复制到这一个,用不同的词。 21 void reinit(Token prototype, String newTerm) 原型令牌的领域复制到这一个,用不同的词。 22 void setEndOffset(int offset) 设置结束偏移。 23 void setFlags(int flags) 24 void setOffset(int startOffset, int endOffset) 设置开始和结束偏移。 25 void setPayload(Payload payload) 设置此令牌的负载。 26 void setPositionIncrement(int positionIncrement) 设置位置增量。 27 void setPositionLength(int positionLength) 设置位置的长度。 28 void setStartOffset(int offset) 设置起始偏移量。 29 void setType(String type) 设置词汇类型。 30 int startOffset() 返回此令牌的起始偏移,对应于该令牌的源文本的第一个字符的位置。 31 String type() 返回此令牌的词汇类型。 方法继承 这个类从以下类继承的方法: org.apache.lucene.analysis.tokenattributes.TermAttributeImpl org.apache.lucene.analysis.tokenattributes.CharTermAttributeImpl org.apache.lucene.util.AttributeImpl java.lang.Object Lucene分析 Lucene TokenStream