mcs/tools/monkeydoc/Lucene.Net/Lucene.Net/Analysis/WhitespaceAnalyzer.cs

   1 /*
   2  * Licensed to the Apache Software Foundation (ASF) under one or more
   3  * contributor license agreements.  See the NOTICE file distributed with
   4  * this work for additional information regarding copyright ownership.
   5  * The ASF licenses this file to You under the Apache License, Version 2.0
   6  * (the "License"); you may not use this file except in compliance with
   7  * the License.  You may obtain a copy of the License at
   8  *
   9  * http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  */
  17
  18 using System;
  19
  20 namespace Mono.Lucene.Net.Analysis
  21 {
  22
  23         /// <summary>An Analyzer that uses {@link WhitespaceTokenizer}. </summary>
  24
  25         public sealed class WhitespaceAnalyzer:Analyzer
  26         {
  27                 public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)
  28                 {
  29                         return new WhitespaceTokenizer(reader);
  30                 }
  31
  32                 public override TokenStream ReusableTokenStream(System.String fieldName, System.IO.TextReader reader)
  33                 {
  34                         Tokenizer tokenizer = (Tokenizer) GetPreviousTokenStream();
  35                         if (tokenizer == null)
  36                         {
  37                                 tokenizer = new WhitespaceTokenizer(reader);
  38                                 SetPreviousTokenStream(tokenizer);
  39                         }
  40                         else
  41                                 tokenizer.Reset(reader);
  42                         return tokenizer;
  43                 }
  44         }
  45 }