高效关键词过滤算法(转载)

狂风大尉

前一段时间项目需要用到关键词过滤功能，在网上找了找，现成的好像都不太好用，调用麻烦不说，测试了一下还经常出错，所以一狠心自己写了一套，也没有想象中的麻烦。
最简单的算法，就是直接取出过滤词表里的所有词，直接替换，但是策划同学们提出了一个额外需求，需要可以控制过滤的深度，比如说一个关键字是“哈哈”，那么策划需要可以控制是否过滤“哈1哈”和“哈12哈”这样的词，这就比较麻烦了。

翻了翻正则表达式，没什么头绪（个人不太擅长正则），最后还是用的字符串比对的方法，先检查一下目标字符串里有没有关键词的第一个字，有的话检查有没有第二个，还有的话判断一下这两个字之间的距离，是否大于了策划需要的深度，以此类推。

最后直接上源码了，需要注意的是使用之前要传一个字符串数组（过滤词数组）进来给s_filters。

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.Linq;
   
4. using System.Text;
   
5. using System.Text.RegularExpressions;
   
6. 
   
7. public abstract class WordFilter
   
8. {
   
9.         public static string[] s_filters = null;
   
10. 
    
11.         public static bool filter(string content, out string result_str, int filter_deep = 1, bool check_only = false, bool bTrim = false, string replace_str = "*")
    
12.         {
    
13.                 string result = content;
    
14.                 if (bTrim)
    
15.                 {
    
16.                         result = result.Trim();
    
17.                 }
    
18.                 result_str = result;
    
19. 
    
20.                 if (s_filters == null)
    
21.                 {
    
22.                         return false;
    
23.                 }
    
24. 
    
25.                 bool check = false;
    
26.                 foreach (string str in s_filters)
    
27.                 {
    
28.                         string s = str.Replace(replace_str, "");
    
29.                         if (s.Length == 0)
    
30.                         {
    
31.                                 continue;
    
32.                         }
    
33. 
    
34.                         bool bFiltered = true;
    
35.                         while (bFiltered)
    
36.                         {
    
37.                                 int result_index_start = -1;
    
38.                                 int result_index_end = -1;
    
39.                                 int idx = 0;
    
40.                                 while (idx < s.Length)
    
41.                                 {
    
42.                                         string one_s = s.Substring(idx, 1);
    
43.                                         if (one_s == replace_str)
    
44.                                         {
    
45.                                                 continue;
    
46.                                         }
    
47.                                         if (result_index_end + 1 >= result.Length)
    
48.                                         {
    
49.                                                 break;
    
50.                                         }
    
51.                                         int new_index = result.IndexOf(one_s, result_index_end + 1, StringComparison.OrdinalIgnoreCase);
    
52.                                         if (new_index == -1)
    
53.                                         {
    
54.                                                 bFiltered = false;
    
55.                                                 break;
    
56.                                         }
    
57.                                         if (idx > 0 && new_index - result_index_end > filter_deep + 1)
    
58.                                         {
    
59.                                                 bFiltered = false;
    
60.                                                 break;
    
61.                                         }
    
62.                                         result_index_end = new_index;
    
63. 
    
64.                                         if (result_index_start == -1)
    
65.                                         {
    
66.                                                 result_index_start = new_index;
    
67.                                         }
    
68.                                         idx++;
    
69.                                 }
    
70. 
    
71.                                 if (bFiltered)
    
72.                                 {
    
73.                                         if (check_only)
    
74.                                         {
    
75.                                                 return true;
    
76.                                         }
    
77.                                         check = true;
    
78.                                         string result_left = result.Substring(0, result_index_start);
    
79.                                         for (int i = result_index_start; i <= result_index_end; i++)
    
80.                                         {
    
81.                                                 result_left += replace_str;
    
82.                                         }
    
83.                                         string result_right = result.Substring(result_index_end + 1);
    
84.                                         result = result_left + result_right;
    
85.                                 }
    
86.                         }
    
87.                 }
    
88.                 result_str = result;
    
89.                 return check;
    
90.         }
    
91. }
    

复制代码

HIDEOKOJIMA

Thanks for sharing this !

hyui

Thanks for sharing !

我不再年轻

不错, 多谢, 会很有用

Kadina

谢谢楼主分享！

MaiFeo

感谢楼主奉献