纳金网

标题: 高效关键词过滤算法(转载) [打印本页]
作者: 狂风大尉    时间: 2014-7-31 21:58
标题: 高效关键词过滤算法(转载)

前一段时间项目需要用到关键词过滤功能，在网上找了找，现成的好像都不太好用，调用麻烦不说，测试了一下还经常出错，所以一狠心自己写了一套，也没有想象中的麻烦。
最简单的算法，就是直接取出过滤词表里的所有词，直接替换，但是策划同学们提出了一个额外需求，需要可以控制过滤的深度，比如说一个关键字是“哈哈”，那么策划需要可以控制是否过滤“哈1哈”和“哈12哈”这样的词，这就比较麻烦了。

翻了翻正则表达式，没什么头绪（个人不太擅长正则），最后还是用的字符串比对的方法，先检查一下目标字符串里有没有关键词的第一个字，有的话检查有没有第二个，还有的话判断一下这两个字之间的距离，是否大于了策划需要的深度，以此类推。

最后直接上源码了，需要注意的是使用之前要传一个字符串数组（过滤词数组）进来给s_filters。
  1. using System;
  2. using System.Collections.Generic;
  3. using System.Linq;
  4. using System.Text;
  5. using System.Text.RegularExpressions;

  7. public abstract class WordFilter
  8. {
  9.         public static string[] s_filters = null;

  11.         public static bool filter(string content, out string result_str, int filter_deep = 1, bool check_only = false, bool bTrim = false, string replace_str = "*")
  12.         {
  13.                 string result = content;
  14.                 if (bTrim)
  15.                 {
  16.                         result = result.Trim();
  17.                 }
  18.                 result_str = result;

  20.                 if (s_filters == null)
  21.                 {
  22.                         return false;
  23.                 }

  25.                 bool check = false;
  26.                 foreach (string str in s_filters)
  27.                 {
  28.                         string s = str.Replace(replace_str, "");
  29.                         if (s.Length == 0)
  30.                         {
  31.                                 continue;
  32.                         }

  34.                         bool bFiltered = true;
  35.                         while (bFiltered)
  36.                         {
  37.                                 int result_index_start = -1;
  38.                                 int result_index_end = -1;
  39.                                 int idx = 0;
  40.                                 while (idx < s.Length)
  41.                                 {
  42.                                         string one_s = s.Substring(idx, 1);
  43.                                         if (one_s == replace_str)
  44.                                         {
  45.                                                 continue;
  46.                                         }
  47.                                         if (result_index_end + 1 >= result.Length)
  48.                                         {
  49.                                                 break;
  50.                                         }
  51.                                         int new_index = result.IndexOf(one_s, result_index_end + 1, StringComparison.OrdinalIgnoreCase);
  52.                                         if (new_index == -1)
  53.                                         {
  54.                                                 bFiltered = false;
  55.                                                 break;
  56.                                         }
  57.                                         if (idx > 0 && new_index - result_index_end > filter_deep + 1)
  58.                                         {
  59.                                                 bFiltered = false;
  60.                                                 break;
  61.                                         }
  62.                                         result_index_end = new_index;

  64.                                         if (result_index_start == -1)
  65.                                         {
  66.                                                 result_index_start = new_index;
  67.                                         }
  68.                                         idx++;
  69.                                 }

  71.                                 if (bFiltered)
  72.                                 {
  73.                                         if (check_only)
  74.                                         {
  75.                                                 return true;
  76.                                         }
  77.                                         check = true;
  78.                                         string result_left = result.Substring(0, result_index_start);
  79.                                         for (int i = result_index_start; i <= result_index_end; i++)
  80.                                         {
  81.                                                 result_left += replace_str;
  82.                                         }
  83.                                         string result_right = result.Substring(result_index_end + 1);
  84.                                         result = result_left + result_right;
  85.                                 }
  86.                         }
  87.                 }
  88.                 result_str = result;
  89.                 return check;
  90.         }
  91. }
复制代码
作者: HIDEOKOJIMA    时间: 2014-7-31 22:01
Thanks for sharing this !
作者: hyui    时间: 2014-7-31 22:18
Thanks for sharing !
作者: 我不再年轻    时间: 2014-8-1 11:14
不错, 多谢, 会很有用
作者: Kadina    时间: 2014-8-2 07:05
谢谢楼主分享！
作者: MaiFeo    时间: 2014-8-4 11:48
感谢楼主奉献



欢迎光临 纳金网 (http://rs.narkii.com/club/) Powered by Discuz! X2.5