/// <summary> /// 插入好几篇文章 /// </summary> /// <param name="dbname">数据库名字</param> /// <param name="list">要插入的文章结构体列表</param> /// <returns>是否成功,成功为1,失败为0</returns> public int insertIndex(string dbname, List <xapIndex> list) { ChineseSeg cs = new ChineseSeg(); string DBName = dbname; //操作索引 try { Xapian.WritableDatabase database; database = new Xapian.WritableDatabase(DBName, Xapian.Xapian.DB_CREATE_OR_OPEN); foreach (var item in list) { Console.WriteLine("插入数据:" + item.title); Xapian.TermGenerator indexer = new Xapian.TermGenerator(); Xapian.Document doc = new Xapian.Document(); doc.SetData(HttpUtility.HtmlEncode(item.content)); //设置负载域 DateTime DateTimestart = DateTime.Now; doc.AddValue(VALUE_TIME, DateTimestart.ToString("yyyy/MM/dd")); //插入时间 doc.AddValue(VALUE_AHREF, item.ahref); //原文链接 doc.AddValue(VALUE_LOCALINK, item.link); //本地链接 doc.AddValue(VALUE_TITLE, item.title); //文章标题 doc.AddValue(VALUE_SOURCE, item.source.ToString()); //来源类型 doc.AddValue(VALUE_SECLEVEL, item.seclevel.ToString()); //等级 doc.AddValue(VALUE_EXTENSION, item.extension.ToString()); //扩展名 doc.AddValue(VALUE_HASHCODE, item.hashcode); //hash indexer.SetDocument(doc); indexer.SetStemmingStrategy(Xapian.TermGenerator.stem_strategy.STEM_NONE); //设置不解析策略 string strcut = cs.JiebaSeg(item.content); //中文分词 string titlecut = cs.JiebaSeg(item.title); //中文分词 indexer.IndexText(strcut, 1, "C"); //设置内容前缀 indexer.IndexText(titlecut, 1, "T"); //设置标题前缀 indexer.IndexText(item.hashcode, 1, "Q"); //设置文档名hash indexer.IndexText(item.ahref, 1, "A"); //设置链接前缀(用于推送文件夹订阅) database.AddDocument(doc); //加入数据库 } database.Commit(); //提交数据库 database.Close(); //关闭数据库 } catch (Exception e) { log.Error(e.Message); Console.Error.WriteLine("Exception: " + e.ToString()); return(0); } return(1); }
/// <summary> /// 更新一篇文章列表 /// </summary> /// <param name="dbname">数据库路径</param> /// <param name="list">文章列表</param> /// <returns>是否成功,成功为1,失败为0</returns> public int updateDocument(string dbname, List <xapIndex> list) { ChineseSeg cs = new ChineseSeg(); string DBName = dbname; try { Xapian.WritableDatabase database; database = new Xapian.WritableDatabase(DBName, Xapian.Xapian.DB_CREATE_OR_OPEN); foreach (var item in list) { Xapian.Enquire enquire = new Xapian.Enquire(database); //设置检索的前缀 Xapian.QueryParser qp = new Xapian.QueryParser(); qp.SetDatabase(database); qp.SetDefaultOp(Xapian.Query.op.OP_ELITE_SET); qp.SetStemmingStrategy(Xapian.QueryParser.stem_strategy.STEM_NONE); //通过hash查找文章 string querystr = item.hashcode; qp.AddPrefix("", "Q"); //hash前缀为Q Xapian.Query query = qp.ParseQuery(querystr); Console.WriteLine("query is" + query.GetDescription() + "\n"); //开始检索 enquire.SetQuery(query); //返回结果 Xapian.MSet XapAns = enquire.GetMSet(0, int.MaxValue); for (Xapian.MSetIterator iter = XapAns.Begin(); iter != XapAns.End(); ++iter) { Xapian.Document iterdoc = iter.GetDocument(); if (iterdoc.GetValue(VALUE_HASHCODE) != item.hashcode) //以防出现hash筛选错误 { continue; } else { uint docid = iter.GetDocId(); //获取唯一id Xapian.Document doc = new Xapian.Document(); Xapian.TermGenerator indexer = new Xapian.TermGenerator(); doc.SetData(HttpUtility.HtmlEncode(item.content)); //设置负载域 DateTime DateTimestart = DateTime.Now; doc.AddValue(VALUE_TIME, DateTimestart.ToString("yyyy/MM/dd")); //插入时间 doc.AddValue(VALUE_AHREF, item.ahref); //原文链接 doc.AddValue(VALUE_LOCALINK, item.link); //本地链接 doc.AddValue(VALUE_TITLE, item.title); //文章标题 doc.AddValue(VALUE_SOURCE, item.source.ToString()); //来源类型 doc.AddValue(VALUE_SECLEVEL, item.seclevel.ToString()); //等级 doc.AddValue(VALUE_EXTENSION, item.extension.ToString()); //扩展名 doc.AddValue(VALUE_HASHCODE, item.hashcode); //hash indexer.SetDocument(doc); indexer.SetStemmingStrategy(Xapian.TermGenerator.stem_strategy.STEM_NONE); //设置不解析策略 string strcut = cs.JiebaSeg(item.content); string titlecut = cs.JiebaSeg(item.title); indexer.IndexText(strcut, 1, "C"); //设置内容前缀 indexer.IndexText(titlecut, 1, "T"); //设置标题前缀 indexer.IndexText(item.hashcode, 1, "Q"); //设置文档名hash indexer.IndexText(item.ahref, 1, "A"); //设置链接前缀(用于推送文件夹订阅) database.ReplaceDocument(docid, doc); //替换文档 } } } database.Commit(); //提交数据库 database.Close(); //关闭数据库 } catch (Exception e) { log.Error(e.Message); Console.Error.WriteLine("Exception: " + e.ToString()); return(0); } return(1); }