Example #1
0
        /// <summary>
        /// 插入好几篇文章
        /// </summary>
        /// <param name="dbname">数据库名字</param>
        /// <param name="list">要插入的文章结构体列表</param>
        /// <returns>是否成功,成功为1,失败为0</returns>
        public int insertIndex(string dbname, List <xapIndex> list)
        {
            ChineseSeg cs     = new ChineseSeg();
            string     DBName = dbname;

            //操作索引
            try
            {
                Xapian.WritableDatabase database;
                database = new Xapian.WritableDatabase(DBName, Xapian.Xapian.DB_CREATE_OR_OPEN);

                foreach (var item in list)
                {
                    Console.WriteLine("插入数据:" + item.title);
                    Xapian.TermGenerator indexer = new Xapian.TermGenerator();
                    Xapian.Document      doc     = new Xapian.Document();
                    doc.SetData(HttpUtility.HtmlEncode(item.content));              //设置负载域

                    DateTime DateTimestart = DateTime.Now;
                    doc.AddValue(VALUE_TIME, DateTimestart.ToString("yyyy/MM/dd")); //插入时间
                    doc.AddValue(VALUE_AHREF, item.ahref);                          //原文链接
                    doc.AddValue(VALUE_LOCALINK, item.link);                        //本地链接
                    doc.AddValue(VALUE_TITLE, item.title);                          //文章标题
                    doc.AddValue(VALUE_SOURCE, item.source.ToString());             //来源类型
                    doc.AddValue(VALUE_SECLEVEL, item.seclevel.ToString());         //等级
                    doc.AddValue(VALUE_EXTENSION, item.extension.ToString());       //扩展名
                    doc.AddValue(VALUE_HASHCODE, item.hashcode);                    //hash

                    indexer.SetDocument(doc);
                    indexer.SetStemmingStrategy(Xapian.TermGenerator.stem_strategy.STEM_NONE); //设置不解析策略

                    string strcut   = cs.JiebaSeg(item.content);                               //中文分词
                    string titlecut = cs.JiebaSeg(item.title);                                 //中文分词

                    indexer.IndexText(strcut, 1, "C");                                         //设置内容前缀
                    indexer.IndexText(titlecut, 1, "T");                                       //设置标题前缀
                    indexer.IndexText(item.hashcode, 1, "Q");                                  //设置文档名hash
                    indexer.IndexText(item.ahref, 1, "A");                                     //设置链接前缀(用于推送文件夹订阅)

                    database.AddDocument(doc);                                                 //加入数据库
                }
                database.Commit();                                                             //提交数据库
                database.Close();                                                              //关闭数据库
            }
            catch (Exception e)
            {
                log.Error(e.Message);
                Console.Error.WriteLine("Exception: " + e.ToString());
                return(0);
            }
            return(1);
        }
Example #2
0
        /// <summary>
        /// 更新一篇文章列表
        /// </summary>
        /// <param name="dbname">数据库路径</param>
        /// <param name="list">文章列表</param>
        /// <returns>是否成功,成功为1,失败为0</returns>
        public int updateDocument(string dbname, List <xapIndex> list)
        {
            ChineseSeg cs     = new ChineseSeg();
            string     DBName = dbname;

            try
            {
                Xapian.WritableDatabase database;
                database = new Xapian.WritableDatabase(DBName, Xapian.Xapian.DB_CREATE_OR_OPEN);

                foreach (var item in list)
                {
                    Xapian.Enquire enquire = new Xapian.Enquire(database);
                    //设置检索的前缀
                    Xapian.QueryParser qp = new Xapian.QueryParser();
                    qp.SetDatabase(database);
                    qp.SetDefaultOp(Xapian.Query.op.OP_ELITE_SET);
                    qp.SetStemmingStrategy(Xapian.QueryParser.stem_strategy.STEM_NONE);
                    //通过hash查找文章
                    string querystr = item.hashcode;
                    qp.AddPrefix("", "Q");  //hash前缀为Q
                    Xapian.Query query = qp.ParseQuery(querystr);
                    Console.WriteLine("query is" + query.GetDescription() + "\n");
                    //开始检索
                    enquire.SetQuery(query);
                    //返回结果
                    Xapian.MSet XapAns = enquire.GetMSet(0, int.MaxValue);
                    for (Xapian.MSetIterator iter = XapAns.Begin(); iter != XapAns.End(); ++iter)
                    {
                        Xapian.Document iterdoc = iter.GetDocument();
                        if (iterdoc.GetValue(VALUE_HASHCODE) != item.hashcode)              //以防出现hash筛选错误
                        {
                            continue;
                        }
                        else
                        {
                            uint                 docid   = iter.GetDocId();                 //获取唯一id
                            Xapian.Document      doc     = new Xapian.Document();
                            Xapian.TermGenerator indexer = new Xapian.TermGenerator();
                            doc.SetData(HttpUtility.HtmlEncode(item.content));              //设置负载域

                            DateTime DateTimestart = DateTime.Now;
                            doc.AddValue(VALUE_TIME, DateTimestart.ToString("yyyy/MM/dd")); //插入时间
                            doc.AddValue(VALUE_AHREF, item.ahref);                          //原文链接
                            doc.AddValue(VALUE_LOCALINK, item.link);                        //本地链接
                            doc.AddValue(VALUE_TITLE, item.title);                          //文章标题
                            doc.AddValue(VALUE_SOURCE, item.source.ToString());             //来源类型
                            doc.AddValue(VALUE_SECLEVEL, item.seclevel.ToString());         //等级
                            doc.AddValue(VALUE_EXTENSION, item.extension.ToString());       //扩展名
                            doc.AddValue(VALUE_HASHCODE, item.hashcode);                    //hash

                            indexer.SetDocument(doc);
                            indexer.SetStemmingStrategy(Xapian.TermGenerator.stem_strategy.STEM_NONE);  //设置不解析策略

                            string strcut   = cs.JiebaSeg(item.content);
                            string titlecut = cs.JiebaSeg(item.title);

                            indexer.IndexText(strcut, 1, "C");          //设置内容前缀
                            indexer.IndexText(titlecut, 1, "T");        //设置标题前缀
                            indexer.IndexText(item.hashcode, 1, "Q");   //设置文档名hash
                            indexer.IndexText(item.ahref, 1, "A");      //设置链接前缀(用于推送文件夹订阅)

                            database.ReplaceDocument(docid, doc);       //替换文档
                        }
                    }
                }
                database.Commit();                                      //提交数据库
                database.Close();                                       //关闭数据库
            }
            catch (Exception e)
            {
                log.Error(e.Message);
                Console.Error.WriteLine("Exception: " + e.ToString());
                return(0);
            }
            return(1);
        }