Exemplo n.º 1
0
        const int bitcount = sizeof(long) * 8;    //longのbit数
        /// <summary>複合ソート法のマスク1個分をやる</summary>
        /// <param name="Index">nCxの組合せの何個目か(0~(nCx)-1)</param>
        async Task <Task> MultipleSortUnit(int Index)
        {
            int[] BaseBlocks = Combi[Index];
            int   StartBlock = BaseBlocks.Last();
            long  SortMask   = UnMask(BaseBlocks, Combi.Choice);

            var QuickSortSW = Stopwatch.StartNew();

            //適当なサイズに切ってそれぞれをクイックソート
            int SortedFileCount = await SplitQuickSort.QuickSortAll(Index, SortMask).ConfigureAwait(false);

            //↓ベンチマーク用 sortのファイル数を入れてやる
            //int SortedFileCount = 52;

            GC.Collect(GC.MaxGeneration, GCCollectionMode.Default, true, false);
            GC.WaitForPendingFinalizers();
            GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce;
            GC.Collect();

            QuickSortSW.Stop();
            Console.WriteLine("{0}\tFile Sort\t{1}ms ", Index, QuickSortSW.ElapsedMilliseconds);

            long[] UnMasks = Enumerable.Range(0, Combi.Choice).Select(i => UnMask(i, Combi.Choice)).ToArray();

            var MultipleSortBlock = new ActionBlock <AddOnlyList <long> >((BlockList) =>
            {
                var Block   = BlockList.InnerArray;
                var NewHash = this.NewHash;

                int LocalPairCount = 0;  //見つけた組合せの数を数える
                int BlockIndex     = 0;
                int CurrentBlockLength;

                //(要素数,実際の要素,…),0 という配列を読み込んでいく
                for (; (CurrentBlockLength = (int)Block[BlockIndex]) > 0; BlockIndex += CurrentBlockLength + 1)
                {
                    //「実際の要素」1セット分を取り出す
                    var SortedSpan = Block.AsSpan(BlockIndex + 1, CurrentBlockLength);

                    //新しい値を含まないやつは省略
                    if (NewHash != null)
                    {
                        for (int i = 0; i < SortedSpan.Length; i++)
                        {
                            if (NewHash.Contains(SortedSpan[i]))
                            {
                                goto HasNewHash;
                            }
                        }
                        continue;
                    }
                    HasNewHash:

                    for (int i = 0; i < SortedSpan.Length; i++)
                    {
                        long Sorted_i     = SortedSpan[i];
                        bool NeedInsert_i = NewHash?.Contains(Sorted_i) ?? true;
                        //long maskedhash_i = Sorted_i & SortMask;
                        for (int j = i + 1; j < SortedSpan.Length; j++)
                        {
                            long Sorted_j = SortedSpan[j];
                            //重複排除を行う(同じハッシュ同士を比較しないだけ)
                            if (Sorted_i == Sorted_j)
                            {
                                continue;
                            }
                            //if (maskedhash_i != (Sorted[j] & FullMask)) { break; }    //これはSortedFileReaderがやってくれる
                            //間違いなくすでにDBに入っているペアは処理しない
                            if ((NeedInsert_i || NewHash.Contains(Sorted_j))    //NewHashがnullなら後者は処理されないからセーフ
                                //ブロックソートで一致した組のハミング距離を測る
                                && BitOperations.PopCount((ulong)(Sorted_i ^ Sorted_j)) <= MaxHammingDistance)
                            {
                                //一致したペアが見つかる最初の組合せを調べる
                                int matchblockindex = 0;
                                int x;
                                for (x = 0; x < UnMasks.Length && x < StartBlock && matchblockindex < BaseBlocks.Length; x++)
                                {
                                    if (BaseBlocks.Contains(x))
                                    {
                                        if (x < BaseBlocks[matchblockindex])
                                        {
                                            break;
                                        }
                                        matchblockindex++;
                                    }
                                    else
                                    {
                                        if ((Sorted_i & UnMasks[x]) == (Sorted_j & UnMasks[x]))
                                        {
                                            if (x < BaseBlocks[matchblockindex])
                                            {
                                                break;
                                            }
                                            matchblockindex++;
                                        }
                                    }
                                }
                                //最初の組合せだったときだけ入れる
                                if (x == StartBlock)
                                {
                                    LocalPairCount++;
                                    PairBatchBlock.Post(new HashPair(Sorted_i, Sorted_j));
                                }
                            }
                        }
                    }
                }
                BlockList.Dispose();
                Interlocked.Add(ref PairCount, LocalPairCount);
            }, new ExecutionDataflowBlockOptions()
            {
                MaxDegreeOfParallelism        = Environment.ProcessorCount,
                BoundedCapacity               = Environment.ProcessorCount << 1,
                    SingleProducerConstrained = true
            });

            var MultipleSortSW = Stopwatch.StartNew();

            //クイックソートしたファイル群をマージソートしながら読み込む
            using (var Reader = new MergeSortReader(Index, SortedFileCount, SortMask))
            {
                int PostponeCount = 1 + config.hash.MergeSortPostponePairCount / DBHandler.StoreMediaPairsUnit;
                var GCStopWatch   = Stopwatch.StartNew();
                AddOnlyList <long> Sorted;
                while ((Sorted = Reader.ReadBlocks()) != null)
                {
                    await MultipleSortBlock.SendAsync(Sorted).ConfigureAwait(false);

                    //DBにハッシュのペアを入れる処理が詰まったら休んだりGCしたりする
                    while (PostponeCount < PairStoreBlock.InputCount)
                    {
                        if (60000 <= GCStopWatch.ElapsedMilliseconds)
                        {
                            GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce;
                            GC.Collect();
                            GCStopWatch.Restart();
                        }
                        await Task.Delay(1000).ConfigureAwait(false);
                    }
                }
            }
            //余りをDBに入れるついでにここで制御を戻してしまう
            MultipleSortBlock.Complete();
            return(MultipleSortBlock.Completion
                   .ContinueWith((_) =>
            {
                MultipleSortSW.Stop();
                Console.WriteLine("{0}\tMerge+Comp\t{1}ms", Index, MultipleSortSW.ElapsedMilliseconds);
            }));
        }