public IEnumerable<RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount) { if (!FileEventStore.ExistsValid(_serverFolder, StoreId)) yield break; using (var store = FileEventStore.OpenForReading(_serverFolder, StoreId)) { foreach (var record in store.ReadAll(startOffset, maxRecordCount)) { yield return record; } } }
public IEnumerable <RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount) { if (!FileEventStore.ExistsValid(_serverFolder, StoreId)) { yield break; } using (var store = FileEventStore.OpenForReading(_serverFolder, StoreId)) { foreach (var record in store.ReadAll(startOffset, maxRecordCount)) { yield return(record); } } }
public IEnumerable<RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount) { if (maxRecordCount < 0) throw new ArgumentOutOfRangeException("maxRecordCount"); if (!AzureEventStore.IsValid(Config, StoreId)) yield break; // CHECK existence using (var cont = AzureEventStore.OpenExistingForReading(Config, StoreId)) { foreach (var record in cont.ReadAll(startOffset, maxRecordCount)) { yield return record; } } }
static void Main(string[] args) { var keywords = File.ReadAllLines("d:\\keywords.txt"); var store = PlatformClient.ConnectToEventStore(Settings.StorePath, Settings.StoreId, Settings.StoreConnection); //var next = !store.ReadAllEvents().Any() ? new EventStoreOffset(0) : store.ReadAllEvents().Last().Next; var next = new EventStoreOffset(0); //Console.WriteLine("находим позиции сайтов"); ////находим позиции сайтов //for (int i = 0; i < keywords.Length; i++) //{ // try // { // Console.WriteLine(keywords[i]); // new KeywordSerach().FindSitePositionByKeyword(keywords[i], Engine.Google); // Thread.Sleep(5 * 1000); // } // catch (InvalidDataException e) // { // MessageBox.Show("Google забанил"); // Thread.Sleep(30 * 1000); // i--; // } //} Console.WriteLine("находим просканированные страницы сайта"); //находим проскнированные страницы сайтов из топ 100 foreach (var eventsWithMetaData in store.ReadAllEvents(next)) { if (eventsWithMetaData.StreamId != "EngineSearchResult") continue; var keywordResult = KeywordResult.TryGetFromBinary(eventsWithMetaData.EventData); Console.WriteLine("Ищем страницы сайтов для слова " + keywordResult.Keyword); for (int i = 0; i < keywordResult.EngineResults.Count; i++) { EngineResult engineResult = keywordResult.EngineResults[i]; Console.WriteLine("Слово: {0}\tСайт:{1}", keywordResult.Keyword, engineResult.Url); new IndexedPages().FindSiteIndexedPages(engineResult.Url, keywordResult.Engine); } } }
public IEnumerable <RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount) { if (maxRecordCount < 0) { throw new ArgumentOutOfRangeException("maxRecordCount"); } if (!AzureEventStore.IsValid(Config, StoreId)) { yield break; } // CHECK existence using (var cont = AzureEventStore.OpenExistingForReading(Config, StoreId)) { foreach (var record in cont.ReadAll(startOffset, maxRecordCount)) { yield return(record); } } }
public IEnumerable<RetrievedEventsWithMetaData> ReadAll(EventStoreOffset startOffset, int maxRecordCount) { Ensure.Nonnegative(maxRecordCount, "maxRecordCount"); var maxOffset = _checkpoint.Read(); // nothing to read from here if (startOffset >= new EventStoreOffset(maxOffset)) yield break; int recordCount = 0; foreach (var msg in _store.ReadAll(startOffset.OffsetInBytes, maxOffset, maxRecordCount)) { yield return msg; if (++recordCount >= maxRecordCount) yield break; // we don't want to go above the initial water mark if (msg.Next.OffsetInBytes >= maxOffset) yield break; } }
public RetrievedEventsWithMetaData(string streamId, byte[] eventData,EventStoreOffset next) { StreamId = streamId; EventData = eventData; Next = next; }