public double[] CalculateOutputOfHiddenLayer(double[] arr)
{
double[] result = new double[ANNParameterBUS.HiddenNode];
for (int j = 0; j < ANNParameterBUS.HiddenNode; j++)
{
result[j] = ANNParameterBUS.Bias;
for (int i = 0; i < ANNParameterBUS.InputNode; i++)
{
result[j] += (WeightIH[i][j] * arr[i]);
}
result[j] = PreprocessBUS.NormalizeBySigmoid(result[j]);
}
return(result);
}
public void LoadDataSet(string strDataFile)
{
StreamReader reader = null;
try
{
reader = new StreamReader(strDataFile);
string strTemp = reader.ReadLine();
Preprocess = new PreprocessBUS();
Preprocess.Min = double.Parse(strTemp.Split(' ')[1]);
Preprocess.Max = double.Parse(strTemp.Split(' ')[2]);
strTemp = reader.ReadToEnd();
reader.Close();
string[] strLines = Regex.Split(strTemp, "\r\n");
DblActual_Forecast = new double[2][];
NumPattern = strLines.Length - 1;
DblActual_Forecast[0] = new double[NumPattern];
DblActual_Forecast[1] = new double[NumPattern];
ArrPattern = new double[NumPattern][];
for (int i = 0; i < NumPattern; i++)
{
string[] strValue = strLines[i].Split(' ');
DblActual_Forecast[0][i] = double.Parse(strValue[0]);
ArrPattern[i] = new double[ANNParameterBUS.InputNode];
for (int j = 0; j < ANNParameterBUS.InputNode; j++)
{
ArrPattern[i][j] = double.Parse(strValue[j + 1].Split(':')[1]);
}
}
ANNModel = new ANNModelBUS();
ANNModel.LoadModelFile();
}
catch (Exception ex)
{
throw ex;
}
}
private void btnOK_Click(object sender, EventArgs e)
{
if (tbxCsvFilePath.Text == "" || cmbPreprocess.SelectedIndex < 0 || tbxNumInputNode.Text == "" || tbxTrainingRatio.Text == "")
{
MessageBox.Show("Error: You must fill all required inputs!", "Error", MessageBoxButtons.OK, MessageBoxIcon.Error);
return;
}
//1. Đọc dữ liệu từ file .csv vào mảng và tiền xử lý
StockRecordBUS stockRecordBUS = new StockRecordBUS();
StockRecordDTO stockRecordDTO = stockRecordBUS.LoadData(tbxCsvFilePath.Text);
double[] dblSource = new double[stockRecordDTO.Entries.Count];
int i = 0;
foreach (EntryDTO entryDTO in stockRecordDTO.Entries)
{
dblSource[i] = entryDTO.ClosePrice;
i++;
}
PreprocessBUS preprocessBUS = new PreprocessBUS();
#region Phần riêng
if (rdPricePrediction.Checked)//Dự đoán giá
{
if (rdSVR.Checked)//Mô hình SVR
{
if (cmbPreprocess.SelectedItem.ToString() == "ScaleByMinMax")
{
preprocessBUS.FindMinMax(dblSource);
dblSource = preprocessBUS.PreprocessByMinMax(dblSource);
}
}
else//Mô hình ANN
{
if (cmbPreprocess.SelectedItem.ToString() == "ScaleByMinMax")
{
preprocessBUS.FindMinMax(dblSource);
dblSource = preprocessBUS.PreprocessByMinMax(dblSource);
}
}
}
else//Dự đoán xu hướng
{
if (rdSVR.Checked)//Mô hình SVR
{
if (cmbPreprocess.SelectedItem.ToString() == "Return[-1,1]")
{
dblSource = preprocessBUS.Scale_SVR_Return(stockRecordDTO.Entries.Count, dblSource, 1, 1);
}
}
else//Mô hình ANN
{
if (cmbPreprocess.SelectedItem.ToString() == "Return[-1,1]")
{
dblSource = preprocessBUS.Scale_SVR_Return(stockRecordDTO.Entries.Count, dblSource, 1, 1);
}
}
}
#endregion
//2. Chuyển sang định dạng của LibSVM (dựa vào số node đầu vào)
ConverterBUS converter = new ConverterBUS();
int iPos = tbxCsvFilePath.Text.LastIndexOf('\\');
string strFolderPath = tbxCsvFilePath.Text.Remove(iPos+1);
string strTotalFile = strFolderPath + stockRecordDTO.ID + ".txt";
int iNumInputNode = Convert.ToInt32(tbxNumInputNode.Text);
int numDaysPredicted = 1;
int iNumLine = 0;
if (cmbPreprocess.SelectedItem.ToString() == "Return[-1,1]")
{
if (int.TryParse(tbxNumDaysPredicted.Text,out numDaysPredicted))
{
converter.ConvertForTrend(int.Parse(tbxNumDaysPredicted.Text), iNumInputNode, dblSource, strTotalFile, out iNumLine, 2, false);
}
else
{
MessageBox.Show("Please enter a number");
return;
}
}
else
{
if(ckbImproveDirection.Checked)
{
double dblTrainPercent = Convert.ToDouble(tbxTrainingRatio.Text);
converter.ConvertWImprovedDirection(iNumInputNode, dblSource, strTotalFile, dblTrainPercent, out iNumLine);
}
else
{
converter.Convert(iNumInputNode, dblSource, strTotalFile, out iNumLine);
}
}
//3. Từ file chứa toàn bộ dữ liệu ta phân phối vào 2 file train và test (dựa vào tỉ lệ bộ train)
string strTrainFile = strFolderPath + stockRecordDTO.ID + "_" + numDaysPredicted + "_train.txt";
string strTestFile = strFolderPath + stockRecordDTO.ID + "_" + numDaysPredicted + "_test.txt";
StreamReader reader = new StreamReader(strTotalFile);
StreamWriter trainWriter = new StreamWriter(strTrainFile);
StreamWriter testWriter = new StreamWriter(strTestFile);
//Ghi phương thức xử lý vào dòng đầu tiên của file test
//Mục đích là để ta có thể chuyển về dữ liệu nguyên thủy
testWriter.WriteLine(cmbPreprocess.SelectedItem.ToString() + " " + preprocessBUS.Min.ToString() + " " + preprocessBUS.Max.ToString());
double dblTrainingSetRatio = Convert.ToDouble(tbxTrainingRatio.Text);
//int iBound = numDaysPredicted > iNumInputNode ? 2 * numDaysPredicted : numDaysPredicted + iNumInputNode;
//int iNumLine = dblSource.Length - iBound + 1;
int iDivideLine = (int)(dblTrainingSetRatio * iNumLine/100);
for (i = 0; i < iDivideLine; i++)
{
string strLine = reader.ReadLine();
trainWriter.WriteLine(strLine);
}
for (; i < iNumLine; i++)
{
string strLine = reader.ReadLine();
testWriter.WriteLine(strLine);
}
testWriter.Close();
trainWriter.Close();
reader.Close();
MessageBox.Show("Finish!");
}
private void btnPredict_Click(object sender, EventArgs e)
{
//Ma trận với dòng thứ 1 chứa các giá trị thực và dòng thứ 2 chứa các giá trị dự đoán.
double[][] dblActual_Forecast = new double[2][];
dblActual_Forecast[0] = null;
dblActual_Forecast[1] = null;
#region Price
#region Ghi File Test
//Dùng tạm số node input = 5, sau này bổ sung hàm đọc file số node input
int numInputNode = 5;
//Tìm ngày cần dự đoán
DateTime inputDay = dtpInputDay.Value;
DateTime Today = ((EntryDTO)_stockRecordDTO.Entries[_stockRecordDTO.Entries.Count - 1]).Date;
int i;
for (i = 0; i < _stockRecordDTO.Entries.Count - numInputNode; i++)
{
EntryDTO curEntry = (EntryDTO)_stockRecordDTO.Entries[i + numInputNode];
if (inputDay.Subtract(curEntry.Date).Days <= 0 && inputDay.Subtract(Today).Days <= 0)
{
break;
}
}
//Ghi bộ input đầu vào cho ngày dự đoán
double[] dblSource = new double[numInputNode + 1];
if (i < _stockRecordDTO.Entries.Count - numInputNode)
{
//1. Đọc dữ liệu vào mảng
double[] dblTemp = new double[_stockRecordDTO.Entries.Count];
for (int j = 0; j < _stockRecordDTO.Entries.Count; j++)
{
EntryDTO curEntry = (EntryDTO)_stockRecordDTO.Entries[j];
dblTemp[j] = curEntry.ClosePrice;
}
for (int j = 0; j < numInputNode; j++)
{
EntryDTO curEntry = (EntryDTO)_stockRecordDTO.Entries[i + j];
dblSource[j] = curEntry.ClosePrice;
}
PreprocessBUS preprocessBUS = new PreprocessBUS();
preprocessBUS.FindMinMax(dblTemp);
dblSource = preprocessBUS.PreprocessByMinMax(dblSource);
//2. Tạo file test. File test này chỉ có 2 dòng:
//+Dòng 1: Chứa thông tin tiền xử lý
//+Dòng 2: Giống như 1 dòng của file training, nhưng giá trị đích không biết (để bằng 0)
StreamWriter writer = new StreamWriter(@"TestPrice.txt");
writer.WriteLine("ScaleByMinMax " + preprocessBUS.Min.ToString() + " " + preprocessBUS.Max.ToString());
string strLine = "0 ";
for (int j = 0; j < numInputNode; j++)
{
strLine += (j + 1).ToString() + ":" + dblSource[j].ToString() + " ";
}
writer.WriteLine(strLine);
writer.Close();
}
else
{
MessageBox.Show("Error: Invalid input!");
}
#endregion
#region Dự đoán ANN
ANNModelBUS.AnnModelFile = @"AppModel\ANNPrice\" + cmbStockID.SelectedItem.ToString() + "_1_model.txt";
ANNParameterBUS.LoadParameter();
ANNPredictBUS annPredict = new ANNPredictBUS();
annPredict.LoadDataSet(@"TestPrice.txt");
dblActual_Forecast = annPredict.MainProcess();
pricePredict = dblActual_Forecast[1][0];
tbxANNPrice.Text = Math.Round(dblActual_Forecast[1][0], 2).ToString();
#endregion
string[] strArgs = new string[3];
strArgs[0] = @"TestPrice.txt";
strArgs[1] = @"AppModel\SVRPrice\" + cmbStockID.SelectedItem.ToString() + "_1_model.txt";
strArgs[2] = "price_predicted.txt";
dblActual_Forecast = svm_predict.MainProcess(strArgs);
tbxSVMPrice.Text = Math.Round(dblActual_Forecast[1][0], 2).ToString();
#endregion
#region Trend
//Dùng tạm số node input = 5, sau này bổ sung hàm đọc file số node input
numInputNode = 5;
//Tìm ngày cần dự đoán
inputDay = dtpInputDay.Value;
Today = ((EntryDTO)_stockRecordDTO.Entries[_stockRecordDTO.Entries.Count - 1]).Date;
for (i = 0; i < _stockRecordDTO.Entries.Count; i++)
{
EntryDTO curEntry = (EntryDTO)_stockRecordDTO.Entries[i];
if (inputDay.Subtract(curEntry.Date).Days <= 0 && inputDay.Subtract(Today).Days <= 0)
{
break;
}
}
int numDaysPredicted = 1;
if (!int.TryParse(tbxNumDayTrendPredict.Text, out numDaysPredicted))
{
MessageBox.Show("Please enter a number");
return;
}
//Ghi bộ input đầu vào cho ngày dự đoán
dblSource = new double[numInputNode * numDaysPredicted + numDaysPredicted + 1];
if (i < _stockRecordDTO.Entries.Count && i > numInputNode * numDaysPredicted)
{
for (int k = 0; k < dblSource.Length; k++)
{
dblSource[k] = 0;
}
//1. Đọc dữ liệu vào mảng
for (int j = 0; j < numInputNode * numDaysPredicted; j++)
{
EntryDTO curEntry = (EntryDTO)_stockRecordDTO.Entries[i - j];
dblSource[j] = curEntry.ClosePrice;
}
for (int k = 0; k < dblSource.Length; k++)
{
if (dblSource[k] == 0)
{
dblSource[k] = dblSource[0];
}
}
PreprocessBUS preprocessBUS = new PreprocessBUS();
dblSource = preprocessBUS.Scale_SVR_Return(dblSource.Length, dblSource, 1, 1);
//2. Chuyển sang định dạng của LibSVM (dựa vào số node đầu vào)
ConverterBUS converter = new ConverterBUS();
int iNumLine = 0;
converter.ConvertForTrend(numDaysPredicted, numInputNode, dblSource, "TestTrend.txt", out iNumLine, 2, true);
#region Dự đoán ANN
if (numDaysPredicted >= 1 && numDaysPredicted < 5)
{
ANNModelBUS.AnnModelFile = @"AppModel\ANNTrend\" + cmbStockID.SelectedItem.ToString() + "_1_model.txt";
strArgs[1] = @"AppModel\SVRTrend\" + cmbStockID.SelectedItem.ToString() + "_1_model.txt";
}
else if (numDaysPredicted >= 5 && numDaysPredicted < 10)
{
ANNModelBUS.AnnModelFile = @"AppModel\ANNTrend\" + cmbStockID.SelectedItem.ToString() + "_5_model.txt";
strArgs[1] = @"AppModel\SVRTrend\" + cmbStockID.SelectedItem.ToString() + "_5_model.txt";
}
else if (numDaysPredicted >= 10 && numDaysPredicted < 30)
{
ANNModelBUS.AnnModelFile = @"AppModel\ANNTrend\" + cmbStockID.SelectedItem.ToString() + "_10_model.txt";
strArgs[1] = @"AppModel\SVRTrend\" + cmbStockID.SelectedItem.ToString() + "_10_model.txt";
}
else
{
ANNModelBUS.AnnModelFile = @"AppModel\ANNTrend\" + cmbStockID.SelectedItem.ToString() + "_30_model.txt";
strArgs[1] = @"AppModel\SVRTrend\" + cmbStockID.SelectedItem.ToString() + "_30_model.txt";
}
ANNParameterBUS.LoadParameter();
ANNPredictBUS annPredictTrend = new ANNPredictBUS();
annPredictTrend.LoadDataSet(@"TestTrend.txt");
dblActual_Forecast = annPredictTrend.MainProcessTrend();
trendPredict = dblActual_Forecast[1][0];
tbxANNTrend.Text = dblActual_Forecast[1][0] > 0 ? "Tăng" : "Giảm";
strArgs[0] = @"TestTrend.txt";
strArgs[2] = "trend_predicted.txt";
dblActual_Forecast = svm_predict.MainProcess(strArgs);
tbxSVMTrend.Text = dblActual_Forecast[1][0] > 0 ? "Tăng" : "Giảm";
#endregion
}
else
{
MessageBox.Show("Error: Invalid input!");
}
#endregion
}
public double[][] StepTrainingMethod()
{
ANNParameterBUS.TrainingSize = 35;
PreprocessBUS preprocessBUS = new PreprocessBUS();
ANNTrainBUS annTrain = new ANNTrainBUS();
int len = ArrPattern.Length - ANNParameterBUS.TrainingSize;
double[][] dblActual_Forecast = new double[2][];
dblActual_Forecast[0] = new double[len];
dblActual_Forecast[1] = new double[len];
ArrPattern = Preprocess.DenormalizeByMinMax(ArrPattern);
DblActual_Forecast[0] = Preprocess.DenormalizeByMinMax(DblActual_Forecast[0]);
for (int i = 0; i < len; i++)
{
double[][] trainingSet = SelectTrainingSet(i);
preprocessBUS.FindMinMax(trainingSet);
trainingSet = preprocessBUS.PreprocessByMinMax(trainingSet);
annTrain.LoadDataSet(trainingSet);
annTrain.Main();
ANNModel.LoadModelFile();
ANNModel.OutInputLayer = preprocessBUS.PreprocessByMinMax(ArrPattern[i + ANNParameterBUS.TrainingSize - 1]);
dblActual_Forecast[1][i] = preprocessBUS.DenormalizeByMinMax(ANNModel.FeedforwardTraining());
dblActual_Forecast[0][i] = DblActual_Forecast[0][i + ANNParameterBUS.TrainingSize];
}
DblActual_Forecast = dblActual_Forecast;
NumPattern = len;
return dblActual_Forecast;
}
//Giá trị trả về là giá dự đoán
public double TrainAndPredict(bool isSVR)
{
double[][] dblActual_Forecast = null;
#region Phần chung
//1. Lấy đoạn dữ liệu cần thiết
double[] dblData = PickNeededData();
//2. Tiền xử lý
PreprocessBUS preprocessBUS = new PreprocessBUS();
if (Preprocess == "ScaleByMinMax")
{
preprocessBUS.FindMinMax(dblData);
dblData = preprocessBUS.PreprocessByMinMax(dblData);
}
ConverterBUS converter = new ConverterBUS();
int iNumLine = 0;
if(ImprovedDirection)
{
converter.ConvertWImprovedDirection(NumInputNode, dblData, "Training.txt", 100, out iNumLine);
}
else
{
converter.Convert(NumInputNode, dblData, "Training.txt", out iNumLine);
}
//Tạo file test. File test này chỉ có 2 dòng:
//+Dòng 1: Chứa thông tin tiền xử lý
//+Dòng 2: Giống như 1 dòng của file training, nhưng giá trị đích không biết (để bằng 0)
StreamWriter writer = new StreamWriter("Test.txt");
if (Preprocess == "ScaleByMinMax")
{
writer.WriteLine("ScaleByMinMax " + preprocessBUS.Min.ToString() + " " + preprocessBUS.Max.ToString());
}
string strLine = "0 ";
for (int i = 0; i < NumInputNode; i++)
{
strLine = strLine + (i+1).ToString() + ":" + dblData[TrainingSize - NumInputNode + i].ToString() + " ";
}
writer.WriteLine(strLine);
writer.Close();
#endregion
#region Phần riêng
//3. Huấn luyện và dự đoán
#region SVR
if (isSVR == true) //SVR
{
string[] strArgs = new string[8];
strArgs[0] = "-g"; //gama. Trong hàm Gauss kernel: exp(-gamma*|u-v|^2)
strArgs[2] = "-c";
strArgs[4] = "-p"; //epsilon
strArgs[6] = "Training.txt";
strArgs[7] = "SVRModel.txt";
//Tìm bộ tham số (gama, c, epsilon)
svm_modelSelection modelSelection = new svm_modelSelection();
modelSelection.Log = false;
string[] strArgsModel = new string[4];
strArgsModel[0] = "-v";
strArgsModel[1] = NumFold;
strArgsModel[2] = "Training.txt";
strArgsModel[3] = "SVRModel.txt";
if (ModelSelection == "Grid search")
{
modelSelection.Run(strArgsModel, "", true, TrainingMeasure, CrossValidationType);
strArgs[1] = modelSelection.Y.ToString(); //gama
strArgs[3] = modelSelection.X.ToString(); //c
strArgs[5] = modelSelection.Z.ToString(); //epsilon
//Huấn luyện
svm_train.Main(strArgs);
//Dự đoán
strArgs = new string[3];
strArgs[0] = "Test.txt";
strArgs[1] = "SVRModel.txt";
strArgs[2] = "Prediction.txt";
dblActual_Forecast = svm_predict.MainProcess(strArgs);
}
else if(ModelSelection == "Pattern search")
{
const int iNumModel = 10;
for (int i = 0; i < iNumModel; i++)
{
modelSelection = new svm_modelSelection {Log = false};
strArgsModel[3] = "SVRModel" + i + 1 + ".txt";
modelSelection.Run(strArgsModel, "", false, TrainingMeasure, CrossValidationType);
strArgs[1] = (Math.Pow(2, modelSelection.Y)).ToString(); //gama
strArgs[3] = (Math.Pow(2, modelSelection.X)).ToString(); //c
strArgs[5] = (Math.Pow(2, modelSelection.Z)).ToString(); //epsilon
strArgs[7] = "SVRModel" + i + 1 + ".txt";
//Huấn luyện
svm_train.Main(strArgs);
}
//Dự đoán
double[][][] dblTemp = new double[iNumModel][][];
dblActual_Forecast = new double[2][];
dblActual_Forecast[0] = new double[]{0};
dblActual_Forecast[1] = new double[]{0};
for (int i = 0; i < iNumModel; i++)
{
strArgs = new string[3];
strArgs[0] = "Test.txt";
strArgs[1] = "SVRModel" + i + 1 + ".txt";
strArgs[2] = "Prediction.txt";
dblTemp[i] = svm_predict.MainProcess(strArgs);
dblActual_Forecast[1][0] += dblTemp[i][1][0];
}
dblActual_Forecast[1][0] /= iNumModel;
}
}
#endregion
#region ANN
else //ANN
{
//Huấn luyện
ANNParameterBUS.InputNode = NumInputNode;
ANNModelBUS.AnnModelFile = "ANNModel.txt";
ANNTrainBUS annTrain = new ANNTrainBUS();
annTrain.LoadDataSet("Training.txt");
annTrain.Main();
//Dự đoán
ANNParameterBUS.LoadParameter();
ANNPredictBUS annPredict = new ANNPredictBUS();
annPredict.LoadDataSet("Test.txt");
dblActual_Forecast = annPredict.MainProcess();
}
#endregion
#endregion
return dblActual_Forecast[1][0]; //Giá dự đoán
}
private void btnPredict_Click(object sender, EventArgs e)
{
//Dùng tạm số node input = 10, sau này bổ sung hàm đọc file số node input
int inputNode = 10;
//Tìm ngày cần dự đoán
DateTime PredictDay = Convert.ToDateTime(dtpPredictDay.Text);
int i;
for (i = _stockRecordDTO.Entries.Count - 1; i >= inputNode; i--)
{
EntryDTO curEntry = (EntryDTO)_stockRecordDTO.Entries[i - inputNode];
if (PredictDay.CompareTo(curEntry.Date) == 0)
{
break;
}
}
//Ghi bộ input đầu vào cho ngày dự đoán
double[] dblSource = new double[inputNode + 1];
if (i >= inputNode)
{
//1. Đọc dữ liệu vào mảng
for (int j = 0; j < inputNode; j++)
{
EntryDTO curEntry = (EntryDTO)_stockRecordDTO.Entries[i - j];
dblSource[j] = curEntry.ClosePrice;
}
PreprocessBUS preprocessBUS = new PreprocessBUS();
preprocessBUS.FindMinMax(dblSource);
dblSource = preprocessBUS.PreprocessByMinMax(dblSource);
//2. Chuyển sang định dạng của LibSVM (dựa vào số node đầu vào)
SVMConverterBUS converter = new SVMConverterBUS();
int iPos = strPath.LastIndexOf('\\');
string strFolderPath = strPath.Remove(iPos + 1);
string strTotalFile = strFolderPath + _stockRecordDTO.ID + ".txt";
int iNumInputNode = inputNode;
int numDaysPredicted = 1;
int iNumLine = 0;
converter.Convert(iNumInputNode, dblSource.Length, dblSource, strTotalFile, out iNumLine);
//3. Từ file chứa toàn bộ dữ liệu ta phân phối vào 2 file train và test (dựa vào tỉ lệ bộ train)
string strTestFile = strFolderPath + _stockRecordDTO.ID + "_" + numDaysPredicted + "_test.txt";
StreamReader reader = new StreamReader(strTotalFile);
StreamWriter testWriter = new StreamWriter(strTestFile);
//Ghi phương thức xử lý vào dòng đầu tiên của file test
//Mục đích là để ta có thể chuyển về dữ liệu nguyên thủy
testWriter.WriteLine("ScaleByMinMax" + " " + preprocessBUS.Min.ToString() + " " + preprocessBUS.Max.ToString());
for (i = 0; i < iNumLine; i++)
{
string strLine = reader.ReadLine();
testWriter.WriteLine(strLine);
}
testWriter.Close();
reader.Close();
}
}
