private static void crearPipesSubidaNormal(DataFactoryManagementClient client)
{
var nombreTablas = DatosGrales.traerTablas(true);
var nombreSinSchema = DatosGrales.traerTablas(false);
List <Activity> la;
CopyActivity ca;
List <DatasetReference> inp;
DatasetReference dr;
List <DatasetReference> outp;
DatasetReference drO;
PipelineResource pipe;
string nombreTablaParaConsulta;
string consulta;
string nombreBD = DatosGrales.nombreBD;
for (int i = 0; i < nombreTablas.Length; i++)
{
if (esTablaEspecial(nombreTablas[i]))
{
//no creo nada porque es especial
}
else
{
nombreTablaParaConsulta = nombreTablas[i].Replace('-', '.');
consulta = DatosGrales.queryMagica(nombreTablaParaConsulta, 10000);
la = new List <Activity>();
ca = new CopyActivity();
ca.Name = "CopyPipeline-Sql-Lake-" + nombreTablas[i];
ca.Source = new SqlSource(null, 3, null, consulta);
ca.Sink = new SqlSink();
inp = new List <DatasetReference>();
dr = new DatasetReference("Dataset_" + nombreBD + "_" + nombreTablas[i]);
inp.Add(dr);
ca.Inputs = inp;
outp = new List <DatasetReference>();
drO = new DatasetReference("Dataset_" + nombreBD + "_DataLakeStore_" + nombreSinSchema[i]);
outp.Add(drO);
ca.Outputs = outp;
la.Add(ca);
pipe = new PipelineResource();
pipe.Activities = la;
client.Pipelines.CreateOrUpdate(DatosGrales.resourceGroup, DatosGrales.dataFactoryName, "Pipeline-Copy-" + nombreBD + "-" + nombreTablas[i], pipe);
Console.Write((i + 1) + ". Pipeline-Copy-" + nombreBD + "-" + nombreTablas[i] + " creado.\n");
}
}
}
private static void crearPipesSubidaConCompresion(DataFactoryManagementClient client)
{
string nombreBD = DatosGrales.nombreBD;
string[] nombreTablas = DatosGrales.traerTablas(true);
string[] nombreTablasParaCompresion = DatosGrales.traerTablas(false);
List <Activity> la;
CopyActivity ca;
List <DatasetReference> inp;
DatasetReference dr;
List <DatasetReference> outp;
DatasetReference drO;
CopyActivity ca2;
List <ActivityDependency> dep;
string nombreTablaParaConsulta;
List <DatasetReference> inp1;
DatasetReference dr1;
List <DatasetReference> outp1;
DatasetReference drO1;
PipelineResource pipe1;
string consulta;
if (nombreBD == "ClaimCenter")
{
nombreBD = "Claim";
}
for (int i = 790; i < nombreTablas.Length; i++)
{
if (esTablaEspecial(nombreTablas[i]))
{
//no creo nada porque tiene un trato especial
}
else
{
nombreTablaParaConsulta = nombreTablas[i].Replace('-', '.');
consulta = DatosGrales.queryMagica(nombreTablaParaConsulta, 0);
la = new List <Activity>();
ca = new CopyActivity();
ca.Name = "CA-Compresion-" + nombreTablas[i];
ca.Source = new SqlSource(null, 3, null, consulta);
ca.Sink = new AzureDataLakeStoreSink();
inp = new List <DatasetReference>();
//dr = new DatasetReference("Dataset_" + nombreBD + "_" + nombreTablas[i]);
dr = new DatasetReference("Dataset_ClaimCenter_" + nombreTablas[i]);
inp.Add(dr);
ca.Inputs = inp;
outp = new List <DatasetReference>();
drO = new DatasetReference("Dataset_Descompresion_" + nombreBD + "_DataLakeStore_" + nombreTablasParaCompresion[i]);
outp.Add(drO);
ca.Outputs = outp;
la.Add(ca);
ca2 = new CopyActivity();
ca2.Name = "CA-Descompresion-" + nombreTablas[i];
ca2.Source = new SqlSource();
ca2.Sink = new AzureDataLakeStoreSink();
string[] condiciones = { "Succeeded" };
dep = new List <ActivityDependency>();
dep.Add(new ActivityDependency("CA-Compresion-" + nombreTablas[i], condiciones));
ca2.DependsOn = dep;
inp1 = new List <DatasetReference>();
dr1 = new DatasetReference("Dataset_Descompresion_" + nombreBD + "_DataLakeStore_" + nombreTablasParaCompresion[i]);
inp1.Add(dr1);
ca2.Inputs = inp1;
outp1 = new List <DatasetReference>();
drO1 = new DatasetReference("Dataset_" + nombreBD + "_DataLakeStore_" + nombreTablasParaCompresion[i]);
outp1.Add(drO1);
ca2.Outputs = outp1;
la.Add(ca2);
pipe1 = new PipelineResource();
pipe1.Activities = la;
client.Pipelines.CreateOrUpdate(DatosGrales.resourceGroup, DatosGrales.dataFactoryName, "Pipeline-Sql-DataLake-ConCompresion-" + nombreBD + "-" + nombreTablas[i], pipe1);
Console.Write((i + 1) + ". Pipeline-Sql-DataLake-ConCompresion-" + nombreBD + "-" + nombreTablas[i] + " creado.\n");
}
}
}
