/** * i_rasiterの画像から、i_surfaceにマッチするパターンを検出して、その理想座標と3次元座標セットを返す。 * 検出した頂点セットは、o_pos2dとo_pos3dへ最大i_num個出力する。 * @param i_raster * 現在の画像 * @param i_surface * 検出すべきサーフェイスセット * @param i_trans * 現在の姿勢変換行列 * @param o_pos2d * 出力パラメータ。画面上の理想点。 * オブジェクトの配列を指定すること。 * @param o_pos3d * 出力パラメータ。三次元サーフェイス座標。 * オブジェクトの配列を指定すること。 * @param i_num * 返却数。この数値は、コンストラクタに与えた最大数以下である必要がある。o_pos2dとo_pos3dは、この数値より大きい配列でなければならない。 * @return * 検出した頂点セットの数。 * @throws NyARException */ public int tracking(INyARGrayscaleRaster i_raster, NyARSurfaceDataSet i_surface, NyARDoubleMatrix44 i_trans, NyARDoublePoint2d[] o_pos2d, NyARDoublePoint3d[] o_pos3d, int i_num) { //テンプレートドライバの更新 INyARTemplateMatchingDriver tmd; if (this._last_raster != i_raster) { tmd = this._last_driver = new NyARTemplateMatchingDriver_INT1D(i_raster, 12, 12); this._last_raster = i_raster; } else { tmd = this._last_driver; } //射影変換行列の計算とログへの追加 NyARSurfaceTransMatrixSet tlog = this._ctrans_log.preAdd(); tlog.setValue(this._ref_cparam.getPerspectiveProjectionMatrix(), i_trans); //可視な候補を選択する。(一時リスト) this._feature_selector.extractVisibleFeatures(i_surface.fset, tlog, this._candidate, this._candidate2); PatchImagePositions pcpoints = this.__pcpoints; //load screen size. NyARIntSize s = this._ref_cparam.getScreenSize(); //頂点選択クラス類の初期化 NyARSurfaceFeatureIndexSelector index_selecter = this.__index_selecter; NyARSurfaceFeaturesPtr selected_features = this.__selected_features; selected_features.clear(); //最大返却数の決定 int max_feature = i_num > this.__selected_features.getArraySize() ? this.__selected_features.getArraySize() : i_num; int num = 0; NyARSurfaceFeatures current_candidate = this._candidate; for (int i = max_feature - 1; i >= 0; i--) { //高精度を優先して探索。なければ低精度に切り替える。切替は1度だけ。出力は座標集合。 int k = index_selecter.ar2SelectTemplate(current_candidate, this._prev_selected_features, selected_features, s); if (k < 0) { if (current_candidate == this._candidate2) { break; } current_candidate = this._candidate2; //未選択なら終了 k = index_selecter.ar2SelectTemplate(current_candidate, this._prev_selected_features, selected_features, s); if (k < 0) { break; } } //候補kを確保 NyARSurfaceFeatureItem cai = current_candidate.getItem(k); //可視な点について、トラッキングするためのパッチ画像を生成 NyARTemplatePatchImage template_ = this.__template_patch; template_.makeFromReferenceImage((int)(cai.x + 0.5), (int)(cai.y + 0.5), tlog.ctrans, this._ref_cparam.getDistortionFactor(), i_surface.iset.items[cai.scale]); //パッチ画像の内容をチェック? if (template_.vlen * template_.vlen >= (template_.xsize) * (template_.ysize) * AR2_DEFALUT_TRACKING_SD_THRESH * AR2_DEFALUT_TRACKING_SD_THRESH) { //射影変換行列ログから候補点を作る。 int number_of_point = pcpoints.makeCandidatePos(cai, this._ctrans_log); //画像からテンプレートを検索 double sim = tmd.ar2GetBestMatching(template_, pcpoints.pos, number_of_point, o_pos2d[num]); //類似値が一定以上なら、保存 if (sim > this.simThresh) { if (selected_features.push(cai) == null) { break;//最大値に達したら終わり } this._ref_cparam.getDistortionFactor().observ2Ideal(o_pos2d[num], o_pos2d[num]); o_pos3d[num].x = cai.ref_feature.mx; o_pos3d[num].y = cai.ref_feature.my; o_pos3d[num].z = 0; //選択した得量を記録 num++; } } //選択された候補を取り外す。 current_candidate.remove(k); } // 過去ログへ記録 this._prev_selected_features.clear(); for (int i = 0; i < selected_features.getLength(); i++) { this._prev_selected_features.push(selected_features.getItem(i).ref_feature); } return(num); }
public void extractVisibleFeatures( NyARNftFsetFile i_fset, NyARSurfaceTransMatrixSet i_ctrans, NyARSurfaceFeatures candidate, NyARSurfaceFeatures candidate2) { //get work objects NyARDoublePoint2d ide2d = this.__ide2d; NyARDoublePoint2d obs2d = this.__obs2d; NyARDoublePoint2d rideal2d = this.__rideal2d; // trans1.setCoefficient(i_cparam.getPerspectiveProjectionMatrix(), trans1); candidate.clear(); candidate2.clear(); int xsize = this._ref_size.w; int ysize = this._ref_size.h; INyARCameraDistortionFactor df = this._ref_dist_factor; for (int j = 0; j < i_fset.list.Length; j++) { NyARNftFsetFile.NyAR2FeaturePoints fpoint_ptr = i_fset.list[j]; for (int k = 0; k < fpoint_ptr.coord.Length; k++) { NyARNftFsetFile.NyAR2FeatureCoord coord_ptr = fpoint_ptr.coord[k]; //理想画面点を計算 i_ctrans.calculate2dPos(coord_ptr.mx, coord_ptr.my, ide2d); df.ideal2Observ(ide2d.x, ide2d.y, obs2d); //観察座標に変換後、画面内にあるか確認 if (obs2d.x < 0 || obs2d.x >= xsize) { continue; } if (obs2d.y < 0 || obs2d.y >= ysize) { continue; } //逆変換可能か確認 df.observ2Ideal(obs2d, rideal2d); if (ide2d.sqDist(rideal2d) > 1.0) { continue; } //原点からのベクトルを計算 //Z軸が+だとつかえないので判定? if (i_ctrans.calculateVd(coord_ptr.mx, coord_ptr.my) > -0.1) { continue; } // double vd0 = trans1.m00 * coord_ptr.mx+ trans1.m01 * coord_ptr.my+ trans1.m03; // double vd1 = trans1.m10 * coord_ptr.mx+ trans1.m11 * coord_ptr.my+ trans1.m13; // double vd2 = trans1.m20 * coord_ptr.mx+ trans1.m21 * coord_ptr.my+ trans1.m23; // if( (vd0*trans1.m02 + vd1*trans1.m12 + vd2*trans1.m22)/Math.sqrt( vd0*vd0 + vd1*vd1 + vd2*vd2 ) > -0.1 ){ // continue; // } //撮影箇所のdpiを計算(x,y方向で計算して、大・小の順番で格納?) double dpi = i_ctrans.ar2GetMinResolution(coord_ptr); //dpiによってコレクトする候補を分離 if (dpi <= fpoint_ptr.maxdpi && dpi >= fpoint_ptr.mindpi) { NyARSurfaceFeatureItem item = candidate.prePush(); if (item == null) { return; } item.ref_feature = coord_ptr; item.scale = fpoint_ptr.scale; item.x = obs2d.x; item.y = obs2d.y; } else if (dpi <= fpoint_ptr.maxdpi * 2 && dpi >= fpoint_ptr.mindpi / 2) { NyARSurfaceFeatureItem item = candidate2.prePush(); if (item == null) { return; } item.ref_feature = coord_ptr; item.scale = fpoint_ptr.scale; item.x = obs2d.x; item.y = obs2d.y; } } } return; }