public void OnImportsSatisfied()
{
FLogger.Log(LogType.Debug, "OnImport");
this.descs = new List <PXCMSession.ImplDesc>();
this.GetSessionAndSenseManager();
pxcmStatus sts = pxcmStatus.PXCM_STATUS_NO_ERROR;
PXCMAudioSource audio = this.session.CreateAudioSource();
if (audio == null)
{
throw new Exception("Could not create audio source.");
}
// enumrate audio source
// scan available devices
this.deviceInfos = new List <PXCMAudioSource.DeviceInfo>();
audio.ScanDevices();
int deviceNum = audio.QueryDeviceNum();
string[] deviceNames = new string[deviceNum];
for (int i = 0; i < deviceNum; ++i)
{
PXCMAudioSource.DeviceInfo tmpDeviceInfo;
sts = audio.QueryDeviceInfo(i, out tmpDeviceInfo);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
throw new Exception("Could not get audio device.");
}
FLogger.Log(LogType.Debug, "audio device info: " + tmpDeviceInfo.name);
deviceNames[i] = tmpDeviceInfo.name;
this.deviceInfos.Add(tmpDeviceInfo);
}
EnumManager.UpdateEnum("AudioDevice", deviceNames[0], deviceNames);
audio.Dispose();
PXCMSession.ImplDesc inDesc = new PXCMSession.ImplDesc();
inDesc.cuids[0] = PXCMSpeechRecognition.CUID;
for (int i = 0; ; ++i)
{
// get speech recognition engine
PXCMSession.ImplDesc outDesc = null;
sts = this.session.QueryImpl(inDesc, i, out outDesc);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
break;
}
FLogger.Log(LogType.Debug, "speech recognition engine: " + outDesc.friendlyName);
this.descs.Add(outDesc);
}
}
private PXCMAudioSource FindAudioSource()
{
PXCMAudioSource audioSource = _session.CreateAudioSource();
audioSource.ScanDevices();
int devicesCount = audioSource.QueryDeviceNum();
var deviceIndex = 0;
PXCMAudioSource.DeviceInfo deviceInfo;
for (int i = 0; i < devicesCount; i++)
{
audioSource.QueryDeviceInfo(i, out deviceInfo);
if (deviceInfo.name.Contains("Array"))
{
deviceIndex = i;
break;
}
}
audioSource.QueryDeviceInfo(deviceIndex, out deviceInfo);
audioSource.SetDevice(deviceInfo);
audioSource.SetVolume(0.8f);
return(audioSource);
}
public MainWindow()
{
InitializeComponent();
#region Hand
nodes = new PXCMHandData.JointData[][] { new PXCMHandData.JointData[0x20], new PXCMHandData.JointData[0x20] };
xValues = new float[arraySize];
yValues = new float[arraySize];
zValues = new float[arraySize];
#endregion Hand
// Setto la modalita' test per la guida del drone ON/OFF
TestModeCheck.IsChecked = true;
genericItems = new ObservableCollection<GenericItem>();
se = PXCMSession.CreateInstance();
if (se != null)
{
//processingThread = new Thread(new ThreadStart(ProcessingHandThread));
//senseManager = PXCMSenseManager.CreateInstance();
//senseManager.EnableHand();
//senseManager.Init();
//ConfigureHandModule();
//processingThread.Start();
// session is a PXCMSession instance.
audiosource = se.CreateAudioSource();
// Scan and Enumerate audio devices
audiosource.ScanDevices();
PXCMAudioSource.DeviceInfo dinfo = null;
for (int d = audiosource.QueryDeviceNum() - 1; d >= 0; d--)
{
audiosource.QueryDeviceInfo(d, out dinfo);
}
audiosource.SetDevice(dinfo);
se.CreateImpl<PXCMSpeechRecognition>(out sr);
PXCMSpeechRecognition.ProfileInfo pinfo;
sr.QueryProfile(0, out pinfo);
sr.SetProfile(pinfo);
// sr is a PXCMSpeechRecognition instance.
String[] cmds = new String[] { "Takeoff", "Land", "Rotate Left", "Rotate Right", "Advance",
"Back", "Up", "Down", "Left", "Right", "Stop" , "Dance"};
int[] labels = new int[] { 1, 2, 4, 5, 8, 16, 32, 64, 128, 256, 512, 1024 };
// Build the grammar.
sr.BuildGrammarFromStringList(1, cmds, labels);
// Set the active grammar.
sr.SetGrammar(1);
// Set handler
RecognitionHandler = new PXCMSpeechRecognition.Handler();
RecognitionHandler.onRecognition = OnRecognition;
Legenda.Items.Add("------ Available Commands ------");
foreach (var cmd in cmds)
{
Legenda.Items.Add(cmd);
}
}
}
// 音声認識を初期化する
private void InitializeSpeechRecognition()
{
pxcmStatus sts;
var session = senseManager.QuerySession();
// 音声入力デバイスを作成する
audioSource = session.CreateAudioSource();
if (audioSource == null)
{
throw new Exception("音声入力デバイスの作成に失敗しました");
}
// 音声入力デバイスを列挙する
TextDesc.Text = "";
TextDesc.Text += "音声入力デバイス\n";
PXCMAudioSource.DeviceInfo device = null;
// 使用可能なデバイスをスキャンする
audioSource.ScanDevices();
var deviceNum = audioSource.QueryDeviceNum();
for (int i = 0; i < deviceNum; ++i)
{
PXCMAudioSource.DeviceInfo dinfo;
sts = audioSource.QueryDeviceInfo(i, out dinfo);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
throw new Exception("デバイス情報の取得に失敗しました");
}
// 音声入力デバイス名を表示する
TextDesc.Text += "\t" + dinfo.name + "\n";
// 最初のデバイスを使う
if (i == 0)
{
device = dinfo;
}
}
// 音声入力デバイスを設定する
sts = audioSource.SetDevice(device);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
throw new Exception("音声入力デバイスの設定に失敗しました");
}
// 音声認識エンジンを列挙する
TextDesc.Text += "音声認識エンジン\n";
PXCMSession.ImplDesc inDesc = new PXCMSession.ImplDesc();
PXCMSession.ImplDesc outDesc = null;
PXCMSession.ImplDesc desc = null;
inDesc.cuids[0] = PXCMSpeechRecognition.CUID;
for (int i = 0; ; ++i)
{
// 音声認識エンジンを取得する
sts = session.QueryImpl(inDesc, i, out outDesc);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
break;
}
// 音声認識エンジン名称を表示する
TextDesc.Text += "\t" + outDesc.friendlyName + "\n";
// 最初の音声認識エンジンを使う
if (i == 0)
{
desc = outDesc;
}
}
// 音声認識エンジンオブジェクトを作成する
sts = session.CreateImpl <PXCMSpeechRecognition>(desc, out recognition);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
throw new Exception("音声認識エンジンオブジェクトの作成に失敗しました");
}
// 対応言語を列挙する
PXCMSpeechRecognition.ProfileInfo profile = null;
for (int j = 0;; ++j)
{
// 音声認識エンジンが持っているプロファイルを取得する
PXCMSpeechRecognition.ProfileInfo pinfo;
sts = recognition.QueryProfile(j, out pinfo);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
break;
}
// 対応言語を表示する
TextDesc.Text += "\t\t" + LanguageToString(pinfo.language) + "\n";
// 英語のエンジンを使う(日本語対応時には日本語に変更する)
if (pinfo.language == PXCMSpeechRecognition.LanguageType.LANGUAGE_US_ENGLISH)
{
profile = pinfo;
}
}
if (profile == null)
{
throw new Exception("選択した音声認識エンジンが見つかりませんでした");
}
// 使用する言語を設定する
sts = recognition.SetProfile(profile);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
throw new Exception("音声認識エンジンオブジェクトの設定に失敗しました");
}
// ディクテーションモードを設定する
SetDictationMode();
// 音声認識の通知ハンドラを作成する
PXCMSpeechRecognition.Handler handler = new PXCMSpeechRecognition.Handler();
handler.onRecognition = OnRecognition;
// 音声認識を開始する
sts = recognition.StartRec(audioSource, handler);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
throw new Exception("音声認識の開始に失敗しました");
}
}
static void SetupRecognizer(PXCMSession session)
{
PXCMAudioSource.DeviceInfo dinfo = null;
if (session != null)
{
#region Audio Source
// session is a PXCMSession instance.
source = session.CreateAudioSource();
// Scan and Enumerate audio devices
source.ScanDevices();
for (int d = source.QueryDeviceNum() - 1; d >= 0; d--)
{
source.QueryDeviceInfo(d, out dinfo);
// Select one and break out of the loop
break;
}
if (dinfo != null)
{
// Set the active device
source.SetDevice(dinfo);
}
#endregion
#region Recognizer Instance
pxcmStatus sts = session.CreateImpl <PXCMSpeechRecognition>(out sr);
if (sts < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
return;
}
PXCMSpeechRecognition.ProfileInfo pinfo;
sr.QueryProfile(0, out pinfo);
sr.SetProfile(pinfo);
//sr.SetDictation();
#endregion
#region Grammar
Perintah = new Dictionary <string, Module>();
// sr is a PXCMSpeechRecognition instance.
using (var data = new JONGOS_DBEntities())
{
var listCommand = from c in data.Modules
orderby c.ID
select c;
foreach (var item in listCommand.Distinct())
{
Perintah.Add(item.VoiceCommand, item);
}
}
List <string> cmds = new List <string>();
foreach (var cmd in Perintah.Keys)
{
cmds.Add(cmd);
}
// Build the grammar.
sr.BuildGrammarFromStringList(1, cmds.ToArray(), null);
// Set the active grammar.
sr.SetGrammar(1);
#endregion
#region recognition Event
// Set handler
PXCMSpeechRecognition.Handler handler = new PXCMSpeechRecognition.Handler();
handler.onRecognition = OnRecognition;
//handler.onAlert = OnAlert;
// sr is a PXCMSpeechRecognition instance
pxcmStatus stsrec = sr.StartRec(source, handler);
if (stsrec < pxcmStatus.PXCM_STATUS_NO_ERROR)
{
Console.WriteLine("Recognizer error!");
}
#endregion
}
}
// 音声認識を初期化する
private void InitializeSpeechRecognition()
{
pxcmStatus sts;
var session = senseManager.QuerySession();
// 音声入力デバイスを作成する
audioSource = session.CreateAudioSource();
if ( audioSource == null ){
throw new Exception( "音声入力デバイスの作成に失敗しました" );
}
// 音声入力デバイスを列挙する
TextDesc.Text = "";
TextDesc.Text += "音声入力デバイス\n";
PXCMAudioSource.DeviceInfo device = null;
// 使用可能なデバイスをスキャンする
audioSource.ScanDevices();
var deviceNum = audioSource.QueryDeviceNum();
for ( int i = 0; i < deviceNum; ++i ) {
PXCMAudioSource.DeviceInfo dinfo;
sts = audioSource.QueryDeviceInfo( i, out dinfo );
if ( sts < pxcmStatus.PXCM_STATUS_NO_ERROR ) {
throw new Exception( "デバイス情報の取得に失敗しました" );
}
// 音声入力デバイス名を表示する
TextDesc.Text += "\t" + dinfo.name + "\n";
// 最初のデバイスを使う
if ( i == 0 ){
device = dinfo;
}
}
// 音声入力デバイスを設定する
sts = audioSource.SetDevice( device );
if ( sts < pxcmStatus.PXCM_STATUS_NO_ERROR ) {
throw new Exception( "音声入力デバイスの設定に失敗しました" );
}
// 音声認識エンジンを列挙する
TextDesc.Text += "音声認識エンジン\n";
PXCMSession.ImplDesc inDesc = new PXCMSession.ImplDesc();
PXCMSession.ImplDesc outDesc = null;
PXCMSession.ImplDesc desc = null;
inDesc.cuids[0] = PXCMSpeechRecognition.CUID;
for ( int i = 0; ; ++i ) {
// 音声認識エンジンを取得する
sts = session.QueryImpl( inDesc, i, out outDesc );
if ( sts < pxcmStatus.PXCM_STATUS_NO_ERROR ) {
break;
}
// 音声認識エンジン名称を表示する
TextDesc.Text += "\t" + outDesc.friendlyName + "\n";
// 最初の音声認識エンジンを使う
if( i== 0 ){
desc = outDesc;
}
}
// 音声認識エンジンオブジェクトを作成する
sts = session.CreateImpl<PXCMSpeechRecognition>( desc, out recognition );
if ( sts < pxcmStatus.PXCM_STATUS_NO_ERROR ) {
throw new Exception( "音声認識エンジンオブジェクトの作成に失敗しました" );
}
// 対応言語を列挙する
PXCMSpeechRecognition.ProfileInfo profile = null;
for ( int j = 0;; ++j ) {
// 音声認識エンジンが持っているプロファイルを取得する
PXCMSpeechRecognition.ProfileInfo pinfo;
sts = recognition.QueryProfile( j, out pinfo );
if ( sts < pxcmStatus.PXCM_STATUS_NO_ERROR ) {
break;
}
// 対応言語を表示する
TextDesc.Text += "\t\t" + LanguageToString( pinfo.language ) + "\n";
// 英語のエンジンを使う(日本語対応時には日本語に変更する)
if ( pinfo.language == PXCMSpeechRecognition.LanguageType.LANGUAGE_US_ENGLISH ){
profile = pinfo;
}
}
if ( profile == null ){
throw new Exception( "選択した音声認識エンジンが見つかりませんでした" );
}
// 使用する言語を設定する
sts = recognition.SetProfile( profile );
if ( sts < pxcmStatus.PXCM_STATUS_NO_ERROR ) {
throw new Exception( "音声認識エンジンオブジェクトの設定に失敗しました" );
}
// ディクテーションモードを設定する
SetDictationMode();
// 音声認識の通知ハンドラを作成する
PXCMSpeechRecognition.Handler handler = new PXCMSpeechRecognition.Handler();
handler.onRecognition = OnRecognition;
// 音声認識を開始する
sts = recognition.StartRec( audioSource, handler );
if ( sts < pxcmStatus.PXCM_STATUS_NO_ERROR ) {
throw new Exception( "音声認識の開始に失敗しました" );
}
}