集成CoreML & Vision,使unity具有机器学习图片识别的能力。
- UnityARKitPlugin 2.0;
- TextMesh Pro;
- GoogLeNetPlaces.mlmodel 用于静态图片识别程序;
- MobileNet.mlmodel 用于结合Vision视频流识别;
- 打包 Xcode工程;
- 通过 PBXProject.AddFileToBuild() 自动引入
Plugins
目录中的mlmodel
文件,或 手动拖拽mlmodel
到 Xcode工程根目录; - Language - Objective C -> Enable Objective-C Exceptions改为YES;
- 在真机上运行;
- unity中拍照,并对内容识别。
- 优化oc回调。关于UnitySendMessage方法,NSString, const char*数据类型,等。
- 获取arkit的pixelbuffer,实时传给本插件的oc层 CVPixelBufferRef。
- 作为Pack包,依赖ARKit插件,避免session、buffer冲突。
- 识别成功,将结果用TextMesh显示在世界坐标下。
- runtime加载mlmodel。
- 获取更多的mlmodel,使用机器学习训练。