Skip to content

oliverellmers/coreml-unity

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

36 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

coreml-unity

GitHub

Overview

集成CoreML & Vision,使unity具有机器学习图片识别的能力。

Require

Startup

  1. 打包 Xcode工程;
  2. 通过 PBXProject.AddFileToBuild() 自动引入 Plugins 目录中的 mlmodel 文件,或 手动拖拽 mlmodel 到 Xcode工程根目录;
  3. Language - Objective C -> Enable Objective-C Exceptions改为YES;
  4. 在真机上运行;

Roadmap

  • unity中拍照,并对内容识别。
  • 优化oc回调。关于UnitySendMessage方法,NSString, const char*数据类型,等。
  • 获取arkit的pixelbuffer,实时传给本插件的oc层 CVPixelBufferRef。
  • 作为Pack包,依赖ARKit插件,避免session、buffer冲突。
  • 识别成功,将结果用TextMesh显示在世界坐标下。
  • runtime加载mlmodel。
  • 获取更多的mlmodel,使用机器学习训练。

Reference

About

Use CoreML & Vision in unity3d.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • C# 77.6%
  • Objective-C++ 16.4%
  • Objective-C 3.7%
  • ShaderLab 2.1%
  • Smalltalk 0.2%