Skip to content

The system is based on mat lab image recognition technology and smart data selecting technology. It analyses the image capture video, then updates the database, and publish information through the network. Students can know the situation of the classroom in advance. The image analysis part of the system weakens the influence of illumination by a…

dongdyang/Intelligent-Selection-System-of-Classroom-Based-on-Matlab

Repository files navigation

Intelligent-Selection-System-of-Classroom-Based-on-Matlab

The system is based on mat lab image recognition technology and smart data selecting technology. It analyses the image capture video, then updates the database, and publish information through the network. Students can know the situation of the classroom in advance. The image analysis part of the system weakens the influence of illumination by a variety of methods, such as light pretreatment in HSV space, brightness normalization and threshold processing and so on. The situation of classroom can be well recognized even if the light intensity changes a lot.

一、创新点 现在国内普遍的对固定空间内的人数的统计和分布方法是通过使用一卡通验证装置来统计人数的情况,而人数分布则是通过预先选定座位(如图书馆)来得到信息的,而本软件直接通过摄像头分析人数分布,使用更加方便,容易推广[1]。 现在的热门软件课程格子虽然能为同学个人的上课信息表现出来,但是却无法将所有的上课教室上课情况的加以分类和相关数据进行挖掘,极大地表现了它的局限性和不便性,本系统可以提供学校内所有教室的课程情况,便于查阅,同时可以为需要上自习的同学根据个人情况,筛选不同时间段的上课情况,筛选所想要的教室人口热度,筛选喜好的楼层,最大限度地为用户着想。 二、考虑点 图像中亮度的变化影响较大,尤其是灯光和日光等; 人员走动对图像识别产生影响; 人在图像中的位置与座位的分布情况相对应; 网络连接的方式; 数据库信息的查找筛选; 由于无法获得较完整的人体形状,所以采用人头与肩膀的三角形模型运算难以得到较好的结论; 摄像头的像素过低导致的图像模糊,以及数据在传输过程中产生的噪声消除; 由于图像噪声分布为高斯噪声分布,因此采用高斯噪声掩膜的方法来减弱图像中的噪声; 由于教室内的人数变化并非过大,因此在获取背景模型时,采用每天早晨无人的视频图像帧数截取来确定(该无人状态由前一天的背景模型分析得出后再对背景模型作更新,当然也采用逐帧差法; 本系统中图像分析处理对光照变化的影响有其相应的忍耐极限,但不论采用何种别的算法,都存在不同的忍耐极限,即对光照变化的削减能力是有一定限制的。 为了提高图像中的准确率,采用区域处理的方法,。为克服光照的影响,构建了一个可以调整背景模型中每个像素的光照变化敏感度的函数f(a,b).比较f(a,b)与阈值,获得变化的像素,然后用形态学方法过滤虚假像素、填充运动物体内部的空洞,二元关联成分分析提取出单连通运动区域[2]; 对教室内人数的统计除了由上述办法得到外,还可以通过RGB空间的颜色阈值来统计,即统计图像中较黑暗的部分,获取所要分析的全部区域(即要将墙壁,角落阴暗处的区域除开)内的在阈值允许条件下的黑色像素总值,再除以一般情况下一个人头所占用的黑色平均像素,即可以得到相应的人口数目,在得到此数目的情况下对原有的已经分析得到的人口数目进行约束调整,提高准确率。 三、实现思路 (一)背景模型的构建 1、静态背景建模的基本原理 通常的方法是对视频进行采样分析,统计其特性,基于这些特性重构背景。多数的视频序列,像素沿时问轴的分布具有高斯特性,故采用高斯建模。由于对于固定摄像机拍摄的视频序列,背景往往是最经常被看到的。基于这一假设进行背景建模更为简单。所以在针对静态背景的建模时,主要考虑统计各个像素的颜色或灰度数值的分布情况,以出现概率最大的数值作为背景模型中该像素的数值[3]。 2、背景更新的基本原理 背景在获取后需要获得更新,这样在图像做减除算法操作的时候能获得较好的差值图像。实时更新背景的方法就是更新的背景为旧的背景加上当前视频图像与旧背景的差值乘以一个更新系数所得,在当前视频图像与旧背景的差值前再乘以一个n x n的局部平均值或中值矩阵。乘以平均值,就是一个改进的平均值递归滤波更新算法,再乘以中值。 (二)光照的预处理 1、全局处理

图3-1 光照的预处理 1 – 全局处理 主要通过HSV(Hue, Saturation, Value)空间实现预处理,由于 HSV模型中的V分量表示为亮度,故可以通过对Value空间的单独操作来减弱光照的影响可以较好的实现对光照的预处理[4]。HSV的颜色模型如图 3-1所示。 图3-2 光照的预处理 2 – 全局处理

可以通过图 3-2中公式将图像从RGB空间转换为HSV空间,在转换而来的HSV空间中得出Value向量的平均值,便于后续的亮度处理,将经过处理后的V向量空间重新与H、S空间合成新的图像。本操作主要是针对读取的实时视频帧数的图像来处理的。 2、局部处理 先将背景模型和实景模型转为灰度图像再从unit8数据类型转化为double数据类型,便于在做减法操作时能够减少误差,也能防止发生负值丢失导致误差的情况。 为了减弱不同光照影响,结合教室内特定的环境,决定将给定的作为区域空间分割出来,通过对背景模型和前景模型该区域内的不同点的值作差,再设定阈值来求和获取平均值。该阈值的设定是为了将光照导致的影响列入计算范围内,而将前景的影响尽可能的减弱消除,同样是为了提高精确度,减少误差。通过获取平均值,可以把此近似视为这是由于光照影响所导致的数据偏移量,将其加入到实景图像中的划定区域,则便于后续的操作。 (三)前景分割 方法1:采用基于向量线性相关检测的前景背景分离方法,可以在光照变化情况下仍具有鲁棒性,将每个像素及其周边的几个(3x3,5x5和7×7)像素值组合成向量,在背景模型和当前视频图像的对应位置分析两个向量的线性相关性,若相关,则认为该像素没有发生变化,为背景;若不相关,则该像素发生了变化,判断其为前景目标[5]。 方法2:根据背景模型与当前视频图像的对比,找到有差异的像素归为前景目标。没有差异的像素归类为背景,有超过设定阈值的,则把该像素判为前景目标。若在阈值范围以内,则把该像素判为背景,则赋值为零[6]。 (四)人与座位的处理 对获取的分割得到的较精准的二值图像进行统计分析,通过设定位置坐标来指定特定的教室座位位置,本系统所采用的是每一排取四个定点用作矩阵分割,通过线性方程组则可以将该横排分割成相应的不同部分,再统计其中的非零像素点的个数,与相应的座位区域作商得比值,再进行判断即可以判断是否有人,同时确定该位置。本部分最初是采用逐个座位取四个点来分割的方法,但由于效率过低,不能短时间处理大量教室,故选用安排取点线性分割作为的方法。据统计,按此法来确定不同教室内座位的坐标,耗时约五分钟[7]。 四、实现思路的效果展示 (一)背景模型的筛选 为了展现本软件具有较好的图像处理分析能力,因此在条件有限的条件下,只通过不同的光照背景模型来模拟在实景图片的光亮变化[8]。

图4-1 实现思路的展示 1 – 背景模型的筛选 (二)实景模型的样例

图4-2 实现思路的展示 2 – 实景模型的样例 (三)通过HSV的V空间进行全局处理 此为处理后的样本图片,而选择的处理的背景模型为上述的第一张,若为其他背景模型也具有良好的效果。

图4-3 实现思路的展示 3 - 通过HSV的V空间进行全局处理 (四)亮度归一化处理 如下图,例子图像区域截取,分别为截取区域的背景、实景、处理后的实景[6]

图4-4 实现思路的展示 4 -亮度归一化处理 (五)减除操作运算 相应的第一个作为到第四个作为的二值图像:

图4-5 实现思路的展示 5 - 减除操作运算 (六)整体效果图 蓝色表示作为被占情况

图4-6 实现思路的展示 6 -整体效果图 五、系统架构 (一)服务器端 图像采集模块:由安装在教室内的摄像头承载; 图像处理模块:由服务器端承载,负责接收采集来的图像视频数据,对其进行识别处理,获取教室实时人数分布数据,存入教室信息缓存文件。 数据库模块:维护总课表(存储本学期全部教室的课程信息)和实时信息(存储本日各教室课表及实时人数)两个数据表。总课表每学期刷新一次,信息由校方提供;实时信息表每日根据总课表刷新当日课表信息,每隔一定时间读取教室信息信息缓存文件刷新实时人数信息,保证信息的有效性[9]。 数据发送模块:与客户端建立连接后,根据用户的命令查询数据库,读取缓存文件,将结果整理成xml文件以数据流的形式发送给客户端。

图5-1 系统架构 1 – 服务器端 (二)用户端 命令发送模块:用户可以选择教室查询实时情况,也可以输入时间查询空闲教室。根据用户的输入生成命令发往服务端。 结果接收模块:接收并解析服务器端发来的xml文件,将结果以表格形式呈现,绘制人数分布示意图。 (三)整体的模板设计思路

图5-3 系统架构 2 – 整体的模块设计思路 (四)图像处理的算法流程示意图

六、软件的应用前景 通过本软件,最基本的功能是可以为同学的自习室查询提供极大的便利,本系统也致力于解决用户在自习室选择上的烦恼。 通过图像识别技术,统计出校际等通识课的实际上课人数,与相应的选课人数作对比,得出学生对这门课的喜爱程度,通过一个学期的出勤情况概率统计出该门课的实际受欢迎程度,为下一次学生选课提供客观的评判标准,使得不同学生的选择更加合理化[10]。

七、未来方向 可以与别的高校联合,将软件的应用于别的学校,实现“智慧大学校园”。 可以与课程格子北京分公司合作,致力于打造北航特色的课程格子,让课程格子不仅在刚刚开学的时候用,更是天天用。 在现有的图形分析技术的基础上判断出教室人数,若教室内人口的数量趋于饱和,那么可以判断为正在上课,那么此时的教室内同学大多是抬起头,则可以修改目标识别的算法,采用人脸识别技术,通过获取学校学生的人头图像数据库同时通过协方差矩阵、平均值等特征值进行匹配,获取不同同学的出勤率,这样可以减少导员逐个点名所耗费的大量时间[11]。

结论 在学习生活中,找不到自习室的情况是很普遍的,为了让同学们更好地去找到自习室,开放出了这个教室系统。 本论文在算法上尽管算不上最优,但它能够较准确地,精确度较高地实现其需要实现的功能;在软件界面上,尽管没有做到炫酷的效果,但是它却尽可能地做到了满足用户的所需功能。 本软件现在存在最大缺憾就是还未实际使用,在实际的场景来调试软件以及提高软件图像人物识别的准确率。

About

The system is based on mat lab image recognition technology and smart data selecting technology. It analyses the image capture video, then updates the database, and publish information through the network. Students can know the situation of the classroom in advance. The image analysis part of the system weakens the influence of illumination by a…

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published