新闻动态

智能训练系统训练集大小设计合格的系统有哪些?

作者:小编时间:2022-11-08 14:13:29

智能训练系统是指通过开发人工智能,使用开源深度学习框架,利用深度学习技术将已知或未知动作进行反向执行,促进训练集的扩展,得到更加逼真而又全面的动作。一个合格的训练系统必须能够以输入作为输入,用于控制器和执行器的机械臂,使他们能够做更加复杂的运动,通过给定标准动作和输入的训练数据来进行人工智能训练。设计是一个大而复杂的过程,系统的定义、架构设计、架构实现、软件结构和算法设计,这些东西都很重要。而且算法本身并不重要,重要的是我们只能训练出合格的系统。


image.png

.

一、训练集大小设计一个合格的训练集一定要有很多或者可以利用的数据。现在很多人都问:怎么样才能训练出合格的训练集?其实对于人而言最合适的训练集已经不存在了,因为现在硬件成本相对以前低了很多,idealcookbook无人机训练集大约20mb、微调深度学习框架训练集大约20mb。拿无人机训练集对比显然数据分布的分布比你想象中的低,必须要进行聚类。


image.png


对于无人机微调来说人工微调会相对慢,而无人机飞机微调训练集相对于人工,同样也需要单独实现。能够找到单个不同的数据分布(dataspace)也是很重要的一点。


image.png


二、过滤器不同模型框架的收敛速度不一样,因此对于不同模型框架,过滤器必须要有不同。尽量避免使用有些容易过滤的数据,尽量使用已知过度拟合数据来代替从未知数据来入手。(例如:深度学习中,大多数的大样本数据由于本身就是很难的数据,而且过度拟合数据占有绝大多数,


image.png


三、增量式训练增量式训练是指对于一个已经在训练集上训练过的模型,新的数据可以使用bootstrap重新训练。


image.png


四、过滤器均匀化过滤器均匀化会更加有利于过滤器的增量训练


五、扩展训练函数了不同训练方式,各种训练计算过程。训练数据的增量式是基于数据集的学习率(加速器的并行度),训练数据的均匀式是基于训练的优化值而给出的优化值。下一篇我们会详细介绍训练过程的设计原理。小结一下,框架数据均匀化实现训练优化值、提供训练数据利用率;采用随机森林等方式逐步增量的训练;关于数据均匀化的详细设计也是在这一章结束。


光电训练系统

相关推荐