Самообучающиеся виртуальные организмы в физическом симуляторе: об оптимальном разрешении их зрительной системы, архитектуре нервной системы и вычислительной сложности задачи

   Зрение играет ключевую роль в жизни множества различных организмов, обеспечивая ориентацию в пространстве, поиск пищи, избегание хищников и социальное взаимодействие. У видов с относительно простой зрительной системой, таких как насекомые, эффективная поведенческая стратегия достигается за счет высокой специализации нейронов, адаптации к конкретным условиям среды, а также благодаря дополнительным сенсорным системам – обонянию или слуху. У животных с более сложным зрением и нервной системой, таких как млекопитающие, когнитивные возможности и способности к адаптации значительно выше, однако выше и энергозатраты на работу мозга. Моделирование особенностей таких систем в виртуальной среде позволило бы исследовать фундаментальные принципы функционирования и обучения когнитивных систем, включая механизмы восприятия, памяти, принятия решений и их взаимодействие.

   В данной работе объектом исследования являются виртуальные организмы, обладающие зрительной системой и функционирующие в трехмерной физической среде на базе Unity ML-Agents – одного из наиболее высокопроизводительных современных симуляторов.

   Предложенная иерархическая архитектура управления, разделяющая когнитивные задачи между двумя модулями – зрительного восприятия/принятия решений и управления координированным движением конечностей для перемещения в физической среде – показала существенно большую скорость и эффективность обучения по сравнению с единой системой. Проведена серия численных экспериментов, направленных на выявление влияния параметров зрительной системы, конфигурации среды и архитектурных особенностей агентов на успешность их обучения с подкреплением (алгоритм PPO). Показано, что существует диапазон разрешений, обеспечивающий компромисс между вычислительной сложностью и успешностью выполнения задачи, а избыточная размерность сенсорных входных данных или пространства действий приводит к замедлению обучения. Должное внимание уделено также оценке вычислительной сложности системы и профилированию производительности ее основных компонентов. Полученные результаты представляют потенциальный интерес в контексте исследований искусственных агентов, вдохновленных биологическими системами эволюционного моделирования, включая нейроэволюционные подходы для создания более адаптивных и умных агентов и изучения когнитивных процессов в них.

1. Aksoy V., Camlitepe Y. Spectral sensitivities of ants – a review. Anim Biol. 2018;68(1):55­73. doi: 10.1163/15707563­17000119

2. Attwell D., Laughlin S.B. An energy budget for signaling in the grey matter of the brain. J Cereb Blood Flow Metab. 2001;21(10):1133­-1145. doi: 10.1097/00004647­200110000­0000

3. Bongard J.C. Evolutionary robotics. Commun ACM. 2013;56(8): 74­83. doi: 10.1145/2493883

4. Botvinick M., Wang J.X., Dabney W., Miller K.J., Kurth-Nelson Z. Deep reinforcement learning and its neuroscientific implications. Neuron. 2020;107(4):603­616. doi: 10.1016/j.neuron.2020.06.014

5. Cammaerts M.C. The visual perception of the ant Myrmica ruginodis (Hymenoptera: Formicidae). Biologia. 2012;67(6):1165­1174. doi: 10.2478/s11756­012­0112­z

6. Cammaerts M.­C.T., Cammaerts R. Are ants (Hymenoptera, Formicidae) capable of self recognition? J Sci. 2015;5(7):521­532

7. Chittka L., Muller H. Learning, specialization, efficiency and task allocation in social insects. Commun Integr Biol. 2009;2(2):151­154. doi: 10.4161/cib.7600

8. Chittka L., Niven J. Are bigger brains better? Curr Biol. 2009;19(21): R995­R1008. doi: 10.1016/j.cub.2009.08.023

9. Devyaterikov А.P., Palyanov А.Y. A software system for modeling evolution in a population of organisms with vision, interacting with each other in 3D simulator. Vavilov J Genet Breed. 2022;26(8): 780­786. doi: 10.18699/VJGB­22­94

10. Hassabis D., Humaran D., Summerfield C., Botvinick M. Neuroscience-inspired artificial intelligence. Neuron. 2017;95(2):245­258. doi: 10.1016/j.neuron.2017.06.011

11. Juliani A., Berges V.­P., Teng E., Cohen A., Harper J., Elion C., Goy C., Gao Y., Henry H., Matter M., Lange D. Unity: A general platform for intelligent agents. arXiv. 2018. doi: 10.48550/arXiv.1809.02627

12. Land M.F., Nilsson D.­E. Animal Eyes. Oxford University Press, 2012. Available: https://www.softouch.on.ca/kb/data/Animal%20Eyes.pdf

13. Menzel R. The honeybee as a model for understanding the basis of cognition. Nat Rev Neurosci. 2012;13(11):758­768. doi: 10.1038/nrn3357

14. Niven J.E., Laughlin S.B. Energy limitation as a selective pressure on the evolution of sensory systems. J Exp Biol. 2008;211:1792­1804. doi: 10.1242/jeb.017574

15. O’shea K., Nash R. An introduction to convolutional neural networks. arXiv. 2015. doi: 10.48550/arXiv.1511.08458

16. Peng P., Wen Y., Yang Y., Yuan Q., Tang Z., Long H., Wang J. Multiagent bidirectionally­coordinated nets: Emergence of human­level coordination in learning to play StarCraft combat games. arXiv. 2017. doi: 10.48550/arXiv.1703.10069

17. Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O. Proximal policy optimization algorithms. arXiv. 2017. doi: 10.48550/arXiv.1707.06347

18. Song K.-Y., Behzadfar M., Zhang W.-J. A dynamic pole motion approach for control of nonlinear hybrid soft legs: A preliminary study. Machines. 2022;10(10):875. doi: 10.3390/machines10100875

19. Stanley K.O., Clune J., Lehman J., Miikkulainen R. Designing neural networks through neuroevolution. Nat Mach Intell. 2019;1(1): 24­35. doi: 10.1038/s42256­018­0006­z

20. Tschantz A., Anil K.S., Christopher L.B. Learning action-oriented models through active inference. PLoS Comput Biol. 2020;16(4): e1007805. doi: 10.1371/journal.pcbi.1007805

21. Vezhnevets A.S., Osindero S., Schaul T., Heess N., Jaderberg M., Silver D., Kavukcuoglu K. FeUdal networks for hierarchical reinforcement learning. In: Proceedings of the 34^th International Conference on Machine Learning. Vol. 70 (ICML’17). JMLR.org, 2017;3540-3549

22. Zador A.M. A critique of pure learning and what artificial neural networks can learn from animal brains. Nat Commun. 2019;10(1):3770. doi: 10.1038/s41467­019­11786­6