В. Просяник, Б. Злотин, А. Гин

В 1943 г. Уоррен Мак-Каллок и Уолтер Питтс ^[1] впервые в истории математически описали работу мыслительного аппарата людей и высших животных, введя понятие «формальный нейрон» - так они назвали несложное устройство обработки сигналов, обладающее некоторыми свойствами реальных мозговых клеток - биологических нейронов. Они также ввели понятие «искусственная нейронная сеть», то есть сеть из формальных нейронов, построенная по тем же правилам, что и нейронные сети настоящего мозга.

Формальный нейрон и искусственную нейронную сеть оказалось возможным реализовать при помощи электронных или электрических элементов. В пятидесятых годах, на основе бурно развивавшихся компьютерных технологий были построены первые искусственные нейронные сети, подтвердившие правильность основных идей Мак-Каллока и Питтса о возможности моделирования основных элементов мышления. Было также показано, что такие сети можно обучать и что на базе этого обучения они способны к выполнению следующих операций или процессов:

• Параллельная обработка больших объемов информации от множества входов
• Абстрагирование и выявление корреляций и закономерностей (паттернов)
• Распознавание и обработка образов, в том числе в условиях сильных помех
• Быстрый безиндексный поиск информации в больших базах данных, классификация и кластеризация, аппроксимация и экстраполяция данных
• Надежное хранение больших объемов информации, защита от незаконного проникновения в базы данных и их повреждения
• Моделирование различных процессов
• Кодирование и сжатие информации
• Прогнозирование функционирования и развития систем и процессов
• Управление системами
• Создание новых вариантов тех или иных систем, то есть творчества

Первоначально ожидалось быстрое создание на базе нейронных сетей полноценных искусственных интеллектов, однако, к сожалению, эти надежды оказались нереальными. Почему?

Даже сегодня, после более чем 70 лет развития, до создания полноценных искусственных интеллектов очень далеко. Это связано с двумя факторами, тормозящими развитие:

• Обучение искусственной нейронной сети ведется путем выполнения огромного количества стандартных математических операций, что требует применения компьютеров высокого класса, занимает много времени и требует много энергии. Это при том, что обучение биологических нейронных систем сводится к выполнению в миллиарды миллиардов раз меньшего числа операций.
• Искусственные нейронные сети большинства известных сегодня типов, в отличие от биологических нейронных сетей, после завершения цикла обучения не допускают доучивания или частичного переучивания. То есть необходимость учета новых данных требует полного цикла нового обучения, такого же длительного и затратного, как и первичное обучение.

Работниками компании «Progress INC» Детройт была обнаружена причина такого сильного несоответствия искусственных и биологических сетей. Это - ошибка в описании «формального нейрона» Мак-Каллоком и Питсом, связанная с отсутствием в прежние времена некоторых важных данных о работе биологических нейронов.

Биологический нейрон считался относительно простым устройством, суммирующим сигналы, приходящие от других нейронов через «контактные блоки», которые называются синапсами, и в которых перенос сигналов осуществляется за счет эмиссии специального химического вещества - нейромедиатора (доктрина Дэйла). Каждый нейрон имеет десятки тысяч синапсов и, как тогда считалось, в каждом синапсе работает один тип медиаторов, причем сопротивление синапса проходу сигнала (его биологический механизм весьма сложен и не очень для нас важен) принято называть «синаптическим весом».

Формальный нейрон Мак-Каллока и Питса повторял «конструкцию» биологического нейрона и выглядел как простая схема - электронный или электрический сумматор, получающий сигналы от множества переменных сопротивлений, играющих роль синаптических весов.

В нейронной сети такого типа обучение сводится к подбору величин сопротивлений («весов») всех синаптических весов, для чего требуются тысячи, а иногда и миллионы эпох обучения и огромного объема вычислений в каждую из этих эпох. «Интеллектуальность» сети растет примерно линейно с ростом количества нейронов и объема обучения, а общий объем вычислений и, соответственно, время и энергия на них затрачиваемые, растут примерно пропорционально квадрату от роста количества нейронов и объема обучения системы. Это приводит к тому, что сети, предназначенные для выполнения более или менее интеллектуальных работ, приходится обучать месяцами и годами.

Существует множество способов ускорения обучения, например, системы обратного распространения ошибки, методы глубокого обучения на сетях с большим количеством нейронных слоев, использование сверхточных сетей, осуществляющих обучение сети по участкам и т.п. Это ускоряет обучение многократно, но не снимает проблему степенное нарастание времени обучения.

Доктрина Дойла была экспериментально опровергнута биологами еще в семидесятых годах 20 века, когда было обнаружено что в биологическом синапсе могут работать одновременно несколько разных нейротрансмиттеров, и, следовательно, формальный нейрон Мак-Каллока и Питса неверно описывает работу биологического нейрона. Однако все традиционные и современные искусственные нейронные сети по-прежнему строились и строятся на тех же формальных нейронах.

Работниками компании «Progress INC» была разработана новая схема формального нейрона («прогрессивный формальный нейрон» или п-нейрон), включающая набор «корректирующих весов», выполняющих роль разных медиаторов. П-нейрон существенно ближе к биологическим нейронам по конструкции и принципу действия. На картинке показан типичный п-нейрон и сеть, построенная на их базе. В п-нейроне сигнал от входного устройства попадает на блок анализа и распределения сигналов (распределитель), который оценив величину сигнала относит его к одному из интервалов и в соответствии с этим «назначает» корректирующий вес, соответствующий данному сигналу. На рисунке показано, что сигнал с величиной, соответствующей интервалу значений 3 осуществляет выбор корректирующего веса d3. 

Самым главным результатом применения нового типа формального нейрона стало радикальное изменение системы обучения сети, более соответствующее процессам обучения, протекающим в биологических нейронах, и поэтому требующего в миллиарды раз меньших объемов вычислений. Это же обеспечивает возможность быстрого (например, в режиме реального времени) доучивания и переучивания сети.

Новый тип формальных нейронов может быть реализован в компьютерах за счет обычных компьютерных средств, например CPU, а также на базе графических плат, специализированных или программируемых микрочипов, аналоговых устройств и т.п. Использование п-нейронов может обеспечить значительное улучшение известных типов нейронных сетей, например, одно- и многослойных персептронов, когнитронов, сетей Кохонена, Хопфилда, Больцмана, сетей глубокого обучения, сверточных сетей и т.д.

Могут быть использованы и так называемые «прогресс сети» (п-сети), созданные компанией «Progress INC» специально для использования п-нейронов. П-сеть также является некоторым аналогом сверточных сетей, она может быть представлена как результат свертывания множества однослойных персептронов, обученных каждый распознаванию одного образа. Это и допускает дообучение сети, практически сводящееся к добавлению к готовой свертке еще одного «однообразного» персептрона.

В силу нового процесса обучения, уменьшающего на много порядков число необходимых математических операций, становится возможным реализовать полноценные нейронные сети на компьютерах небольшой вычислительной мощности, например, на лэптопах, планшетах, телефонах, дешевых контроллерах и т.п.

Искусственные нейронные сети, построенные на основе новых формальных нейронов (п-нейронов) обладают некоторыми дополнительными возможностями:

• Экономить значительные энергетические и вычислительные ресурсы, обеспечивает возможность реализации больших нейронных сетей на компьютерах настольных компьютеров, ноутбуков, планшетов и интеллектуальных систем классов;
• Обеспечить возможность расширения сети с целью увеличения ее пропускной способности во время работы (масштабирования);
• Обеспечить высокую устойчивость п-сети к ошибкам, потере части весов, к шуму, к воздействию вирусов и вредоносных софтов
• Обеспечить дополнительное обучение и чередование периодов обучения и эксплуатации.

Самым главным, на наш взгляд, является возможность в перспективе на основе п-сетей создавать полноценные широкопрофильные и специализированные искусственные интеллекты, способные обучаться и работать постоянно в режиме реального времени.

Основы теории и конструкции п-нейронов и п-сетей описаны в статьях [2], [3] и патентах.

Литература:

1. Warren S. McCulloch & Walter Pitts. «A logical calculus of the ideas immanent in nervous activity» 1943

2. D. Pescianschi, Main Principles of the General Theory of Neural Network with Internal Feedback, CSREA Press., Las Vegas, US 2015

3. D. Pescianschi, A. Boudichevskaia, B. Zlotin, and V. Proseanic, Analog and Digital Modeling of a Scalable Neural Network, CSREA Press., Las Vegas, US 2015

4. Новая эра в развитии информационных технологий. Сайт проект Creatime // https://creatime.me/Blog/novayaEra

5. Патенты:

US patent No. 9390373;
US patent No. 9619749;
Japan patent No. 6382354;
China patent No. ZL201580012022.2;
Mexico patent No. MX357374B;
Taiwan patent No. I655587;
Israel patent No. 247533.
И др.