ОБЛАСТЬ ТЕХНИКИ

[0001] Представленное техническое решение относится, в общем, к области вычислительной техники, а в частности к способу и системе автоматизированного управления модельным риском с целью повышения как качества и эффективности работы одной отдельно взятой модели, так и качества множества моделей, работающих в одном процессе за счет проведения автомониторинга для проверки качества работы модели, автодообучения в случае ухудшения качества результатов работы модели с последующим автовыводом новых и дообученных версий моделей в промышленную эксплуатацию.

УРОВЕНЬ ТЕХНИКИ

[0002] Из уровня техники известны системы и способы обогащения средств моделирования инфраструктуры семантикой, раскрытые в заявке US 20190340518 А1 , опубл. 07.11.2019. В известных решениях осуществляют: создание графа знаний рабочего процесса на основе информации, полученной через интерфейс прикладного программирования (API) системы моделирования, и сохранение графа знаний в системе хранения системы моделирования, при этом граф знаний идентифицирует по меньшей мере один модуль мониторинга модели и модуль оценки модели рабочего процесса; обнаружение неожиданных входных данных во время обработки рабочего процесса, включающее: во время выполнения модуля оценки модели системой моделирования и для каждого признака наборов производственных данных, используемых модулем оценки модели: автоматическое сравнение производственного распределения значений признаков с эталонным распределением значений признаков для признака, и в случае, когда результаты сравнения удовлетворяют условию оповещения, предоставление оповещения внешней системе, указывающее на обнаружение неожиданных входных данных, причем качество работы самой модели в известном решении не оценивается.

[0003] Также известно решение для моделирования риска нарушения безопасности сети, раскрытый в заявке US 20180048668 А1 , опубл. 15.02.2018. В известном решении выполняют сбор одним или несколькими агентами из множества источников в сети аналитических данных, которые идентифицируют наблюдаемые характеристики одного или нескольких узлов сети, и создание с использованием данных анализа многоуровневой модели риска для сети, которая содержит первый уровень модели, который моделирует неотъемлемый риск нарушения безопасности активов сети на основе наблюдаемых характеристик одного или более узлов.

[0004] Недостатком известных решений является отсутствие возможности управления модельным риском посредством проведения дообучения модели в автоматическом режиме на новых данных. Также в представленном решении не используется граф знаний, в связи с чем уменьшается вычислительная нагрузка на систему в процессе управления модельным риском и на хранилище системы, а также зависимость от периода синхронизации данных между первоисточником и графом, который в представленном решении не используется.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0005] Технической проблемой или задачей, поставленной в данном техническом решении, является создание простого и надежного способа и системы управления модельным риском.

[0006] Техническим результатом, на достижение которого направлено представленное решение, является обеспечение возможности управления модельным риском в автоматическом режиме без участия человека.

[0007] Указанный технический результат достигается благодаря осуществлению способа автоматизированного управления модельным риском, выполняемого по меньшей мере одним вычислительным устройством, содержащего этапы, на которых:

- подключаются к среде выполнения для получения данных, связанных с работой модели, содержащие спрогнозированные результаты работы модели, и фактические результаты для упомянутых спрогнозированных результатов;

- на основе спрогнозированных результатов работы модели и фактических результатов работы модели определяют наличие модельного риска и инициируют процесс автодообучения модели, содержащий этапы, на которых: извлекают из памяти среды выполнения данные, подаваемые на вход модели, для получения спрогнозированных результатов работы модели (обновленные данные); определяют методику дообучения модели на основе данных о типе модели; дообучают модель на обновленных данных согласно методике дообучения модели;

- выводят дообученную модель в промышленную эксплуатацию в среде выполнения.

[0008] В одном из частных примеров осуществления способа этап определения наличия модельного риска содержит этапы, на которых:

- назначают каждому спрогнозированному результату параметр, указывающий на то, что спрогнозированный результат соответствует или не соответствует фактическому результату или находится в интервале допустимых значений отклонений от фактического результата;

- на основе параметров, полученных на предыдущем этапе, определяют значение, характеризующее соотношение параметров, указывающих на то, что спрогнозированный результат работы модели соответствует фактическому результату, к параметрам, указывающим на то, что прогнозированный результат работы модели не соответствует фактическому результату;

[0009] - сравнивают полученное значение с интервалом пороговых значений, установленным для данной модели, характеризующим отсутствие модельного риска. В другом частном примере осуществления способа после определения наличия модельного риска направляют в среду выполнения команду на вывод модели из эксплуатации.

[0010] В другом частном примере осуществления способа дополнительно выполняют автовалидацию дообученной модели и/или обновленных данных, причем дообученную модель в промышленную эксплуатацию выводят в том случае, если автовалидация дообученной модели и/или обновленных данных прошла успешно.

[0011] В другом частном примере осуществления способа этап автовалидации модели содержит этапы, на которых:

- на основе данных о типе модели определяют методику валидации;

- на основе данных, характеризующих методику валидации, определяют коэффициенты модели, валидацию которых следует выполнить;

- подают на вход дообученной модели выборку данных, связанную с заданными результаты работы модели, для получения результатов работы модели;

- сравнивают полученные на предыдущем этапе результаты с заданными результаты работы модели для упомянутой выборки данных; з - определяют, что упомянутые результаты работы модели соответствуют заданным результатам работы модели;

- формируют решение, указывающее на то, что коэффициенты дообученной модели прошли процесс валидации.

[0012] В другом частном примере осуществления способа этап автовалидации модели содержит этапы, на которых:

- на основе данных о типе модели определяют методику валидации;

- извлекают из данных, характеризующих методику валидации, список этапов алгоритма обработки данных;

- сравнивают список этапов алгоритма обработки данных с этапами алгоритма обработки данных дообученной модели;

- определяют, что все этапы из упомянутого списка присутствуют в алгоритме обработки данных дообученной модели и формируют решение, указывающее на то, что дообученная модель в части алгоритма обработки данных прошла процесс валидации.

[0013] В другом частном примере осуществления способа этап автовалидации модели содержит этапы, на которых:

- на основе данных о типе модели определяют методику валидации;

- на основе данных о методике валидации определяют данные, содержащиеся в обновленных данных, валидацию которых следует выполнить;

- извлекают из обновленных данных определенные на предыдущем этапе данных;

- сравнивают извлеченные данные с их пороговыми значениями или диапазоном пороговых значений;

- определяют, что данные, валидацию которых следует выполнить, соответствуют пороговым значениям и формируют решение, указывающее на то, что обновленные данные прошли процесс валидации.

[0014] В другом частном примере осуществления способа этап автовалидации модели содержит этапы, на которых:

- подают на вход дообученной модели обновленные данные для получения спрогнозированных результатов работы дообученной модели;

- сравнивают спрогнозированные результаты с фактическими результатами для упомянутых спрогнозированных результатов и назначают параметр, указывающий на то, что упомянутый спрогнозированный результат соответствует или не соответствует фактическому результату; - на основе параметров, полученных на предыдущем этапе, определяют значение, характеризующее соотношение параметров, указывающих на то, что спрогнозированный результат работы дообученной модели соответствует фактическому результату, к параметрам, указывающим на то, что прогнозированный результат работы дообученной модели не соответствует фактическому результату;

- сравнивают значение, полученное на предыдущем этапе, с интервалом пороговых значений величины модельного риска;

- определяют, что полученное значение находится в пределах интервала пороговых значений величины модельного риска.

[0015] В другом частном примере осуществления способа дополнительно содержит этапы, на которых:

- извлекают данные альтернативной модели для типа дообученной модели;

- подают на вход альтернативной модели обновленные данные для получения спрогнозированных результатов работы дообученной модели;

- сравнивают спрогнозированные результаты с фактическими результатами для упомянутых спрогнозированных результатов и назначают параметр, указывающий на то, что упомянутый спрогнозированный результат соответствует или не соответствует фактическому результату;

- на основе параметров, полученных на предыдущем этапе, определяют значение, характеризующее соотношение параметров, указывающих на то, что спрогнозированный результат работы альтернативной модели соответствует фактическому результату, к параметрам, указывающим на то, что прогнозированный результат работы альтернативной модели не соответствует фактическому результату;

- сравнивают значение, полученное на предыдущем этапе, со значением, полученным для дообученной модели, примнем значение, полученное для альтернативной модели, больше значения, полученного для дообученной модели, то принимают решение о выводе альтернативной модели в промышленную эксплуатацию вместо дообученной.

[0016] В другом частном примере осуществления способа дополнительно содержит этапы, на которых:

- определяют, что значение, полученное для альтернативной модели, равно значению, полученному для дообученной модели; - определяют скорость работы дообученной и альтернативной модели, причем в промышленную эксплуатацию выводят ту модель, значение скорости которой имеет меньшее значение.

[0017] В другом частном примере осуществления способа дополнительно содержит этапы, на которых:

- определяют, что значение, полученное для альтернативной модели, равно значению, полученному для дообученной модели;

- определяют количество вычислительных ресурсов, задействованных для обработки обновленных данных дообученной моделью и альтернативной моделью, причем в промышленную эксплуатацию выводят ту модель, которая потребляет меньше вычислительных ресурсов.

[0018] В другом предпочтительном варианте осуществления заявленного решения представлена система управления модельным риском, содержащая по меньшей мере одно вычислительное устройство и по меньшей мере одно устройство памяти, содержащее машиночитаемые инструкции, которые при их исполнении по меньшей мере одним вычислительным устройством выполняют вышеуказанный способ.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0019] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых:

[0020] На Фиг. 1 - представлен пример реализации системы управления модельным риском.

[0021] На Фиг. 2 - представлен пример способа управления модельным риском. [0022] на Фиг. 3 - представлен пример общего вида вычислительного устройства.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0023] Ниже будут описаны понятия и термины, необходимые для понимания данного технического решения.

[0024] В данном техническом решении под системой подразумевается, в том числе компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций). [0025] Под устройством обработки команд подразумевается электронный блок, вычислительное устройство, либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

[0026] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройств хранения данных. В роли устройства хранения данных могут выступать, но не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.

[0027] Вычислительное устройство - счётно-решающее устройство, автоматически выполняющее одну какую-либо математическую операцию или последовательность их с целью решения одной задачи или класса однотипных задач (Большая советская энциклопедия. — М.: Советская энциклопедия. 1969 — 1978.).

[0028] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

[0029] База данных (БД) - совокупность данных, организованных в соответствии с концептуальной структурой, описывающей характеристики этих данных и взаимоотношения между ними, причем такое собрание данных, которое поддерживает одну или более областей применения (ISO/IEC 2382:2015, 2121423 «database»).

[0030] Сигнал — материальное воплощение сообщения для использования при передаче, переработке и хранении информации.

[0031] Логический элемент — элемент, осуществляющий определенные логические зависимость между входными и выходными сигналами. Логические элементы обычно используются для построения логических схем вычислительных машин, дискретных схем автоматического контроля и управления. Для всех видов логических элементов, независимо от их физической природы, характерны дискретные значения входных и выходных сигналов.

[0032] Автоматизированная система (АС) - организационно-техническая система, обеспечивающая выработку решений на основе автоматизации информационных процессов.

[0033] Модельный риск - риск возникновения неблагоприятных последствий, вытекающих из некорректного применения моделей в процессах организации, например, Банка и/или неточности (ошибок) работы моделей, связанных как с ошибками моделирования, так и с изменениями в окружающем мире.

[0034] AutoML (Автоматическое машинное обучение) - процесс автоматизации сквозного процесса применения машинного обучения к задачам реального мира.

[0035] Среда выполнения (исполнения) — вычислительное окружение, необходимое для выполнения компьютерной программы и доступное во время выполнения компьютерной программы.

[0036] В соответствии со схемой, приведенной на Фиг. 1 , система управления модельным риском содержит: устройство 1 для разработки моделей, устройство 2 валидации моделей, устройство 3 принятия решения о внедрении модели в промышленную среду, среда выполнения 4, устройство 5 библиотеки моделей (БМ), устройство 6 мониторинга, устройство 7 дообучения модели и устройство 8 библиотека готовых к использованию методик. Упомянутые устройства могут быть как отдельными устройствами, соединенными широко известными проводными или беспроводными каналами передачи данных, так и объединены в различных вариантах в единое устройство, например, посредством размещения их в едином корпусе, например, на единой печатной плате посредством широко известных сборочных операций, причем данные между упомянутыми устройствами передаются посредством формирования соответствующих сигналов.

[0037] Устройство 1 для разработки моделей может быть реализовано на базе по меньшей мере одного вычислительного устройства, выполненного в программноаппаратной части таким образом, чтобы предоставлять пользователю возможность создавать (разрабатывать) модели с нуля или находить, выбирать и переиспользовать готовые модели в новых бизнес процессах. Процесс моделирования посредством устройства 1 может включать следующие этапы:

- преобразование данных (предобработка, необходимая для приведения данных к формату, пригодному для обучения и/или применения модели), например, заполнение пропущенных значений в данных, расчет агрегатов и формирование дополнительных признаков, кодирование информации;

- отбор признаков, в частности характеристик, на основании которых модель будет формировать предсказания;

- подбор оптимального алгоритма модели с возможностью использования AutoML;

- детальный тюнинг модели с настройкой и оптимизацией параметров. [0038] Устройство 2 валидации моделей может быть реализовано на базе по меньшей мере одного вычислительного устройства, выполненного в программноаппаратной части таким образом, чтобы предоставлять пользователю возможность проведения всесторонней проверки качества работы модели, которая включает в себя:

- качественный анализ: проверка корректности качественных (экспертных) предпосылок, использованных на этапе разработки, анализ корректности выбранного метода моделирования, пр.;

- количественный анализ: проведение количественных тестов в целях подтверждения качества работы модели и/или стратегии на имеющихся данных;

- количественная оценка модельного риска (для классов моделей с утвержденной методологией расчета модельного риска);

- формирование перечня рекомендаций по доработке модели и/или стратегии, направленных на снижение/недопущение критического уровня модельного риска. [0039] Дополнительно устройство 2 может быть оснащено модулем 20 автовалидации, посредством которого автоматически и периодически проводятся валидационные тесты для моделей, которые были поставлены в промышленную эксплуатацию. Модуль 20 автовалидации может быть выполнен на базе программно-аппаратных средств устройства 2, оснащенных, например, соответствующими логическими элементами на транзисторах, размещенными широко известными методами на печатной плате таким образом, чтобы выполнять приписанные модулю 20 функции. Также посредством устройства 2 в рамках валидации модели может быть автоматически построена альтернативная модель. В зависимости от вида модели производится подбор алгоритмов валидационной методики из библиотеки методик (устройство 8), подходящих для поступившего типа модели, например, для модели кредитного скоринга валидационная методика представляет собой правила соотнесения скорингового балла и вероятности целевого. Если в устройстве 8 библиотеки методик не найден алгоритм валидационной методики, то посредством устройства 2 пользователем может быть разработана методика валидации, а также методики обучения и/или дообучения модели, которые могут быть сохранены в упомянутом устройстве 8 для последующего переиспользования. Валидационная методика (методика вадилации) может быть сохранена в виде готового к запуску исполняемого кода/модуля/workflow. [0040] Дополнительно в устройстве 2 модель может быть улучшена, несмотря на то, что валидация модели находится в зеленой зоне (все итоговые светофоры зеленые - это значит что результат валидации положительный, где один светофор - это результат некоторой проверки модели, которая является частью некоторой валидационной методики, и есть главный светофор, который является агрегацией результатов работы всех проверок-светофоров и показывает совокупный результат работы всей валидационной методики), но в ходе валидации были выявлены возможности ее существенного улучшения, например, не было включено правило соотнесения скорингового балла и вероятности целевого события таким образом, чтобы средний долгосрочный уровень целевого события был равен среднему долгосрочному прогнозному значению вероятности этого события. В данном примере валидатор или система автоматически выбирает алгоритм, по которому выше показатели по итогам валидации или изменяет процесс работы с входными данными с учетом данного правила. Таким образом, осуществляется подбор наиболее успешных методик прогнозирования события, релевантных для данного множества видов моделей или по результатам проверки могут быть сформулированы соответствующие рекомендации. Этот этап так же позволяет проверить, нет ли возможности получить: более простую модель, требующую меньше затрат на внедрение и поддержку в промышленном контуре; более эффективную модель, внедрение которой позволяет повысить точность предсказаний, при наименьшем расходовании ресурсов и/или времени вычисления.

[0041] Также устройство 2 может использоваться для полу-автоматизации процесса первичной валидации во время итерационного процесса разработки первой версии модели датасаентистом, где датасаентист периодически запускает валидационную методику сам, например, через интерфейс API и дорабатывает (дообучает) модель по результатам такой валидации (без участия валидатора в процессах, где такая возможность предусмотрена).

[0042] Результатом этапа прохождения валидационных тестов является оценка качества модели в количественном и/или качественном измерении, которые служат основанием для допуска модели к внедрению в промышленную эксплуатацию. Артефакты моделирования и валидации сохраняются в устройство 5 БМ для их фиксации для последующего анализа или предоставления регулирующим органам по их запросу, а заинтересованным лицам направляются отчеты о разработке и валидации. При положительном результате модель выводиться в промышленную эксплуатацию и настраивается автоматический мониторинг контроля ее качества. Для мониторинга моделей периодически, в автоматическом режиме, запускается разработанная валидационная методика, результаты которой, в случае выявления недопустимой потери качества работы модели, являются основанием для принятия решения о необходимости дообучения модели, либо в ручном, либо в автоматическом режимах и/или снятия такой модели с эксплуатации. Дообученная модель (новая версия модели) так же подлежит валидации в модуле 20 (автовалидациия с использованием той же самой валидационной методики, которая была использована для автомониторинга). И в случае положительного результата автовалидации в устройстве 3 может быть принято решение о выводе дообученной модели в промышленную эксплуатацию устройсво 4.

[0043] Также посредством устройства 2 валидации моделей в рамках валидации может быть проведена оценка модельного риска, характеризующая его величину. На этом этапе, на основании описания бизнес-процесса, где работает та или иная модель, пользователем устройства 2 формируется математическая модель, которая подстраивается под описанный бизнес-процесс. В результате действия алгоритмов расчета в системе формируются данные о величине модельного риска, который возникнет при использовании текущей модели и автоматически созданной альтернативной модели, если такая модель построена. Также на данном этапе может быть рассчитано прогнозное ухудшение качества работы модели и потенциальный эффект снижения величины модельного риска при котором, периодически или, по срабатыванию триггера снижения показателей автовалидации, производиться автоматическе дообучение, автовалидация и автовывод в промышленную эксплуатацию новой версии (например, дообученной) модели или снятие модели с эксплуатации при определённых условиях.

[0044] Устройство 3 можем быть реализовано на базе по меньшей мере одного вычислительного устройства, сконфигурированного в программно-аппаратной части таким образом, чтобы принимать следующие решения: 1 решение о выводе в промышленную эксплуатацию (в среду выполнения 4) новой модели после первичной валидации или новой версии модели после автодообучения в устройстве 7 на основании результатов автовалидации в модуле 20; 2. решение о необходимости автодообучения модели в устройстве 7 по результатам автомониторинга в устройстве 6 или периодической валидации модели по заданному расписанию или в соответствии с поступившей командой на валидацию. Если результат валидации отрицательный, то модуль 3 принимает решение о необходимости проведения дообучения модели. После дообучения модели по заданному расписанию или по соответствующей команде также может быть проведена валидация модели и дообученной модели на обновленных данных, в рамках которой сравниваются показатели качества моделей, например, величина модельного риска, для принятия решения о выводе дообученной модели в промышленную эксплуатацию.

[0045] Среда выполнения 4 размещается в производственной среде и может быть реализовано на базе по меньшей мере одного вычислительного устройства, выполненного с возможностью подключения к неограниченному количеству внешних источников данных для сбора данных с целью обработки их посредством по меньшей мере одной модели для получения результатов прогнозирования. Например, среда выполнения 4 может представлять собой автоматизированную систему, размещенную в любой организации, а в частном примере в банковской системе, и может быть сконфигурирована для анализа посредством модели данных о транзакциях клиента и кредитных продуктах с целью прогнозирования значения кредитного риска, в альтернативных вариантах, например, прогноз наступления страхового случая автомобилиста, на основании статистики нарушений ПДД или медицинские прогнозы развития заболеваний на основе данных анализов и сведений об образе жизни пациента. В представленном решении среда выполнения 4 может являться частью представленной системы управления модельным риском или являться внешней системой.

[0046] Устройство 5 БМ может быть реализовано широко известными методами, например, раскрытыми в патенте RU2724799C1, опубл. 25.06.2020, и представлять собой по меньшей мере одну БД, предназначенную для хранения артефактов моделирования, включающих, например, коэффициенты модели и алгоритм обработки входящих данных, написанный на любом из известных языков программирования; образцы данных, которые были использованы для обучения модели; отчеты о разработке и валидации модели, которые можгут быть представлен в заранее выбранном произвольном формате.

[0047] Устройство 6 мониторинга моделей может быть реализовано на базе по меньшей мере одного вычислительного устройства, выполненного с возможностью подключения к первоисточнику данных, в том числе к среде выполнения 4, для автоматического мониторинга работы модели. Для этого периодически инициируется процесс автовалидации, путем направления соответствующей команды в модуль 20, где автоматически запускается валидационная методика на обновленных данных, связанных с работой модели. Для каждой модели в устройстве 6 настраивается свое расписание мониторинга. Инициирование запуска валидационной методики может осуществляться не только по расписанию, но и любым другим методом, например, через открытый API устройства 6. Результаты автовалидации передаются в устройтво 3 для принятия решения о необходимости дообучения модели в случае, например, отрицательного результата валидации и могут передаваться в устройство 5 для сохранения истории по мониторингу каждой модели.

[0048] Устройство 7 дообучения модели может быть реализовано на базе по меньшей мере одного вычислительного устройства, выполненного в программноаппаратной части таким образом, чтобы после принятия решения о необходимости дообучения модели устройством 3, обеспечить автоматическое дообучение модели на обновленных данных с возможностью настройки обучения отдельно взятой модели для работы с обновленными данными, посредством обращения к первоисточнику этих данных, и/или изменения алгоритма работы модели, если альтернативная модель, полученная в результате работы устройства 2, например, показала лучшую оценку эффективности, т.е., например, большее количество зеленых светофоров в отчете о валидации. При одинаковых показателях эффективности основной и альтернативной модели в расчет может браться, например, скорость получения конченого результата, приоритетной будет та, которая быстрее получает необходимый показатель, чем ее альтернатива.

[0049] Устройство 8 Библиотеки методик может быть реализовано на базе по меньшей мере одного вычислительного устройства, выполненного в программноаппаратной части таким образом, чтобы у пользователей системы или в автоматическом режиме была возможность сохранять разработанные и готовые к использованию новые методики, которые можно переиспользовать впоследствии для, например, проведения автовалидации или автодообучения.

[0050] Система управления модельным риском работает следующим образом.

[0051] На первом этапе артефаекты моделирования по меньшей мере одной модели от устройства 1 для разработки моделей поступают в устройство 2 валидации моделей. Полученные данные модели могут содержать: в частности, идентификатор модели, коэффициенты модели и алгоритм обработки входящих данных; образцы данных, которые были использованы для обучения модели; отчет о разработке модели и т.д. Например, если модель предназначена для прогнозирования кредитного риска клиента и принятия решения о выдаче или об отказе в выдаче патента, то данные модели могут содержать:

- коэффициенты модели, используемые для обработки данных о транзакциях клиентов, и программный код, содержащий инструкции по обработке упомянутых данных;

- образцы данных о транзакциях клиентов, на которых была обучена модель;

- отчет о разработке модели.

[0052] В альтернативном варианте реализации представленного решения, если модель разрабатывалась на внешней системе, например, в среде выполнения 4, а не в устройстве 1 , то артефакты моделирования могут быть загружены в автоматическом режиме или по запросу пользователя в устройство 5 БМ. Полученные данные так же могут использоваться для валидации моделей в устройстве 2.

[0053] Валидация модели представляет собой многоступенчатый процесс, охватывающий этап сбора информации/данных, изучение модели, подготовку валидационной выборки, всесторонний анализ модели, завершающийся подготовкой отчета, фиксирующего выявленные слабые зоны модели и рекомендации по их возможному решению. Валидация модели, как правило, проводится на тех же данных, на которых обучалась модель, но не исключает подготовку специальных валидационных выборок. Сформированная выборка для валидации должна соответствовать данным, характеризующим целевой сегмент, на котором планируется применение модели. Разработчики моделей предоставляют в подразделение валидации через устройство 1 или устройство 5 спецификацию данных (примеры скриптов для выгрузки данных, правила формирования наборов данных, примеры данных и пр.), а также ссылку на централизованные источники данных, использованные при разработке и тестировании моделей. В частном примере, при оценке кредитного риска данные, предоставленные разработчиком, должны содержать:

1. Идентификаторы объекта моделирования, например: a. D заявки; b. D кредитного договора; c. Дата кредитного договора;

2. Информация по целевому событию: d. Флаг реализации целевого события; e. Дата реализации целевого события; f. Причина реализации целевого события.

По указанным выше идентификаторам и информации по целевому событию могут быть однозначно извлечены артефакты моделирования, включая данные о транзакциях пользователя, кредитной истории, и другие данные, которые могут быть использованы при обучении модели и ее валидации. Данная информация может быть извлечена из любой БД, в том числе из устройства 5 БМ, если эти данные были загружены в него предварительно. Репрезентативные выборки для целей валидации моделей могут формироваться, например, по следующему алгоритму: наблюдения отбираются с учетом требования о соответствии структуры генеральной совокупности и репрезентативной выборки по сегментам и фактическому уровню целевого события (например, уровень дефолтов). Для этого вся совокупность наблюдений по модели делится на два подмножества: наблюдения с реализованным и нереализованным целевым событием. Затем к каждому подмножеству применяется случайный метод отбора в зависимости от установленного процента отбора. Процент отбора для каждого подмножества одинаковый, что обеспечивает идентичную структуру целевых событий в генеральной совокупности и выборке.

[0054] При проведении валидации так же может быть произведена проверка соответствия архитектуры модели, заявленной в документации, ее программной реализации при разработке.

[0055] Технически процесс валидации модели заключается в проведении анализа качества данных в выборках, качественного и количественного анализа модели (см., например, статью «Валидация моделей машинного обучения», htps://habr.com/ru/company/glowbyte/blog/569970/). Общая структура используемых тестов для качественного и количественного анализа представляет собой перечень тестов, использующихся в процессе валидации для оценки эффективности и качества работы моделей. Цель проведения тестов — оценить качество использованных алгоритмов, проанализировать особенности работы модели и ее компонентов и сравнить качество полученного результата с заявленным или требуемым качеством, а также качеством, наблюдаемым при разработке.

[0056] Выделяются валидация модели в условиях достаточного числа целевых событий (например, дефолтов) и валидация модели с недостаточным количеством целевых событий. Стандарты достаточности уровня целевого события для выборки зависят от общего количества наблюдений в выборке, количества целевых событий и уровня приемлемого доверительного интервала для расчета. [0057] Для отражения результатов валидации (где это применимо), например, может использоваться простая трехуровневая цветовая кодификация:

* Зеленый светофор: модель удовлетворяет требованиям, заложенным в тесте;

* Желтый светофор: в целом модель удовлетворяет требованиям, заложенным в тесте, однако имеются возможности ее улучшения;

* Красный светофор: модель не удовлетворяет требованиям теста, и требуется ее доработка.

Присвоение группе тестов зеленого цвета означает, что модель соответствует предъявляемым ей критериям и может быть внедрена в промышленную среду в автоматическом режиме в текущем виде. При желтом цвете модель может быть выведена в промышленную среду, но при выполнении некоторых условий (принятие рисков владельцем, например) и как правило не в автоматическом режиме. При красном светофоре вывод модели в промышленную среду, как правило, не производиться.

[0058] Результаты проведения каждого теста в отчете о валидации как правило снабжаются информацией о выборках, которые были использованы для проведения данного теста в том числе с названием таблиц во внутренней базе данных. Сводные характеристики всех выборок, использованных во время валидации, (например, уровень дефолтов, средний уровень вероятности дефолта, количество наблюдений, пр.) так же предоставляются в отчете о валидации в разделе «Использованные данные» в агрегированном виде.

[0059] Качественный анализ включает в себя подготовительный этап и этап проведения тестов по структуре модели и предназначается для оценки качества и уместности выбора варианта модели/факторов при сравнении с подобными моделями. При этом особое внимание уделяется предпосылкам, использованным при очистке/модификации первичных данных для разработки, например: Соответствует ли выбранный подход к моделированию текущей методики разработки моделей оценки вероятности дефолта/принятому в банке подходу или учитывается ли при моделировании вся существенная информация, влияющая на риск заемщика.

[0060] Итоги проведения качественного анализа модели оформляются в соответствующем разделе валидационного отчета. По каждому качественному тесту присваивается итоговый цвет светофора. [0061] Количественный анализ модели заключается в проведении количественных тестов, которые предполагают расчет показателей, а также интерпретацию полученного результата. Проводятся следующие ключевые группы тестов оценки эффективности моделей:

• влияние качества данных на работу модели;

• эффективность ранжирования модели;

• спецификация модели;

• калибровка модели;

• стабильность модели;

• концентрация результатов модели;

• дополнительные тесты для корпоративных моделей и моделей контрагентов по операциям на финансовых рынках;

[0062] Количественный анализ модели проводится на выборках, полностью соответствующих ее области применения (в том числе в случае, когда модель была разработана на неполной выборке, не полностью покрывающей целевой сегмент). Итоговый вывод об эффективности модели делается для всех областей ее применения, на основании анализа матриц итоговых светфоров, которые обрабатывается устройством 3 принятия решения.

[0063] При валидации моделей все тесты проводятся с использованием итоговых результатов модели, используемых в бизнес-процессах (например, вероятность дефолта, рейтинг, пр.).

[0064] Соответственно, методика валидации модели, проведенная пользователем устройства 2 валидации моделей, сохраняется упомянутым пользователем в памяти устройства 2 в виде потока работ/данных (workflow). Сохраненная методика валидации может содержать: данные о типе модели, например, идентификатор модели; данные о коэффициентах модели, валидацию которых следует выполнить; данные о пороговых значениях коэффициентов модели; список этапов алгоритма обработки данных; ссылки на данные в выборке данных, валидацию которых следует выполнить; пороговые значения данных в выборке данных и пороговое значение величины модельного риска и др. Сохраненная методика валидации может быть использована модулем 20 автовалидации для проведения валидации модели в автоматизированном режиме.

[0065] Соответственно, результат валидации модели, проведенный системой автоматически или пользователем, сохраняется в устройстве 5 Библиотеке Моделей. Далее система автоматически через устройство 3 или пользователь принимает решение о выводе модели в промышленную эксплуатацию, по следующим алгоритмам:

- Если модель не удовлетворяет или не вполне удовлетворяет предъявляемым к ней требованиям (по одному или более блокам тестов имеется красный или желтый индикатор прохождения), формируется план мероприятий по устранению недостатков модели и включает его в отчет о валидации модели.

- В случае получения красного светофора за итоговое качество модели в отчете о валидации делается пометка о невозможности использования данной модели для решения поставленных бизнес-задач.

- Или если все итоговые светофоры получили зеленое значение, делается пометка о рекомендации данной модели для решения поставленных бизнес-задач и инициируется процесс вывода модели в промышленную эксплуатацию в среду выполнения 4 автоматически устройством 3 или пользователем через устройство 5. Вывод модели в промышленную эксплуатацию осуществляется посредством передачи данных модели устройством 3 или устройством 5 упомянутой среде выполнения 4, после чего среда выполнения осуществляет обработку данных посредством полученной модели с целью получения спрогнозированных результатов работы модели. Все полученные результаты сохраняются в БД упомянутой среды выполнения 4 или могут быть отданы потребителям по запросу, в том числе и для авто-мониторинга (периодической валидации такой модели) или для автодообучения. Результаты мониторинга и дообучения сохраняются в устройство 5 БМ. Вместе с каждым спрогнозированным результатом работы модели также могут сохраняться обновленные данные, которые были поданы на вход модели, для дальнейшего автодообучения.

[0066] Например, если модель предназначена для принятия решения о выдаче или отказе в выдаче кредита, то средой выполнения 4, например, будет осуществляться сбор данных о транзакциях в отношении по меньшей мере одного пользователя, передачу упомянутых данных о транзакциях, например, в виде векторов, на вход упомянутой модели, определение на основе данных о транзакциях значения модельного риска и получение спрогнозированного результата работы упомянутой модели, указывающего на то, что клиент выплатит кредит или не выплатит кредит. Соответственно, спрогнозированный результат работы модели сохраняется в БД упомянутой среды выполнения 4 вместе с данными о транзакциях, поданными на вход упомянутой модели. Также спрогнозированные результаты работы модели могут быть переданы внешним системам по их запросу.

[0067] Также, в БД среды выполнения 4 для спрогнозированного результата работы модели может быть добавлена информация о фактическом результате для данного спрогнозированного результата. Упомянутая информация о фактическом результате может быть добавлена как пользователем среды выполнения 4, так и собрана с использованием широко известных автоматизированных методов и средств сбора данных. Информация о фактическом результате, как правило, добавляется с некоторой временной задержкой, но для некоторых систем упомянутая информация может быть добавлена одновременно со спрогнозированным результатом работы модели.

[0068] Например, если модель спрогнозировала, что клиент выплатит кредит, то такому клиенту выдается кредит и, впоследствии, сохраняется фактическая информация, указывающая на то, что клиент выплатил или не выплатил кредит. Соответственно, если модель спрогнозировала, что клиент не выплатит кредит, то фактический результат не сохраняется, поскольку кредит клиенту не выдается.

[0069] Автомониторинг и управление (100, см. Фиг. 2) модельным риском модели осуществляется следующим образом. В процессе работы среды выполнения 4 устройство 6 мониторинга моделей может известными методами, например, согласно заложенному разработчиком расписанию или администратором среды 4, подключаться (101) к среде выполнения 4, в частности к БД или к ее репликам, для получения данных, связанных с работой модели, включая, например, спрогнозированные результаты работы модели и фактические результаты за заданный разработчиком период времени и назначать каждому спрогнозированному результату работы модели параметр, указывающий на то, что спрогнозированный результат соответствует или не соответствует фактическому результату или находится в интервале допустимых значений отклонений от фактического результата, причем интервал может быть задан разработчиком или администратором упомянутого устройства 7 или получен, например, из устройства 5, где храниться метаинформация о моделях включая пороговые значения, интервалы и другие атрибуты модели.

[0070] Например, если в БД среды выполнения 4 сохранен спрогнозированный результат работы модели, указывающий на то, что клиент выплатит кредит, и фактический результат указывает на то, что клиент выплатил кредит, то устройство 6 назначает спрогнозированному результат работы модели параметр, указывающий на то, что упомянутый спрогнозированный результат соответствует фактическому результату. Соответственно, если в БД среды выполнения 4 сохранен спрогнозированный результат работы модели, указывающий на то, что клиент вернет кредит, а фактический результат указывает на то, что клиент не вернул кредит, то устройство 6 назначает спрогнозированному результат работы модели параметр, указывающий на то, что упомянутый спрогнозированный результат не соответствует фактическому результату.

[0071] Определенные упомянутые параметры далее передаются устройством 6 мониторинга в модуль 20 автовалидация, который на основе полученных параметров определяет значение, характеризующее соотношение (например, процентное отношение) параметров, указывающих на то, что спрогнозированный результат работы модели соответствует фактическому результату, к параметрам, указывающим на то, что прогнозированный результат работы модели не соответствует фактическому результату. Полученное значение сравнивается устройством 2 с интервалом пороговых значений, установленным для данной модели, например, разработчиком или владельцем модели в устройстве 5 БМ, характеризующим отсутствие модельного риска. Если полученное значение выходит за пределы интервала пороговых значений, то устройство 2 передает результаты о наличии (102) модельного риска в устройство 3 принятия решения, который в свою очередь определяет и принимает решение, на основе полученных упомянутых результатов, о необходимости автодообучения (103) модели, установленной в среде выполнения 4.

[0072] Для дообучения модели устройство 3 принятия решения инициирует работу устройства 7 дообучения, которое для проведения автодообучения извлекает из БД среды выполнения 4 обновленные данные, связанные с работой модели за заданный период времени, например, данные подаваемые на вход модели, спрогнозированные результаты работы модели и фактические результаты и, возможно, другие данные, подходящие для определенного устройством 7 вида модели и указанный в отчете о разработке модели или в ее параметрах, после чего извлекает метаданные модели из устройства 5 БМ, в частности коэффициенты модели, пороговые значения и т.д., алгоритм обработки входящих данных, а так же может извлекать методику дообучения из устройства 8 и производит дообучение в автоматическом режиме. В альтернативном варианте дообучение может производиться в устройстве 4, где методика дообучения должна быть реализована, как некоторая часть поставляемой модели. В альтернативном варианте реализации представленного решения дообучение модели может выполняться с предварительным выводом модели из эксплуатации.

[0073] Далее устройство 7 дообучения известными методами осуществляет дообучение модели на извлеченных ранее данных, а полученные артефакты новой дообученной версии модели сохраняются (фиксируются) в устройстве 5 БМ и направляются в модуль 20 автовалидации, расположенный в устройстве 2.

[0074] После получения данных дообученной модели модуль 20 автовалидации проводит валидацию дообученной модели. Для проведения валидации дообученной модели модуль 20 определяет на основе типа модели методику валидации. Информация о типе модели может содержаться в данных о модели и дообученной модели, хранимые в устройстве 5 БМ, и может быть найдена, например, по идентификатору (ID) модели. Соответственно, модуль 20 посредством устройства 2 направляет запрос с ID модели в устройство 5 БМ, в котором хранятся соответствия ID моделей их типу, и которое в ответ направляет тип модели, согласно которому модуль 20 извлекает из устройства 8 соответствующую методику валидации модели. В альтернативном варианте реализации представленного решения ID моделей и типы моделей могут храниться в памяти устройства 2, которой он может быть оснащен.

[0075] В рамках выполнения методики валидации на основе данных, характеризующих методику валидации, упомянутый модуль 20 может определить коэффициенты модели, валидацию которых следует выполнить. Далее модуль 20 извлекает для данного типа модели выборку данных, которая предназначена для валидиции коэффициентов модели, и связанные с упомянутой выборкой заданные результаты работы модели. Выборки данных и соответствующие им результаты работы модели могут быть заранее заданы в памяти модуля 20 или в любой другой области памяти любого другого устройства, доступ к которому имеет модуль 20. Например, упомянутая выборка данных может содержать данные о транзакциях клиентов, их доходах и пр., а заданные результаты работы модели могут указывать на то, выплатил ли клиент кредит или нет.

[0076] Упомянутая выборка данных далее модулем 20 подается на вход дообученной модели для получения результатов работы модели, которые сравниваются с заданными результаты работы модели для упомянутой выборки данных. Если полученные упомянутые результаты соответствуют заданным результатам работы модели, то модуль 20 формирует решение, указывающее на то, что коэффициенты дообученной модели прошли процесс валидации. Соответственно, если полученные упомянутые результаты не соответствуют заданным результатам работы модели, то модуль 20 формирует решение, указывающее на то, что коэффициенты дообученной модели не прошли процесс валидации.

[0077] В рамках выполнения методики валидации модуль 20 автовалидации дополнительно может извлекать из данных, характеризующих методику валидации, список этапов алгоритма обработки данных и сравнивать его с этапами алгоритма обработки данных дообученной модели. Если все этапы из упомянутого списка присутствуют в алгоритме обработки данных дообученной модели, то модуль 20 формирует решение, указывающее на то, что дообученная модель в части алгоритма обработки данных прошла процесс валидации. Соответственно, если хотя бы один этап отсутствует, то модуль 20 формирует решение, указывающее на то, что дообученная модель в части алгоритма обработки данных не прошла процесс валидации.

[0078] В рамках выполнения методики валидации модуль 20 автовалидации может дополнительно на основе данных о методике валидации определять обновленные данные в выборке данных, которые были использованы для дообучения модели и валидацию которых необходимо выполнить. Далее упомянутый модуль 20 извлекает из выборки данных, которые были использованы для дообучения модели, данные, валидацию которых следует выполнить, и сравнивает их с пороговыми значениями данных или диапазоном пороговых значений. Например, данные, валидацию которых следует выполнить, могут характеризовать пропуски данных (например, не указан возраст для расчета кредитного рейтинга), количество дубликатов данных, количество аномалий в данных и пр.

[0079] Соответственно, если данные, валидацию которых следует выполнить, соответствуют заявленным параметрам (например, пороговым значениям), то модуль 20 формирует решение, указывающее на то, что данные, которые были использованы для дообучения модели, прошли процесс валидации. В ином случае модуль 20 формирует решение, указывающее на то, что данные, которые были использованы для дообучения модели, не прошли процесс валидации. Дополнительно в рамках валидации обновленных данных в выборке данных может быть проведена проверка влияния пропусков, дубликатов данных, аномалий и выхода за пределы пороговых значений данных на качество модели, а также оценена репрезентативность и актуальность данных, проверена стабильность популяции и характеристик данных, проведено стресс тестирование влияния изменения данных на качество модели.

[0080] В рамках выполнения методики валидации модуль 20 может дополнительно подать на вход прошедшей процедуру валидации дообученной модели данные, которые были использованы для дообучения модели, для получения спрогнозированных результатов работы дообученной модели. Полученные упомянутые спрогнозированные результаты сравниваются модулем 20 с фактическими результатами, сохраненными для упомянутых данных, которые были использованы для дообучения модели, хранимые в устройстве 5 БМ, после чего модуль 20 назначает каждому спрогнозированному результату работы дообученной модели параметр, указывающий на то, что упомянутый спрогнозированный результат соответствует или не соответствует фактическому результату.

[0081] Далее модуль 20 на основе полученных выше параметров может определить значение, характеризующее соотношение (например, процентное отношение) параметров, указывающих на то, что спрогнозированный результат работы дообученной модели соответствует фактическому результату, к параметрам, указывающим на то, что прогнозированный результат работы дообученной модели не соответствует фактическому результату. Полученное значение сравнивается модулем 20 с интервалом пороговых значений величины модельного риска, установленным для данной модели, например, разработчиком упомянутого модуля 20, характеризующим отсутствие модельного риска. Если полученное значение выходит за пределы интервала пороговых значений величины модельного риска или коэффициенты дообученной модели, этапы алгоритма обработки данных дообученной модели или обновленные данные в выборке данных, которые были использованы для дообучения модели, не прошли процесс валидации, то модуль 20 принимает решение, что дообученная модель не прошла процедуру валидации, после чего передает результаты валидации, в устройство 3 принятия решения, который в свою очередь определяет и принимает решение, на основе полученных упомянутых результатов, при необходимости, о выводе модели из эксплуатации, если она ранее не была выведена из эксплуатации. Соответственно, если упомянутое значение находится в пределах интервала пороговых значений и все сформированные выше решения указывают на то, что все проверки (данные) прошли процесс валидации, то модуль 20 принимает решение, что дообученная модель прошла процедуру валидации, а устройство 3 принятия решения принимает решение о выводе модели в промышленную эксплуатацию (104), т.е. в среду выполнения 4.

[0082] Таким образом, за счет мониторинга показателей модели, функционирующей в промышленной среде, в частности величины модельного риска, и автодообучении модели, в случае падения показателей качества, на обновленных данных, обеспечивается достижение указанного технического результата, заключающегося в обеспечении возможности управления модельным риском в автоматическом режиме без участия человека. Дополнительно точность управления модельным риском может быть повышена за счет проведения автовалидации дообученной модели и/или обновленных данных перед выводом дообученной модели в промышленную эксплуатацию. Также за счет того, что дообучение модели проводится на обновленных данных, извлекаемых из среды выполнения за заданный период времени, снижается вычислительная нагрузка на вычислительное устройство, выполняющее дообучение модели, поскольку упомянутому устройству не требуется хранить и обрабатывать весь массив данных, поступивший на вход модели.

[0083] В альтернативном варианте реализации представленного решения модуль 20 автовалидации после определения того, что упомянутое значение, характеризующее соотношение параметров, находится в пределах интервала пороговых значений, можем извлечь из устройства 2 или устройства 5 БМ данные о по меньшей мере одной альтернативной модели для типа дообученной модели, после чего направить на вход модели упомянутые обновленные данные, которые были использованы для дообучения модели, для получения спрогнозированных результатов работы альтернативной модели. Полученные упомянутые спрогнозированные результаты сравниваются модулем 20 с фактическими результатами, сохраненными для упомянутых обновленных данных, которые были использованы для дообучения модели, в устройстве 5 БМ, после чего модуль 20 назначает каждому спрогнозированному результату работы альтернативной модели параметр, указывающий на то, что упомянутый спрогнозированный результат соответствует или не соответствует фактическому результату.

[0084] Далее модуль 20 автовалидация на основе полученных выше параметров может определить (описанным выше способом) значение, характеризующее соотношение параметров, указывающих на то, что спрогнозированный результат работы альтернативной модели соответствует фактическому результату, к параметрам, указывающим на то, что прогнозированный результат работы альтернативной модели не соответствует фактическому результату. Полученное упомянутое значение модулем 20 вместе со значением, полученным для альтернативной модели, направляются в устройство 3, которое сравнивает полученные значения и если упомянутое значение, полученное для альтернативной модели, больше значения, полученного для дообученной модели, то устройство 3 принимает решение о выводе альтернативной модели в промышленную эксплуатацию, т.е. в среду выполнения 4. Если значение, полученное для альтернативной модели, меньше значения, полученного для дообученной модели, то устройство 3 принимает решение о выводе дообученной модели в промышленную эксплуатацию.

[0085] В том случае, если значение, полученное для альтернативной модели, равно значению, полученному для дообученной модели, то устройство 3 определяет скорость работы дообученной и альтернативной моделей. Для определения скорости моделей устройство 3 направляет соответствующий запрос в модуль 20 автовалидации, который может быть оснащен, например, счетчиком - электронным устройством для определения степени накопления какой-либо величины во времени, методом интегрирования значения текущего измерения. Для определения времени модуль 20 посредством счетчика фиксирует значение времени направления на вход модели данных и значение времени получения спрогнозированного результата работы модели и на их основе определяет значение скорости работы модели.

[0086] Соответственно, значения скорости работы дообученной и альтернативной моделей модуль 20 направляет в устройство 3, которое сравнивает полученные значения и выводит в промышленную эксплуатацию ту модель, значение скорости которой имеет меньшее значение.

[0087] Также известными методами модулем 20 может быть оценено количество вычислительных ресурсов, задействованных для обработки обновленных данных дообученной моделью и альтернативной моделью. Например, может быть оценена нагрузка на оперативную память, процессор, жесткий диск и пр. в процессе обработки данных упомянутыми моделями. Соответственно, в промышленную эксплуатацию может быть выведена та модель, которая потребляет меньше вычислительных ресурсов.

[0088] В общем виде (см. Фиг. 3) вычислительное устройство (200) содержит объединенные общей шиной информационного обмена один или несколько процессоров (201), средства памяти, такие как ОЗУ (202) и ПЗУ (203), интерфейсы ввода/вывода (204), устройства ввода/вывода (205), и устройство для сетевого взаимодействия (206).

[0089] Процессор (201) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в устройстве (200) также необходимо учитывать графический процессор, например, GPU NVIDIA с программной моделью, совместимой с CUDA, или Graphcore, тип которых также является пригодным для полного или частичного выполнения способа, а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.

[0090] ОЗУ (202) представляет собой оперативную память и предназначено для хранения исполняемых процессором (201) машиночитаемых инструкций для выполнения необходимых операций по логической обработке данных. ОЗУ (202), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (202) может выступать доступный объем памяти графической карты или графического процессора.

[0091] ПЗУ (203) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.

[0092] Для организации работы компонентов устройства (200) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (204). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1 , micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.

[0093] Для обеспечения взаимодействия пользователя с вычислительным устройством (200) применяются различные средства (205) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.

[0094] Средство сетевого взаимодействия (206) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (206) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др. [0095] Дополнительно могут применяться также средства спутниковой навигации в составе устройства (200), например, GPS, ГЛОНАСС, BeiDou, Galileo.

[0096] Конкретный выбор элементов устройства (200) для реализации различных программно-аппаратных архитектурных решений может варьироваться с сохранением обеспечиваемого требуемого функционала. [0097] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.