Как соединить реальный мир с нереальным

Об этом рассказал наш новый арендатор, генеральный директор ООО «НПО Варя» Василий Васильевич Громыко. Его компания, резидент «Сколково», разместила свою мастерскую на площадях института «Проектмашприбор», принадлежащего НИКСу и Госкорпорации «Ростех».

Как вы пришли в IT-бизнес?

Первое мое образование – монтажник радиоэлектроники. Но завод закрыли до того, как я закончил колледж, и на производстве я так и не поработал. А бэкграунд у меня из IT. Интернет меня начал интересовать очень давно. Сначала я занимался строительным бизнесом. Как заработал денег – решил открыть интернет-кафе. Уже тогда начал интересоваться разработкой сайтов. Когда переехал в Москву, открыл с партнером небольшую веб-студию.

Мы дошли до уровня системного интегратора, делали все, от программного обеспечения до продвижения в интернете, и производили различный контент. Разрабатывали и продвигали мобильные приложения, когда они только появились. Затем ушли в собственные продукты, с другими партнерами открыли облачный сервис для маркетологов, с клиентами из более чем 70 стран.

Когда в этом бизнесе все наладилось и он стал требовать меньше внимания, встретились с партнерами, и нам захотелось сделать что-то такое, что можно потрогать руками. Выбрали направление виртуальной реальности. В 2015 это был самый прогрессивный тренд. Потому компания и называется «Варя». Мы совместили две аббревиатуры: виртуальная реальность, VR, и дополненная реальность, AR. Сначала название было на английском, потом русифицировалось.

Сначала хотели сделать аттракцион полного погружения в виртуальное пространство. Стали подбирать все существующие технологии и обнаружили, что с технологиями слабовато. Особенно не понравилось, что системы трекинга положения человека в пространстве были либо дорогими, либо недоступными. В России в то время работали три стартапа в этом направлении, я с ними вел переговоры, но они называли нереальные цены и сроки, а так как у меня первое образование по электронике, то я поковырял компонентную базу и понял, что проще самим сделать.

И мы через полгода сделали первый прототип системы трекинга – первый костюм, и таким образом у нас произошел пивот– перенаправление в деятельности компании. Мы заморозили прототип системы погружения и начали делать системы mocap (от motion capture – захват движения). Через полгода получили первый прототип, а через год я понял, что у нас впереди еще долгий путь: прототип прототипом, но надо создать продукт, продвигать его. Это и был наш первый продукт, который мы назвали Locomotion Sensor.

Что из себя представляет эта система?

Locomotion Sensor – это инерциальная система трекинга, позволяющая с высокой точностью и частотой отслеживать ориентацию объектов в пространстве. С ее помощью можно проводить оцифровку позиции частей тела человека для передачи его движений в виртуальном пространстве. Профессионально это называется захват движения. Такие системы используется в киноиндустрии и при разработке компьютерных игр. Комплект состоит из 16 беспроводных датчиков, которые одевают на человека. Когда он двигается, мы получаем данные с датчиков и выстраиваем на компьютере скелетную модель человеческой локомоции, то есть, попросту говоря, перемещений в пространстве, связанных с активными действиями.

Каким образом и с какой точностью система определяет местоположение датчиков?

Есть разные подходы к захвату движений человека. Можно применять оптические методы. Например, фиксировать движения с помощью компьютерного зрения. Кроме того, применяется радиотриангуляция или лазерные системы. Но самая простая – инерциальная система. Она не столь точна, как лазерная или оптическая, зато ее можно использовать не только в закрытых помещениях, но и на улице. Ее точность можно значительно улучшить за счет применения определенных алгоритмов.

Используется набор разнородных датчиков, которые корректируют неточности друг друга: гироскопы, акселерометры, магнитометры, которые ориентируются относительно магнитного поля Земли как своего рода компасы, и датчики атмосферного давления, дающие данные по относительной высоте маркеров с точностью до 10 см.

Это не субмиллиметровая точность, которую дают лазерные и оптические системы, когда на человека клеятся до 250 маркеров и вычисляются их позиции. У нас в системе 16 маркеров, хотя, конечно, можно соединить несколько комплектов.

Таких систем немного – 8-10 во всем мире, инерциальных – штук 6. И, кстати, мы стали в то время единственными, кто перестал использовать магнитометры, потому что, к сожалению, их работе мешает огромное количество помех.

Работая над этой системой мы получили большой опыт в разработке носильной электроники. Оптика и лазеры – это гораздо легче. А здесь очень важен вопрос миниатюризации.

Сколько стоит ваша система?

Комплект вначале стоил смешные 1200 долларов, потом мы подняли цену до 3000 долларов, а сейчас вообще поставили полмиллиона рублей, так как продажи случаются редко и связанны с большим временем последующей поддержки клиента. Иногда все равно обращаются, но мы не продаем комплект, а сдаем в аренду и обязательно со своим консалтингом. Наш консалтинг, кстати, заказывают и для импортных систем. Для их использования тоже нужны специалисты.

Западные аналоги намного дороже?

Комплект нашего топового конкурента компании Xsens стоит примерно 20 000 евро. Но сейчас уже вопрос не в цене. Цена важна, но для профессиональных студий, которых очень мало, вопрос не в цене, а в качестве. У всех наших продуктов есть три направления коммерциализации: продажа, прокат, проектная работа. Соответственно, в кризис больше берут прокат и проектную работу. Последний заказ у нас был на 10 дней сопровождения подрядчика для канала НТВ. Там есть такой проект– Шоу «Аватар», когда за виртуальным персонажам прячут какую-то звезду и по движениям надо угадать, кто это. В видеоиндустрии никто своего оборудования не держит. Везде субподрядчики. На телеканалах на самом деле своего видеопроизводства почти нет.

Как намерены развивать этот проект?

К сожалению, проект Locomotion Sensor сейчас заморожен. Он просто не маржинален. Потребность на российском рынке в подобных системах очень мала. В Москве порядка 6 mocap-студий, и ради выпуска 10 комплектов в год содержать команду просто невыгодно.

Чем же стала заниматься компания?

Locomotion Sensor мы сделали в 2016-2019 году. А потом у нас появилось еще два продукта. Один из них AiVisum – это интеллектуальные камеры с периферийными вычислениями для автоматизации производства, иными словами – система машинного зрения с элементами искусственного интеллекта. В работе над Locomotion Sensor нам пришлось создавать оптические стенды для проверки системы. А когда мы занялись этим, появился запрос на такие устройства со стороны промышленности.

Можете привести пример практического использования?

Первый пилотный проект у нас был на сырном заводе. Нужно было считать немаркированную продукцию, головки сыра на конвейере.

Камера смотрит на конвейер и считает головки, различая, какого типа идет продукция: есть круглая головка, есть шар, есть брус. Камера автоматически распознает эти объекты и передает данные в 1С. Не нужен контролер, которого самого нужно контролировать. Плюс камера могла еще и отделять брак, сталкивая с конвейера головки неправильной формы.

Проект получил развитие?

Поначалу да, особенно хорошие перспективы просматривались, когда в стране запустили проект «Честный знак» по обязательной маркировке определенных групп товаров. Для этого как раз нужны камеры машинного зрения для считывания кодов формата Data Matrix. Это такой аналог QR-кода, куда зашифрована вся информация о продукте: когда он произведен, из какой он партии и т.д.

И рынок получался просто огромный, потому что в России нет отечественных камер по чтению таких кодов, а ручной сканер при массовом выпуске продукции не поможет. Пробовали китайские камеры, но их качество никогда не соответствовало заявленным характеристикам. Наши прототипы работали со скоростью 15 чтений в секунду, а китайцы заявляли, что у них может быть 50, но реально даже до 5 не доходило.

Мы посчитали, что в год в рамках этой программы потребуется тысячи камер. И мы начали свою камеру переделывать в упрощенную версию для Data Matrix.

И чем закончилось дело?

Еще не закончилось, надеюсь. AiVision пока тоже заморозили, к сожалению, поскольку он был ориентирован на частный рынок, который себя чувствует не очень уверенно. Никто не хочет делать большие инвестиции и вкладывать средства в автоматизацию производства. Особенно в новую автоматизацию производства и умные камеры. Здесь государство должно бы поспособствовать, но ему сейчас не до этого.

На что делаете ставку сейчас?

На систему, которая называется «Камикс». Это производная от опыта Locomotion Sensor, но в данном случае речь идет уже о трекинге видеокамеры.

Эта система используется, когда нужно смешивать виртуальное пространство с реальной картинкой. Например, люди сидят в студии с голыми стенами, а на экране кажется, будто они находятся на другой планете. Так снимали, например, сериалы «Дом дракона» или «Мандалорец». Чтобы такая картинка корректно смотрелась на экране, координаты камеры, которая снимает человека на фоне какого-то виртуального пространства, должны быть известны. Это необходимо для воспроизведения эффекта параллакса – изменения положения объекта относительно удаленного фона. Если этого не делать, то при повороте или перемещении камеры сразу будет видно, что фон за человеком не настоящий, что это просто проекция на стену, которая находится прямо за его спиной. И еще есть много нюансов…

В общем, чтобы появилась естественность совмещения компьютерной графики с реально снятым человеком, нужна технология создания виртуального двойника реальной видеокамеры. И помимо того, что мы в виртуальном пространстве должны передать полностью движения камеры, мы еще и должны передать состояние ее объектива: положение линзы, зум, фокус. Система «Камикс» позволяет сделать этот двойник. На видеокамеру вешается специальное устройство, которое в режиме реального времени передает данные для специального программного обеспечения. Оператор двигает камеру – и точно так же она двигается в виртуальном пространстве. Оператор наводит фокус – точно так же происходит и в виртуальном пространстве.

Вы в своих разработках делаете и софт, и «железо»?

Мы и аппаратную часть делаем, и софтверную. Даже в харде есть софтверная часть. Для контроллеров нужен низкоуровневый софт. В «Камиксе» мы буквально за год разработали высокоточные энкодеры: когда мы крутим зум или фокус на объективе, энкодеры снимают данные с точностью 132 тыс. делений на оборот и передают их в виртуальное пространство.

Еще требуется создавать линз-файлы, это такие виртуальные линзы. Каждая линза в объективе уникальна, со своими погрешностями. Мы одни из немногих в индустрии, кто может делать линз-файлы прямо на съемочной площадке. При использовании систем наших конкурентов надо заранее инженера вызывать или отправлять данные, по которым формируется линз-файл. Мы же можем это делать на месте и очень быстро.

Что сложнее делать – софт или хард?

Софт– не самое сложное. Сложнее – электроника и низкоуровневое программирование. Приходит новый чип, и под него надо все полностью спрограммировать. Высокоуровневый софт сделать гораздо легче. У нас есть бизнес в виде облачного сервиса с программными разработками. Это гораздо легче по затратам времени. В программном продукте ничего не надо делать материального, и ты не зависишь ни от каких производств. Зато и оторваться от конкурентов труднее. Придумал что-то новое, но за полгода тебя ребята с ресурсами догонят. А аппаратную часть сделать труднее. Те же энкодеры – это 2 года минимум. У половины наших конкурентов собственных энкодеров нет.

А где берете электронику?

Увы, в России нужной нам элементной базы почти нет. Мы много покупали образцов сенсоров для энкодеров, в том числе и отечественных, но они очень большие и очень дорогие. Конструкция простая. Просто их никто не делает в России. Всего три компании в мире их делают.

И какой у вас сейчас процент локализации?

Если считать по методике Минпромторга, то у нас локализация около 40%. Программная часть– 80%, и это почти максимум. А в аппаратной части локализация ограничивается в основном проектированием, монтажом плат и корпусированием. Компонентная база почти целиком зарубежная. Даже разъемов нет российских.

И откуда будете брать электронику в нынешней ситуации?

Приходится решать проблему параллельным импортом.

Как попали в «Сколково»?

В «Сколково» мы еще с Locomotion попали. Они нас сами позвали. Там есть кластер «ЯдерТех». Он занимается многими производственными технологиями, и они пригласили нас. Мы на историю со «Сколково» смотрели как на что-то очень сложное, и раньше туда действительно было очень сложно заходить, особенно до 2018 года, и мы туда зашли только потому, что они сами к нам обратились и помогали туда входить.

Мы подали заявку и получили статус резидента. Более того, «Сколково», помимо льгот налогами, дает много преимуществ.

Если Locomotion Censor не дает прибыли, то почему надеетесь заработать на «Камиксе»?

Мы видим, что, несмотря на кризис, видеопроизводство ни у кого не останавливалось. ТВ-каналы финансируются плюс еще на несколько лет выделено большое финансирование на киноиндустрию от Минкульта. Соответственно, для всего этого нужно производство.

В киноиндустрии, как я говорил, очень развит прокат. Никто не покупает себе все оборудование. Берут в аренду. У нас один из партнеров занимается арендой оборудования, и он подсказал: чего вы не сделаете трекинг для камеры, он больше нужен, чем mocap. Если mocap– это 10 комплектов в год, то трекинг камеры– это 100 комплектов в год только на российском рынке. А он будет расти. Все студии будут переходить на виртуальное производство, потому то это дешевле.

Для нас «Камикс»– это максимально быстро развивающийся в сфере видеопроизводства сегмент. Эта система нужна рынку, и она как раз вобрала весь наш опыт разработки программно-аппаратных комплексов. Так что несмотря на то, что два других наших проекта заморожены, это не значит, что усилия на них потрачены впустую.

Сколько стоит «Камикс»?

Сейчас мы сделали демократичные цены, которые начинаются от 990 тыс. руб. Система нашего основного конкурента британской компании MoSys стоит 80 тыс. евро.

Вы рассчитываете только на внутренний рынок?

Наш продукт конкурентоспособен и в глобальном смысле. До 2022 года мы успели продать комплект даже в Австралию. На тест отправляли в Латвию и в Швецию. Запросы из-за рубежа постоянно приходят. Собираемся попробовать силы в Арабских Эмиратах. Смотрим на Францию и Испанию. Но топовый рынок – это, конечно, США.

Почему решили снимать офис в «Проектмашприборе»?

Нам надо трех-четырех инженеров где-то посадить для сборки прототипов. Конечно, в IT за время пандемии все привыкли работать дистанционно, так удобнее и дешевле. В другой компании перед самой пандемией партнеры сняли 200 квадратов для программистов, обустроили, а потом началась пандемия, и это все просто стояло год. Они поняли, что никто все равно в офис больше не пойдет, сократили до 50 квадратов, а потом и от этого отказались.

Но нам нужна мастерская, где будут паять прототипы. Нужна комната, чтобы поставить 3D-принтеры и дополнительное оборудование. В жилых помещения это неудобно. Да и сами прототипы не дома должны храниться.

Смотрели помещение в «Калибре», но там неудобно с парковками и ограниченным временем доступа. Там муравейник. Здесь у вас спокойнее.

Какие планы на будущее?

Может, займемся технологиями машинного обучения, которые сейчас называют искусственным интеллектом. Но тут опять же дело не в самих технологиях. Обучить нейросетку нетрудно. Создать востребованный рыночный продукт, вывести его на рынок, раскрутить – вот что самое сложное. На это уходит большая часть времени, усилий и денег.

Холдинг НИКС – это сеть из более чем 100 магазинов цифровой техники по всей России; это инжиниринговый центр по проектированию высокотехнологичных производств «Проектмашприбор», на 75% принадлежащий компании НИКС и на 25% – Госкорпорации «Ростех»; это нанотехнологическая лаборатория, в стенах которой разработаны и изготовлены сканирующие туннельные микроскопы, исследуется квантовый электронный транспорт в металлических наноструктурах, ведутся работы по квантовым вычислениям;