Сегодня 16-летняя японская певица Хатсуне Мику дала очередной триумфальный концерт в Токио. Мы бы вряд ли стали об этом рассказывать, если бы девушка была настоящей. Но она полностью синтезирована компьютером, включая внешность, голос и танцы. Даже саму ее фигуру во время концертов рисуют лазерами в воздухе.
Раскрутить новую звезду японским электронщикам и продюсерам удалось буквально за несколько недель. И теперь мировой шоу-бизнес гадает: может быть, это и есть будущее? И живые исполнители больше не нужны?
Корреспондент НТВ Сергей Малозёмов тоже попытался понять.
Она появляется из-под сцены, и сотни фанатов взрываются воплями восторга. Первая в мире звезда-голограмма, у которой все синтетическое, а не только какие-то части. Хатсуне Мику!
Армия поклонников виртуальной певицы стремительно растет. Сначала это были только японцы, а теперь, судя по блогам и продажам ее музыки в Интернете, еще и американцы, австралийцы, европейцы.
Технология, которая позволяет синтезировать пение, когда в компьютер закладываешь текст, существовала давно. Но в этом проекте она, во-первых, была усовершенствована, а, во-вторых, для создания образа объединились художники, композиторы и несколько настоящих певиц, которые отдали тембры своих голосов.
Саки Фудзита, певица: «Мне не важно, что ее, виртуальную, любят и знают больше, чем меня, настоящую. Главное, звучит здорово и людям нравится!»
Клипами Хатсуне Мику уже полон «Ютьюб» (YouTube), причем фанатскую любовь подстегивает то, что у программы «Вокалоид», которая синтезирует ее голос, есть бесплатная упрощенная версия, и фактически пользователи Интернета могут сами спеть ее голосом все, что захотят. Тут есть даже финская полька в исполнении новой звезды.
Хироюки Ито, руководитель проекта по созданию виртуальной певицы: «Мику откроет новые возможности для композиторов, художников и музыкантов по всему миру, ведь компьютерный синтез позволит им воплощать свои идеи без проблем, связанных с продюсером, деньгами и поисками реального исполнителя».
Музыкальный критик Борис Барабанов смотрит запись японского шоу с любопытством, но без восторга. Говорит, что идея звучит привлекательно, но настоящим кумиром надолго может стать только реальный исполнитель. К придуманному быстро пропадает интерес.
Борис Барабанов, музыкальный обозреватель издательского дома «Коммерсант»: «Есть Garillaz, есть эти японские персонажи. Можно еще вспомнить какую-нибудь нашу Масяню или Глюкозу, которая поначалу тоже была чисто мультипликационным персонажем. Просто один из видов аттракционов, это одна из форм поп-культуры, но она не заменит живое общение».
Первая российская виртуальная певица Глюкоза вспоминает, что по тем же причинам быстро превратилась в настоящую Наталью Ионову.
Наталья Ионова (Глюкоза), певица: «Нарисовали один клип, второй. Зритель стал гадать, всем, конечно, хотелось посмотреть, кто же поет, как же она выглядит на самом деле. Оживление проекта и выхода конкретно меня на сцену было неизбежно».
Впрочем, технологии развиваются. Синтезированный голос все реальнее, трехмерные пляски тоже. А как все это выгодно для боссов шоу-бизнеса! Такая звезда никогда не потребует поднять ей зарплату, не будет капризов, детей, мужей, проблем с алкоголем. Хотя для пиара, наверное, все это тоже придумают.
В августе 2007 года. Японию захлестнул поток новых песен и иллюстраций новоявленной виртуальной звезды.
Огромный импульс популяризации Мику дало появление в феврале 2008 года вопиюще бесплатной программы 3-D анимации MikuMikuDance. Теперь интернет с огромной скоростью наполнялся новыми видеоклипами с Мику, а, вскоре, и с другими вокалоидами.
Надо было решать вопрос, как вывести виртуальную звезду в Реальность.
Частично, это было осуществлено на 22 августа 2009 года, но самый популярный вокалоид появился на киноэкране, а музыканты остались внизу.
Но 9 марта 2010 года, на известном концерте в Токио Miku no Hi Kanshasai 39’s Giving Da y, Мику Хатсуне все-таки вывели на сцену. Давайте разберемся, как это сделали.
Концерты вокалоидов. Визуализация
Задача была непростая, разместить полностью виртуальную певицу среди вполне реальных музыкантов. В принципе, кое-какие наработки уже были — проекция на прозрачный экран. Но сквозь виртуальную певицу бессовестно просвечивали живые музыканты, что напрочь убивало всю иллюзию реальности.
Была применена следующая схема, проектор оставили, а вот с экраном сделали несколько интересных вещей….
На сцену поставили прозрачный экран , таким образом, чтобы в поле зрения зрителей, смотрящих в этот экран, не попадало никаких ярких или подсвеченных предметов. Сразу за ним поставили полупрозрачный сферический экран , на который и спроецировали изображения виртуальной певицы.
Пока в зале было включено освещение, на сцене стояло обычное стекло. Но как только погас свет, перед зрителями образовалось некое темное окно в Виртуальный мир в котором появилась Богиня! (Ну, по крайней мере, поклонники, оказавшиеся на этом концерте думали именно так. Уверен!)
Теперь, благодаря продуманному освещению, сквозь проекции не просвечивали реальные объекты, а сферичность экрана создавала эффект псевдообъемности. Так что голограмм на сцене никогда не было — была обычная плоская проекция, приукрашенная некоторыми оптическими эффектами.
Надо добавить, что на первом из серии концертов вообще не было ни прозрачного экрана, ни проектора. Они использовали просто большую плазменную панель, которую поставили между музыкантами.
Выглядело это примерно так:
Потом панель то ли разбили, то ли залили водой, короче, по тем или иным причинам, перешли на технологию с проекторами.
Если сравнивать эти технологии со стороны зрителей в зале, то для них, однозначно, лучше проекция, так как они в полной мере наслаждаются эффектами псевдо-объема. (Справедливости ради, надо сказать, что этот эффект различим далеко не во всем зале). А вот зрители, наслаждающиеся концертом на экране, этих тонкостей не видят. Зато лучи от прожекторов проектора сразу бросаются в глаза. Сравним Мику Хатсуне на плазме (левый скрин) и в виде проекции (правый)
Так или иначе, на момент написания статьи, основным способом визуализации виртуальных певцов является именно проекция.
В некоторых случаях режиссеры обходят узкие моменты этой технологии (практически все концерты Magical Mirai ), а, иногда, садятся в лужу везде, где только можно (провальный ).
Но описание современных технологий будет неполным без упоминания о методе дополненной реальности
.
Суть метода в том, что компьютер, обрабатывая реальное видео, «вписывает» в него виртуального исполнителя. Собственно, сам метод далеко не новый и сотни раз использовался для создания компьютерных эффектов в кино. Новое в нем то, что теперь быстродействия компьютера хватает для того, чтобы сделать это в режиме реального времени, «на лету».
Чуть справа от ноги Иа можно заметить метку на полу — точка отсчета для компьютера, который будет строить недостающее изображение.. А чуть позади танцоров — белые линии, границы, которые вокалоид пересекать не будет. Как видно, эффект потрясающе реалистичен!
Есть пара подводных камней, движения на репетиции должны быть выверены таким образом, чтобы танцор и вокалоид не соприкоснулись. Реакции аннигиляции и вселенского взрыва, конечно, не будет, но виртуальная певица, проходящая сквозь живого артиста будет выглядеть нелепо…
Но самое главное и обидное в этом методе, зрители НЕ ВИДЯТ ИСПОЛНИТЕЛЯ НА СЦЕНЕ! Все прекрасное изображение строится только на экране монитора. Поэтому использовать этот метод можно (и нужно) только для записи клипов или концертов в стиле квази Live (как бы живой концерт), когда, несмотря на наличие сцены и зрителей (как правило, немногочисленных) все затачивается под студийную запись.
К слову, начиная года с 2016, нередко на концертах можно видеть и проекцию (для зрителей в зале) и компьютерную модель (для телезрителей). В частности на было именно так. К сожалению, в этих случаях телезрители видят раздвоенного исполнителя (хорошо видно на скриншотах китайского концерта), хотя операторы и пытаются свести этот эффект к минимуму.
[Я решил не загружать статью видео, а использовать для иллюстрации скриншоты, поэтому, желающие посмотреть оригинальное видео, переходите на Youtube по приведенным под скринами ссылкам ]
Вокалоиды на концертах. Перспективы визуализации
Собственно говоря, с 2010 года, когда нам показали, так называемую, «голограмму» — проекцию, принципиально ничего нового не случилось.
Улучшилось сглаживание, увеличилась частота кадров, сильно расширился экран, кое-где появилось даже два экрана, но принцип остался неизменным — двухмерная проекция.
Проблемой оставалось отсутствие технологий, обеспечивающих вывод голографического изображения в свободном пространстве и засилье псевдо-голограмм. Знаменитые голограммы в цилиндрах по сути голограммами тоже не являются. Вам просто показывают двухмерную картинку с той стороны, с какой вы на нее посмотрите.
Но не все настолько плохо. Спасение идет из той же Японии. Причем проблему решают с 2006 года, а в 2011 году появилась работающая технология создания изображения в свободном пространстве без дисплея!
Спасителями выступили Национальный институт передовой промышленной науки и технологии — AIST, университет Keio и Burton Inc . (Может кто знает их мотоциклы Kawasaki). Суть метода в том, что импульсы лазера в невидимом глазом спектре фокусируясь в определенной точке пространства переводят атомы азота воздуха в активное состояния и те излучают свет.
На скрине слева видно крыло бабочки (сама бабочка прорисовывается не сразу), которая летала на высоте 2 — 3 метров. Видео летающей бабочки с комментариями можно посмотреть https://youtu.be/GNoOiXkXmYQ (кстати, оно у нас вроде приводилось).
Конечно, видео не очень впечатляет, но учитывая, что прошло уже 2 года с момента его опубликование и это только первые шаги, можно с уверенностью сказать, что будущее за визуализацией с помощью голограмм в свободном пространстве. И это будущее ждать осталось не так уж долго!
Хореография на живом концерте вокалоидов
Как же создаются танцы, которые исполняют Мику Хатсуне и другие вокалоиды во время своих выступлений?
Понятно, работает профессиональный хореограф, а потом?
Уверен, что многие сразу вспомнили про программу MikuMikuDance
и, конечно же, ошиблись.
Проблема в том, что для того, чтобы создать танец вручную в этой программе, понадобится хорошее знание анатомии («кости» в этой программе не имеют физиологических ограничений и их можно крутить как угодно), отличное пространственное мышление и очень, очень много времени.
Давно уже MikuMikuDance дружит с сенсором захвата движений Kinnect , но, любой, кто его использовал подтвердит, что захват происходит очень не точно, тонкие движения пальцев не захватываются и править моушен (файл танца для 3d модели) придется ненамного меньше, чем его создавать с нуля.
Поэтому, начиная с самого первого концерта, движения модели не программировали, а захватывали с живого профессионального танцора с помощью продвинутой системы сенсоров.
Рассмотрим процесс на примере комплекса PERCEPTION NEURON .
На танцора одевается специальный костюм с 32-мя взаимосвязанными датчиками. Датчики фиксируют положение и движения головы, шеи, плеч, груди, талии, обеих рук, пальцев обеих рук, ног, большого пальца обеих стоп.
Система может посылать данные на компьютер через порт USB, с помощью Wi-Fi или писать данные прямо на флешку.
Данные обрабатываются программой AXIS Neuron для их корректировки, исправления возможных ошибок и преобразования в большинство самых популярных форматов для управления и разработки 3-d моделей, в том числе и для MikuMikuDance .
На примере следующего видео, которое создавалась в честь можно видеть, как данные от танцора поступают в компьютер, а после необходимых доработок появились в конечном видео.
Сенсоры выглядят следующим образом:
Особенно сложны сенсоры на кистях и пальцах:
Но все эти системы позволяют записывать движения в файл и потом, обработав на компьютере, использовать в концерте или клипе.
Концерт — живое действо, Мику обращается к зрителям по заданной программе и, как правило, все проходит более-менее нормально. Но вот на злополучном концерте в Кансае, когда у Мику внезапно пропал голос, организаторам весьма пригодилась бы обратная связь
Но совсем недавно, в сеть попал клип, который прошел совсем незамеченным. Вернее, Мику Хатсуне просто выступила в качестве Ди Джея.
На самом деле, это было испытание системы Li-VR
, при котором проекция Мику управлялась живым человеком в реальном времени. В процессе шоу был сбой звука и живая реакция Мику была весьма кстати!
Таким образом и в плане хореографии намечается прорыв. Возможно, совсем скоро, Мику или другие вокалоиды (точнее те, кто управляет голограммой-проекцией)будут общаться со зрителями вживую и адекватно реагировать на непредвиденные моменты в зале.
К сожалению, все зависит от продюсеров концертов и их заинтересованности.
P.S. Я упомянул, что MMD в серьезных концертах не используется. Но отдельные концерты проводятся чисто под движком MMD и без сопровождения живых музыкантов. Несколько лет назад была целая серия концертов Hatsune Appearans
.
Тем не менее, популярность у этих концертов была очень невелика и информации о новых на настоящий момент нет…
Иллюстрация вверху: Дина Б
Если будут дополнения или исправления, оставьте пожалуйста, в комментариях!
Пользователи, которым ПОНРАВИЛСЯ этот пост.
Мику Хацунэ (Hatsune Miku) – японская виртуальная певица, созданная компанией Crypton Future Media 31 августа 2007 года. Для синтезации её голоса используется технология семплирования голоса живой певицы, а именно – программа Vocaloid компании Yamaha. Голосовым донором послужила японская сейю Саки Фудзита. Впервые была выпущена на движке Vocaloid2, позже добавлен Append (Sweet, Dark, Soft, Light, Vivid, Solid), также была перевыпущена на движке Vocaloid3. Диски с песнями Мику завоёвывали первые позиции в японских чартах. Также, благодаря технологии лазерной 3D-голографии, она даёт и живые концерты.
Мику Хацунэ 16 лет, при росте 1 м 58 см она весит 42 кг. Цвет волос и глаз – зелёно-голубой.
Имя Хацунэ Мику состоит из трех слов: Первая (Хацу), Звук (Нэ) и Будущее (Мику). Приблизительно это можно перевести как «Первый Звук из Будущего».
Для того, чтобы понять все аспекты появления Мику, нужно уяснить тот факт, что сначала она появилась как некий талисман программы Вокалоид, и только потом, с возрастанием популярности, отправилась в «свободное плавание», став наполовину самостоятельным персонажем, оставаясь, тем не менее, маскотом Vocaloid. Теперь об этом подробнее.
Программа Vocaloid по сути является синтезатором человеческого пения. Поначалу она не пользовалась популярностью, пока компания Crypton Future Media не решила создать для продуктов следующего поколения официального маскота (маскот – любой узнаваемый персонаж, олицетворяющий собой школу, спортивную команду, сообщество, воинское подразделение, мероприятие или бренд). Само собой, маскот от Crypton должен был реализовать основную концепцию компании – петь. Таким образом родилась Хацуне Мику.
Задача придумать изображение Мику была дана художнику Кей Гаро. Когда Кей взялся за внешность Хацуне, его единственными ориентирами было то, что она андроид и ее цветовая схема должна основываться на сигнатурах бирюзового цвета синтезатора Yamaha. Первоначально Мику могла иметь различные прически, но Кей остановился на косичках после перебора различных вариантов. Компания Crypton официально создала «паспорт» Мику. Однако, в нем содержатся лишь ее физические и технические параметры. Специалисты Crypton решили не прорабатывать личностные характеристики Мику, что позволяет им теперь создавать ситуативные черты, которые лучше всего подходят к той или иной песни или концерту.
Каждый новый голос для программы Vocaloid создавался на основе голосов живых певцов и певиц. Те перед микрофоном повторяли все звуки, которые затем программа должна была складывать в песни, подобно тому, как складывают мозаику из кусочков. Но простое механическое складывание звуков не сможет дать хорошего результата и «достоверного» пения.
Программа Vocaloid, кроме сопряжения звуковых фрагментов, умеет автоматически или в ручном режиме изменять по ходу песни множество параметров голоса - от высоты тона до вибрато. Благодаря этому, например, Vocaloid способен брать более высокие ноты, чем человек, давший ему свой голос.
Начальные продажи Vocaloid под «патронатом» маскота Хацунэ Мику были настолько высоки, что возможности Crypton даже отставали от спроса. В первые 12 дней продаж было продано около 3000 копий программы. В мировом масштабе это приблизительно одна из 250 продаж в индустрии музыкального программного обеспечения. 12 сентября 2007 года Amazon.co.jp сообщила о продажах Хацунэ Мику на общую сумму 57 500 000 иен, что делало ее номер один по продажам программного обеспечения того времени.
Несмотря на то, что английская версия программы так и не появилась, и Хацунэ Мику поет только на японском, певица становится популярной и в англоязычном мире. Она, например, открывала концерты Lady Gaga во время ее мирового турне в 2014 году.
В 2007 г. в Японии родилась певица, которая не отменяет концерты по причине болезни, потому что вообще не болеет. Все эти 10 лет она не ест, не спит и при этом не устаёт. К тому же работает на своих создателей, не получая при этом гонораров, хотя только за первые 5 лет своей жизни принесла своим владельцам более чем 10 млрд японских иен, или 120,3 млн долл. Она выступала в вечернем шоу Дэвида Леттермана на американском ТВ и на разогреве у Леди Гага , но при этом не даёт интервью и автографов. И ей всегда будет 16 лет. Дело в том, что одну из самых популярных (уже не только в Стране восходящего солнца, но и в некоторых других странах мира) поп-звёзд Хацунэ Мику создали при помощи компьютерных технологий. Она — мультяшный персонаж, а точнее — вокалоид.
Так называют виртуальных исполнителей, нарисованных в традициях японской анимации аниме и поющих при помощи одноимённой (Vocaloid) компьютерной программы, разработанной компанией «Ямаха». У Хацунэ Мику порядка 70 виртуальных «братьев и сестёр»: Прима, Соника, Лили, Мерли, Кибер Дива . Есть даже вокалоид Катюша , созданная пока только в качестве прикола (в Сети гуляет видеоролик, где она исполняет «Катюшу» на русском с сильным японским акцентом). Но самая известная и популярная, конечно, Хацунэ Мику.
В её раскрутку вложены серьёзные деньги. Её образ задействован в рекламе, компьютерных играх, анимационных фильмах, комиксах, она продаётся в виде игрушечной куклы. Самое поразительное — она даёт концерты, на которых всегда аншлаги. За 10 лет Хацунэ дала всего 50 концертов по всему миру. Поскольку выступает она нечасто, её концерт — всегда событие для поклонников.
Выступление виртуальной артистки — сложное с точки зрения техники зрелище, в котором музыканты на сцене играют на живых музыкальных инструментах, а вокалистка Хацунэ проецируется при помощи 3D-проекторов на экран, установленный на сцене. Изображение певицы получается объёмным. Певица-голограммма не фальшивит, не общается со зрителями, а отрабатывает концерт, как заведённая компьютерная кукла. Но это не смущает зрителей — они аплодирует ей с диким восторгом. «Думаю, что популярность Хацунэ Мику базируется на том, что она может петь в любом стиле (рок, поп, опера, японские романсы — энка и даже любительские песни) и у неё широкий вокальный диапазон, которым не обладает ни один живой артист в мире», — сказала «АиФ» японка, сотрудница Дальневосточного федерального университета Ясуэ Ямана .
Благодаря доступности программы «Вокалоид» (стоимость последней, 4-й версии всего 10 тыс. руб.), в репертуаре Хацунэ Мику 100 тыс. песен в разных жанрах. Любой человек, освоивший программу «Вокалоид», пополняет репертуар певицы.
Что такое «Вокалоид»?
Программа «Вокалоид» синтезирует живой человеческий голос из вокальных фрагментов, взятых у живых исполнителей-«доноров» (или «сэйю» по-японски — актёры озвучки). «Донорами» голоса для вокалоидов могут быть как популярные в Японии исполнители, так и известные лишь узкому кругу японские актёры. Но чаще всего «доноры» предпочитают оставаться анонимными. Свой голос Хацунэ Мику подарила японская актриса озвучки Саки Фудзита .
Создатели максимально «оживили» поп-звезду, помимо возраста наделив её даже весом и ростом. Она весит 42 кг при росте 142 см. Японский пользователь, скрывающийся под ником Negipoyoc, разработал программу (MikuMikuSoine), позволяющую поклонникам даже спать (не заниматься сексом) вместе с Хацунэ Мику. Всё это, конечно, условно. Не условны только бешеные деньги, которые Хацунэ приносит создателям и при этом не капризничает, как живые артисты. Не это ли будущее шоу-бизнеса? Имя певицы так и расшифровывается: «хацу» — «первый», «нэ» — «звук», «мику» — «будущее», то есть «первый звук будущего». Ведь как удобно — нарисовал артиста на компьютере, записал с помощью программы «Вокалоид» его песни и отправил новую звезду в гастрольный чёс по городам и весям. Ну и что, что артист не имеет души, зато поёт круче любых живых исполнителей.
Идея создания виртуального артиста, конечно, ненова. Можно вспомнить фильм «Кто подставил кролика Роджера» (1988 г.), в котором наряду с обычными живыми актёрами «сыграл» мультяшный кролик Роджер. Или научно-фантастическую киноленту «Симона» (2002 г.) с Аль Пачино , где по сюжету режиссёр Тарански с помощью компьютерной программы создаёт виртуальную актрису Симону, которая становится безумно популярной. Не вытеснят ли вокалоиды со временем живых артистов, если их всё больше будут популяризировать и они будут приносить огромные деньги?
Сначала Хацунэ Мику завоевала Японию, на очереди завоевание США, Мексики и Китая.
Подивились и забыли?
«Люди ходят на шоу Хацунэ Мику по той же причине, по которой ходят посмотреть на себя в аттракционе кривых зеркал или покататься на колесе обозрения, — заявил „АиФ“ музыкальный продюсер Леонид Бурлаков , приложивший руку к раскрутке „Мумий Тролля“ и Земфиры . — Можно также сравнить интерес к ней с феноменом Tokyo Hotel. Песен не было, но был „живой инопланетянин“, на которого все хотели посмотреть. Посмотрели, подивились и... забыли. А чтобы заменить живых артистов, нужны реальный талант, песни. Так как за спиной у этой артистки-голограммы стоят те же композиторы, которые пытались сначала продавить свою музыку с живыми вокалистами, и, видимо, не очень получалось, они решили использовать эту технологию. Очередной Курт Кобейн (вокалист и гитарист группы „Нирвана“) или Земфира выметут из головы слушателей весь этот псевдоновый технологический продукт с помощью всего одной настоящей песни».
Как знать? Ведь существует шоу с Майклом Джексоном в виде голограммы. Те, кто не видел выступление поп-короля, когда он был жив, с удовольствием ходят на эти представления. А между тем в апреле 2017 г. в Токио планируется постановка первого вокалоид-балета «Dr. Coppelius» с Новым японским филармоническим оркестром, где не будет ни одного живого балетного артиста. Может быть, придут времена, когда любого любимого артиста можно будет заказать на дом в виде виртуальной голограммы. И это будет гораздо дешевле, чем сходить на его живой концерт.