aladdin01 音楽の演奏に合わせて光るイルミネーション自動制御システム

前回記事にしたリアルタイムサウンドスペクトラムアナライザーを改良し、フルカラーLEDの制御を行えるようにしました。今回の改良はCDや楽器生演奏に対して感度良く自動でフルカラーLEDの制御を行えることを目標としました。音の変化に対しての実際のLEDの輝度・カラーの変化の分かりやすさを重視しました。

前回の記事ではギターの生演奏によりLEDを制御したのですが、今回はYouTube上の色々なジャンルの違う曲を集め、勝手にコラボしてみました。ジャンルが違っていてもほとんど手をかけることなく曲に合ったイルミネーション演出を行うことができます。

PC上でCDをかけたりインターネットからストリーミング形式で音楽を再生させることでこのような自動LED制御を行うことができます。また、楽器のライブ演奏や他のオーディオ機器からのライン出力を、LED制御を行う本ソフトウェアが動作するPCに入力することでLEDを制御することが可能です。



元の動画

ギター演奏の時と同じく、音のエッジ（急に音が大きくなる部分）を検出してLEDを制御しています。検出する音のエッジにに対する閾値を設定し、その閾値を超えた時にLEDが色々な色にランダムに変化するようにプログラムを作成しました。ピアノ演奏の微細なタッチで照明制御を行うため、GUIから閾値を自由に変更できるようにしました。実際に音を聞きつつ照明を見ながらリアルタイムに確認と設定変更を行うことができます。

その他下記のようなパラメータの設定がGUI上から可能です。

LightOffset：
GUI上に照明の輝度・カラーを表示するシミュレータを実装しているますが、実際の照明の輝度と異なるため、その調整のためのオフセット値を設定するパラメータです。

LightReduction：
LEDの点灯状態から消灯状態まで滑らかに変化させられるよう除算により光を減衰させていますが、その除算値により消灯状態までのスピードを調整するためのパラメータです。

MinimumTimeInterval:
実際に音のエッジ検出の度合いが頻繁に発生し、照明のカラーが変わりすぎる場合に、カラー変化の間隔を調整するための値をパラメータ化しました。ここで設定した値（msec）より短い間隔でLEDの色が変化しないよう調整を行うことができます。

その他各種ジャンルの曲を試してみました。

スーパーマリオドラム： 元の動画



鉄琴の自動演奏： 元の動画



ドラムソロ： 元の動画



リズムギター： 元の動画



エレキギタータッピング： 元の動画

aladdin01 生演奏にリアルタイムに反応して光るLEDギター

リアルタイムサウンドスペクトラムアナライザーを開発しました。各周波数帯毎にボリュームを検出することができます。

このリアルタイムスペクトラムアナライザーを、開発したLED制御BOXと組み合わせることで、楽器の生演奏にリアルタイムに反応するLED演出を行うことができます。

今回はギター演奏に対してのLED制御を行いました。演奏に対してできるだけ感度良くLEDを反応させるための工夫として、音のエッジを検出しました。音が急に大きくなる部分（サウンドのサンプリング毎のボリュームの差分）をプログラムで検出しています。
今回はエレキギターをアンプに接続せず生音で録画しました。そのため人の声や周囲の音についてもボリュームを検出し、LEDが発光します。

この仕組みを応用することで、既存オーディオプレイヤーのラインアウトをサウンド解析ソフトを動作させているPCにライン入力することで、CDプレイヤーの音楽に反応させるLED制御を実現することができます。

aladdin01 製品情報

aladdin01は無線制御可能なインタラクティブなフルカラーテープLED制御システムです。



楽器の生演奏やCDプレイヤーの音にリアルタイムに反応して光ります。

音とインタラクティブなプロジェクタ映像などを絡めたイベント演出、店舗内装飾を実現します。
PCから無線により制御を行うため、敷設時の配線の手間も大幅に省けます。
1台のPCから複数LEDユニットの一括制御を行うことが可能なため、必要に応じて台数を増やすことにより規模に合わせて照明演出を行うことが可能です。



特徴・機能

楽器生演奏やオーディオの再生に対してフルカラーでリアルタイムLED演出を実現します。事前に照明制御のための準備が不要で音への反応による自動制御を行うことができます。
（詳しくはこちら）

カラーピッカーインタフェースを備えており直感的にフルカラーLEDの制御を行うことが可能です。
（動画）

（※上記動画のiPhone版は開発途中のコンセプトモデルです。PC版はご提供可能です。）

あらかじめ制作・登録しておいたLED点灯パターンを任意のタイミングで呼び出し、同時に音の演出を加えることが可能です。

各種映像コンテンツと連動した光の演出を行うことが可能です。
（詳しくはこちら）

カスタムソフトを開発することで自由なアイディアによりフルカラーLEDの制御を行うことが可能です。独自にご自身でソフト開発対応可能な方には制御BOXのみのご提供も可能です。
mtools Labでもカスタムソフトの開発を承っております。
（音声認識ライブラリを使用した言葉による命令制御サンプル）

独自照明装置をお持ちのお客様にはソフトのみカスタマイズの上ご提供することが可能です。


構成・仕様

• 制御BOX （W15×D10.5×H4cm）
• フルカラーテープLED
  制御BOX1台あたり30cm×10本まで連結可能です。またはリールタイプのテープLEDの選択も可能です。
  増幅器を使うことで延長もできます。
  
• ACアダプター
• 制御ソフトウェア（カラーピッカー、サウンドスペクトラムアナライザー、 カラームービーLEDコントロールプレイヤー）

PDF資料はこちらです。

制御BOXの製造はメーカーと提携しておりますので、量産対応可能です。
価格・納期についてはこちらまでお問い合わせください。

現在乾電池及びACアダプタで駆動可能な小型タイプの試作開発にシフトしています。準備が整い次第改めて公開させて頂きます。

aladdin01 音声認識によるフルカラーLED制御

音声認識によるフルカラーLED制御デモを開発した。
言葉によりLEDのカラーや点灯状態の制御を行うことができる。
キーワードの「命令」「解除」の音声命令により、音声認識によるLED制御状態のON/OFFの切り替えを行うことができる。命令モードの時のみ音声制御の受付を行い、雑音による誤認識を防止する。
あらかじめ音声認識辞書に認識対象キーワードを登録しておくことでかなり正確にキーワード識別による音声制御を実現することができた。

This is a demo for speech recognition RGB LED controlling system.
You can control RGB LED with your voice command.
Being able to change command mode and non command mode with some specific keywords.
When only in the command mode, the system receives the voice commands and this will escape unexpected error with noise.
By adding the keywords in the voice command index list, the accuracy of the speech recognition can be much improved.

aladdin01 iPhone上カラーピッカーからのフルカラーLEDの無線制御

iPhone上カラーピッカーからフルカラーLEDの制御を行うデモコンセプト映像を収録した。
iPhone上カラーピッカーから任意の色を選択することでリアルタイムにフルカラーLEDの輝度・カラーの制御を行うことができる。 本映像内では同時に2台のLEDコントロールBOXを用いて無線制御を行っている。
実際の遊びの中で活用方法を模索しながら開発を進めていきたい。

This is a demonstration of RGB LED control with iPhone color picker.
You can change LED color and brightness with iPhone touch interface. In this video, 2 LED control units are controlled at once with one iPhone.

aladdin01 人の動きに反応する無線制御可能なフルカラーLEDシステムその他

人の動きの度合いをカメラで検出し、その度合いに応じて画面上にハートが出現する。
ハートの出現数によりフルカラーLEDがピンク～白に発光する演出を加えた。
動きの度合いに応じてLEDのピンク～白へ光る明るさが変化する。




フルカラーLEDと連動するPCベースのフォトフレームを開発した。
写真のカラー・輝度の平均値を解析し、LEDの制御を行う。
夕焼け：LED赤点灯、海：LED青点灯、白っぽい景色：LED白点灯などでループ制御を行う。
動画再生時リアルタイムにカラー・輝度を解析し、同様のLED制御を行うことも可能。




物理シミュレーション時計とLEDの連動制御を行った。
1秒間隔でデジタル時計の数値が出現するが、そのタイミングでLEDを発光させている。

aladdin01 フルカラーLEDのPCからの無線制御

フルカラーLEDのPCからの無線による制御システムを開発した。

複数台のテープLEDユニットを無線により同時制御することが可能

制御インタフェースはこちら （初回読み込みに時間がかかる場合があります）

以下の機能を実装。

カラーピッカーインタフェースからの調光
カラーピッカー上任意の場所をクリック、ドラッグすることでリアルタイム調光が可能。

カラームービーによる調光
あらかじめ作成したカラームービーを再生することで、LED照明のカラーの制御を行うことが可能。
カラームービーに音を埋め込むことで音に同期した照明演出が可能。

サウンドスペクトルによる調光
サウンドの任意の音域に反応させることで、サウンドに同期した照明演出が可能。
ドラム音に重点的に反応、ボーカル音に重点的に反応させるなど、チューニングを行うことができる。
カラームービーによる制御と比べた場合、あらかじめ仕込み作業が不要なところがメリットと言える。

無線通信による複数LEDユニットの同時制御
動画では4台のLEDユニットを無線により同時制御している。 無線で同時制御を行うことにより、無線が届く範囲であればより自由なレイアウトにより演出を行うことができる。
テープLEDは1本30cmであるが、電源容量により任意の長さに連結が行える仕様になっている。テープLEDはリールでの入手も可能なので任意の長さに安価でシステム構築の実現が可能。

ID割り当てによる複数系統の同時制御機能
上記動画デモには含まれていないが、各LEDコントローラにIDを付与することでグループ分けを行うことができる仕組みになっている。グループ毎に個別の制御を行うことにより、イルミネーション演出にも応用を行うことができる。

下記は同一型番のテープLEDをショーウィンドウに施した演出で、新宿で偶然発見した。テープLEDの光と映像、音を組み合わせた演出をショーウィンドウや空間演出に取り入れた提案を進めていきたい。



導入について興味を感じていただけましたら是非お問い合わせください。
レンタルについても対応可能です。

上記システムのPDFによる説明資料

「HAMA-CRE! evening Vol.54」でプレゼンを行います

株式会社デジタルキャンプ 渡部健司氏主宰の「HAMA-CRE! evening Vol.54」 で、現在開発しているシステムについて発表させていただくことになりました。

PCからリアルタイムに無線制御可能なフルカラーLED装置と、人の動きに反応するインタラクティブなデジタルサイネージコンテンツについて実機を交えたデモを実演させていただく予定です。

下記についての発表を予定しています。 （一部抜粋）

音楽に反応して発光するLED
曲の特定の音域（サウンドスペクトラム）に合わせてLEDが発光します

人の動きに反応してハートが出現します
ハートの出現に応じてテープLEDがピンク色に明るく光ります

Flashを使った物理シミュレーション時計です
デジタルサイネージのコンテンツ用に作成しました
LEDと連動して発光します

イベント詳細は下記になります。
是非会場まで足を運んでみてください。

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
　　　HAMA-CRE! evening Vol.54
　　　 3/19（金）19:20-START
　　　　HAMA-CRE!＋のお知らせ
☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

★連続講座「第6回 SF映画への誘い 」
プレゼンター：デジタルキャンプ！ 渡部健司
今宵のテーマ：「トロン」(1982年)
1982年の世界初CGが使用された映画「トロン」を取り上げます。
ここから映画、CG、特撮の世界に入るきっかけになった人も多いのではないでしょうか。
そんな伝説的な映画のひとつです。
その後、世界は日本も含めてCGの興隆期に入っていきます。

★連続講座『写真ってなんだ! 』第4回
プレゼンター：笠木靖之（カメラマン）
プロカメラマンによる写真撮影、カメラ機器、プロジェクトシューティングなどを毎回トーク。
最近は横浜市の文化芸術拠点「ZAIM」を追ったアーカイブ本「ZAIM 2006-2010」が完成。
この本のポートレート写真などを撮影されています。
笠木靖之ウェブサイト
http://www2.gol.com/users/yasu.k/

★プレゼンテーション：
「インタラクティブプロジェクタインスタレーション～リアルタイム制御のフルカラーLED」
プレゼンター：進士 克英氏（magic Tools）
LED照明と映像、音を制御し、効果的な演出ができるシステム開発の紹介です。
バラエティ豊かなLED演出が出てきている中で、自分でコントロールできるLEDは
「自分でもやってみたい」感を起こしてくれるソフトウェアです。
Magic Tools
http://mtools7.blogspot.com/

★シネマインフォ：
プレゼンター：梶原俊幸（シネマジャック＆ベティ支配人）
黄金町の独立系シアター「シネマジャック＆ベティ」
近況報告や最新おすすめ上映などをトークします。
http://www.jackandbetty.net/


■参加費:事前参加登録1,500円/当日2,000円　フリードリンク
（会場費＋ドリンク代です　なるべく事前登録をお願いします）
申し込みはハマクリ 申込フォームへ↓
(お名前・ご連絡先のご記入お願いします)
https://fs220.xbit.jp/k656/form2/

■会場：ヨコハマNEWSハーバー（横浜市中区太田町2-23、メディアビジネスセンター）
アクセス　http://www.newsharbor.tv/access/index.html　　
JR線・横浜市営地下鉄線「関内」駅・みなとみらい線「馬車道」駅より徒歩5分
■主催：株式会社Digital Camp!　http://hama-cre.net　　
■共催：tvkヨコハマNEWSハーバー



ハマクリとは？
デジタルコンテンツを中心に、クリエイター・企業・アートスペース、大学・クリエイティブ
な事に関心がある人の交流サロン「ハマクリ・イブニング」。

前回の『ハマクリ』の模様は、USTREAMでご覧いただけます。
レポートもあわせてどうぞ

http://hama-cre.net/
☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

プロジェクタを使ったインタラクティブサイネージ（実写とCGの合成、AR技術を取り入れた演出）

プロジェクタを使ったインタラクティブサイネージを開発した。映像の前で人が動くとコンテンツが反応する仕組みを取り入れた。 下記の機能を実装した。

映像の前を通ると花が咲く

自分の実写を鏡のように映し出し、動きに反応させてハートマークやロゴを出現させる （実写とCGの合成、AR技術を取り入れた演出）

物理シミュレーション要素の取込み（下記映像の例ではデジタル時計の数値の落下と衝突）

テロップ機能（テキストを打ちかえることで書換え可能）

タッチパネルからのプロジェクタコンテンツの切替え制御

人の動きに映像が反応

動画1　動画2

画面右手前のタッチパネルからプロジェクタへ投影されるコンテンツの切替え制御を行っている。ショーウィンドウや建物のロビーなどへのインスタレーションとしての導入などを提案していきたい。
プロジェクタコンテンツと連動させてフルカラーLEDを制御することも計画している。

銀座にて本機を使ったデモンストレーションをさせて頂くことも可能です。
興味お持ち頂けましたら是非お問い合わせください。

This is an interactive projector system.
The contents are effected visually by human motion that is in front of the system. Also the vision contents can be changed remotely with a touch panel interface.
This system is being displayed in Tokyo Ginza and can be demonstrated.

About mtools Lab (English profile)

Location: Kanda Awaji-cho Chiyoda-ku, Tokyo, Japan

I'm working for an Internet service company in Tokyo Japan. I was freelance software developer. Usually using C# and Flash ActionScript as my programming language. Sometimes C or C++ for device control programming when it is needed.
Controlling devices from PC software is my recent interest.



Experience, Works, Fields:

• Visualization programming
• AR software development
• Interactive projector system with sensor devices
• Interactive contents creation
• Speech recognition system
• Digital signage system
• LED control system
• Touch panel application
• Network programming
• PC software for device control
• PC controlling device development
• VOD system
• Virtual graphics control software for broadcasting

Willing to have partners for interesting projects.


Contact