現在、私たちは未来のプロジェクトのために様々な iOS デバイスからのビデオ出力について検証しています。そんな中、あるミステリーに遭遇しました。それについて紐解いて行きましょう。（効果音！）

ミステリー #1: 最大解像度が 1600 × 900

ある画像を Lightning – Digital AVアダプタ経由で “ビデオミラーリング” すると、以下の様に最適化された最大解像度は 1600 × 900 だとシステムに表示されました:

“ちょっ、それ 1080p じゃない！” と思うかも知れません。

同じことを以前の Apple 30ピン Digital AVアダプタで行うと、1920 x 1080 まで利用可能だと表示されました:

Apple の iPad mini 技術仕様には “最大 1080p” でのビデオ出力サポートと記述されています。ウソは書かれていないハズなので、もしかするとアダプタが 1600 × 900 解像度の画像を 1080p にアップスケールしているという意味なのでしょうか？

ミステリー #2: MPEG アーティファクト

デバイスをテレビに接続するとき、私たちは画面を鏡に映したかのようなクリーンでキレのある映像を期待します。

しかし、Lightning – Digital AVアダプタの場合はそうなりません:

文字際にブロックノイズが現れているのが確認できます。（私たちは Apple 30ピン Digital AVアダプタでも検証しましたが、こうした現象は起こりませんでした。）

仮説

非常識です。これは単なる AVアダプタです！なのに何故、限定された解像度や表示のタイムラグ、MPEG アーティファクトなどの現象が起こるのでしょうか。と、ここであることが思い出されます。iOS デバイスから Apple TV へビデオ出力したときの体験と同じであると…

有益なツイートや少々の議論の末、私たちは以下の仮説を立てました:

Lightning – Digital AVアダプタは、最小構成の AirPlay レシーバ？

iOS デバイスを接続すると何らかの方法で AirPlay 接続をセットアップし、デバイスからの出力をそのまま HDMI 出力せず、むしろ 1080p にアップスケールして AirPlay しているに違いありません。

“でも、ちょっと待って！” と思われるでしょう。”それって AirPlay ストリーミングとデコードを行う為の電子部品があの小さいコネクタ内に詰め込まれてるってこと？”

信じられないですよね。ではここで、糸ノコの登場です。

左側に信じられないほどの超精密なコンポーネントがあります。今までに見たことのない精密さです。取り付けられている抵抗器は何の為のものでしょう？

反対側も見てみましょう:

目を疑ったかも知れませんが — 小さなチップには ARMとあります。さらに RAM をあらわす部品番号 H9TKNNN2GD の記述も見えます。

つまり: Lightning – Digital AVアダプタには、SoC CPU が搭載されているように見えます。 

従って、AirPlay（か、AirPlay の様な MPEG ストリーミング）を行っていると考えるのは理にかなっていると言えるでしょう。

結論

このアダプタには我々の想像以上のものが詰まっていました。そして私たちは Lightning – Digital AVアダプタは AirPlay（か、AirPlay の様な MPEG ストリーミング）を使用して出力していると結論付けます。

しかし疑問もたくさんあります。例えば OS どうやって起動するのか？ @jmreid 曰く アダプタには個々に “mini iOS” (!) がインストールされていて、コネクタへの接続毎に起動しており、それによりビデオ出力されるまでに数秒の遅延が生じる、とツイートしました。なぜ？あまりにクレイジーですが恐らく、Lightning コネクタのピンの数が足らずに RAW の HDMI を取り扱えなかったのではないかと算段しています。従来のビデオ出力に対応させる為にゼロからまったく新しい考え方で作られたのでしょう。もしくは、シンプルに低コストでより多くの機能を iPad で提供したいと考えたのかも知れません。

アダプタを経由することで劣化した 1080p では無い出力が行われます。これは悪いニュースかもしれません。私たちは RAW での HDMI 出力を熱望します。

一方で、アダプタが $50 もするなんて高すぎる、と言われますがこれは小さなコンピュータです！これは良いニュースかも知れません。

[原文]

PS: なぜ我々が iOS デバイスからのクリーンなビデオ出力にこだわるのか、それらのステータスについては追ってポストします！

Let’s face it (sorry): face detection is cool. It was a big deal when iPhoto added Faces support — the ability to automatically tag your photos with the names of your friends and family adds a personal touch. And Photo Booth and iChat gained some awesome new effects in OS X Lion that can automatically track faces in the frame to add spinning birds and lovestruck hearts and so on. While not always productively useful, face detection is a fun technique.

I’ve seen attempts at duplicating Apple’s face detection technology. (Apple is far from the first company to do it.) There are libraries on GitHub and various blog posts for doing so. But recently I realized that Apple added support for face detection in OS X Lion and iOS 5. It seemed to slip under my radar of new shiny things. Developers now have a direct link to this powerful technology on both platforms right out of the proverbial box.

Using Face Detection through Core Image

Apple’s face detection is exposed through Core Image, the super-useful image manipulation library. Two classes are important: CIDetector and CIFeature (along with its subclass, CIFaceFeature). With a little experimenting one night, I was able to get a sample app detecting faces within a static image in about 10 lines of code:

// Create the image
CIImage *image = [CIImage imageWithContentsOfURL:[NSURL fileURLWithPath:@"Photo.jpg"]];
 
// Create the face detector
NSDictionary *options = [NSDictionary dictionaryWithObjectsAndKeys:CIDetectorAccuracyHigh, CIDetectorAccuracy, nil];
 
CIDetector *faceDetector = [CIDetector detectorOfType:CIDetectorTypeFace context:nil options:options];
 
// Detect the faces
NSArray *faces = [faceDetector featuresInImage:image];
 
NSLog(@"%@", faces);

Note the dictionary of options. There is only one particularly useful key: CIDetectorAccuracy. It has two possible values: CIDetectorAccuracyLow and CIDetectorAccuracyHigh. The only difference: There seems to be additional processing performed on the image in order to detect faces, but at the cost of higher CPU usage and lower performance.

In cases where you are only apply detection to a single static image, high accuracy is best. Low accuracy becomes handy when manipulating many images at once, or applying the detector to a live video stream. You see about a 2-4x improvement in render time with low accuracy, but face tracking might pick up a couple of false-positives in the background once in a while, or be unable to detect a face at an angle away from the camera as well as high accuracy could.

Now that we have an array of faces, we can find out some information about each face within the image. CIFaceFeature exposes several useful properties to determine the bounding rectangle of the face, as well as the position of each eye and the mouth.

Using these metrics, it’s then possible to draw on top of the image to mark each facial feature. What you get is a futuristic sci-fi face tracker ala the Fifth Element. Leeloo Dallas Multipass, anyone?

// Create an NSImage representation of the image
NSImage *drawImage = [[NSImage alloc] initWithSize:NSMakeSize([image extent].size.width, [image extent].size.height)];
[drawImage addRepresentation:[NSCIImageRep imageRepWithCIImage:image]];
 
[drawImage lockFocus];
 
// Iterate the detected faces
for (CIFaceFeature *face in faces) {
    // Get the bounding rectangle of the face
    CGRect bounds = face.bounds;
 
    [[NSColor colorWithCalibratedWhite:1.0 alpha:1.0] set];
    [NSBezierPath strokeRect:NSRectFromCGRect(bounds)];
 
    // Get the position of facial features
    if (face.hasLeftEyePosition) {
        CGPoint leftEyePosition = face.leftEyePosition;
 
        [[NSColor colorWithCalibratedWhite:1.0 alpha:1.0] set];
        [NSBezierPath strokeRect:NSMakeRect(leftEyePosition.x - 10.0, leftEyePosition.y - 10.0, 20.0, 20.0)];
    }
 
    if (face.hasRightEyePosition) {
        CGPoint rightEyePosition = face.rightEyePosition;
 
        [[NSColor colorWithCalibratedWhite:1.0 alpha:1.0] set];
        [NSBezierPath strokeRect:NSMakeRect(rightEyePosition.x - 10.0, rightEyePosition.y - 10.0, 20.0, 20.0)];
    }
 
    if (face.hasMouthPosition) {
        CGPoint mouthPosition = face.mouthPosition;
 
        [[NSColor colorWithCalibratedWhite:1.0 alpha:1.0] set];
        [NSBezierPath strokeRect:NSMakeRect(mouthPosition.x - 10.0, mouthPosition.y - 10.0, 20.0, 20.0)];
    }
}
 
[drawImage unlockFocus];

With a little more work, it’s pretty easy to apply this technique to live video from the device’s camera using AVFoundation. As you get back frames from AVFoundation, you perform face detection and modify the frame before it is displayed. But I’ll leave that as an activity for the reader.

And amazingly, it even works with cats.

With a little more effort, I was able to grab the closest detected face’s region of the image, and do a simple copy-and-paste onto the other detected faces (adjusting for angle and distance, of course). Behold… Panic’s newest, most terrifying cloning technology!

Here’s a little sample app. Have fun!