"もう一人のDick", Dick LyonがdpreviewでQuattroセンサーについてコメントしたポストの和訳

こちらのリンクにてDick Lyonのポスト履歴が確認できる. Quattro関連のポストでそれなりの長さの３件を訳した. 他は数行のごく短いものであったり, 単なる論文へのポインタであったりするのでそれらは直接元記事を参照のこと. ちなみに下から上へ向かってポストが古いものから新しいものという順でリストされている.

いささか私の理解が怪しい部分も残る(フーリエ変換云々のあたり)ので本ポストは対訳形式をとり, 英文を併せて掲載する. 不明な点はオリジナル英文を正とし各個での解釈をお任せしたい.

(1) http://www.dpreview.com/forums/post/53098094
Laurence,

ローレンス,

Checking dpreview after hearing the news, I was amused to see that not much has changed in recent years.

発表のニュースを聞いた後dpreviewをチェックし, Quattro センサーはここ数年であまり大きく変化していないのだと分かってなんだか愉快な気持になってしまった.

Your Shakespearean description is not bad.  The collected electrons are exactly the corpses of absorbed photons, which is the point that most people who talk about the filtering miss: absorption and filtering and detection being the same event.

君のシェイクスピア風の記述はイイね. 集められた電子は確かに, 吸収された光子の成れの果てというところだ. これが多くの人たちが話題にしている"filtering miss"についてのポイント: 吸収とフィルタリングと検知は全て同じ事象である, だ.

But the "stronger" and "weaker" is not quite right.  The high-frequency blue photons are stronger (highest energy); but the way they interact with silicon makes them get absorbed soonest, near the surface.  The lowest energy photons, in the infrared, penetrate deep.  Low frequencies, at wavelengths greater than 1100 nm, where the photons are quite weak, are not able to kick electrons out of the silicon lattice at all, so the silicon is completely transparent to them.  In between, there's a nicely graded rate of absorption.

しかし"stronger"(強力)と"weaker"(微弱)という説明は全く正しくない. 高周波数の青光子は"より強い(stronger)" (最も高いエネルギーを持つ); しかしシリコンと接触すると, 青光子が最も早い段階, つまり表面近くで吸収される. 最も低いエネルギーしか持たない光子, つまり赤外光はシリコン内部に深く入り込む. 波長1100nm以上の低周波数帯では光子の力はきわめて弱く, シリコン格子から電子をはじき出すことは全く出来ない. それ故シリコンはそれらに対して完全に透過的だ. その中間帯での吸収率はなめらかで段階的なものになっている.

Understanding the spectral responses of the layers starts with understanding that at any wavelength, the light intensity decreases exponentially with depth in the silicon.  I think I've written about this some place... Anyway, the top layer is not white, not luminance, not blue, but a sort of panchromatic blueish that turns out to work well enough for getting a high-frequency luminance signal.  We did a lot of experiments and amazed ourselves how "well enough" the 1:1:4 worked; it was not obviously going to be a good thing, but turned out awesome.

各レイヤのスペクトル応答性(spectral responses)を知ることは, つまり次のことを理解することから始まる. どの周波数においても光度(light intensity)は, シリコン中の深度に対し指数的に減衰する. たぶんどこかでこのことについて書いたと思うんだけど... ともかく, トップレイヤーは白色ではない, Luminance (輝度)ではない, 青色ではない, なんというかある種の青みががったパンクロマティックで, こいつは高周波数のLuminance信号を取るのに十分だという結果が得られた. 僕たちは数多くの実験を行い, 1:1:4構造がこんなにもうまく動作することに驚かされた; 1:1:4というアイデアは最初から良い結果が得られるだろうと思えるものではなかったんだ. けど結果的には, スンバらしいということが分かった.

We had 1:1:4 sensors working, including very efficient and effective hardware and software processing pipelines, before I left Foveon back in '06, but the sensors didn't yet have the low-noise fully-depleted top-layer photodiodes of the "Merrill" cameras, and we were only targeting these for cell phones at the time.  I expect it will be a killer combination: fully-depleted blue plus 1:1:4.  I don't think the red and green are fully depleted, too; that was thought to be somewhere between hard and impossible, which is why they don't have the same low read noise, and one reason why aggregating red and green quads this way is a big win.

僕たちは1:1:4センサーを実稼動させた. これは非常に効率の良いハードウエアとソフトウエアの演算パイプラインを含む. 僕が'06にFoveonを去る前の話だ. でもこの時点でセンサーはまだ, "Merrill"カメラのような, 低ノイズの完全空乏型(fully-depleted) フォトダイオードをトップレイヤーに搭載していなかった. また僕らは当時携帯電話のみをターゲットとしていた. 僕はこれはキラー・コンビネーションになると思う: '完全空乏型青 + 1:1:4'. 僕は緑と赤も同じように完全空乏になるとは考えていない; 難しいと不可能の間, といったところだろう. そしてこのことが, ミドル・ボトムレイヤーではトップレイヤーと同程度の低い読み込みノイズは得られない理由であり, また赤および緑を4個1セットに結合させることがこの場合非常に大きな利益をもたらすとする根拠でもある.

But understanding how it compares to the classic Foveon and to Bayer will keep many people busy for a long time.  Something for dpreviewers to do while waiting for cameras, and something to keep the marketing people tied up... Should be fun.

しかしどのようにして1:1:4構造のセンサーを既存のFoveonセンサーと, またベイヤーと比較できるのかが分かるまで, 長い間多くの人を多忙にさせそうだ. カメラが発売されるのを待つしばしの間, dpreviewerではアンナコト, またマーケティングの人たちをかかりっきりにするソンナコト, 色々あることだろう. 楽しそうじゃないか.

Dick
--- (1) POST ココマデ


(2) http://www.dpreview.com/forums/post/53099508
Kendall, long time...

Kendall, 久しぶり...

You're right that there won't be much aliasing. A lot of people seem to have the idea that aliasing has something to do with different sampling positions or density, as in Bayer. But that's not the key issue. The problem with Bayer is that the red plane (for example) can never have more than 25% effective fill factor, because the sampling aperture is only half the size, in each direction, of the sample spacing. If you take the Fourier transform of that half-size aperture, you'll find it doesn't do much smoothing, so the response is still quite too high way past the Nyquist frequency. That's why it needs an anti-aliasing filter to do extra blurring. But if the AA filter is strong enough to remove all the aliasing in red, it also throws away the extra resolution that having twice as many green samples is supposed to give. It's a tough tradeoff.

深刻なエイリアシングは起きないだろうという君の意見は正しい. ベイヤーのように, 異なるサンプリング位置と密度がエイリアシングと関連性を持つ, そう多くの人が考えているようだ. しかしそれは懸念事項ではない. ベイヤーの問題は, (例えば)赤プレーンは絶対に25%以上の実効フィル・ファクター(曲線因子, effective fill-factor)を得ることはできない, なぜならサンプリング径(sampling aperture)はいずれの次元においても, サンプル間隔のたった半分のサイズだから, ということだ. もしそのハーフサイズ径でフーリエ変換を施しても, あまり良くスムージング(smoothing)しないことが分かる. だから得られた結果はナイキスト周波数の高い方に行過ぎてしまっている. 結果更にボカシを入れるためアンチ・エイリアシング・フィルターが必要になるのだ. しかしもしもAA (アンチエイリアシング)フィルターが, 赤での全エイリアシングを除去するのに十分強力であったとすると, 更に解像度を犠牲にすることになる. これは緑サンプルが提供する解像度の2倍であったものだ. 厳しいトレードオフだと思う.

In the Foveon sensor, the reason no AA filter is needed is not because of where the samples are, or what the different spatial sampling densities are. It's because each sample is through an aperture of nearly 100% fill factor, that is, as wide each way as the sample pitch. The Fourier transform of this aperture has a null at the spatial frequencies that would alias to low frequencies; this combined with a tiny bit more blur from the lens psf is plenty to keep aliasing to a usually invisible level, while keeping the image sharp and high-res.

FoveonセンサーでAAフィルターが必要ないのは, サンプルがどこに位置しているのか, 空間サンプリング密度の違いは何か, というようなことに拠るものではない. 各サンプルが, ほぼ100%のフィルファクター(曲線因子, fill factor)を持つ全サンプル径から採られたものだからだ. つまり, どちらの次元方向にもサンプル・ピッチと同じだけの幅を持つ. 低周波数帯でエイリアシングを発生させる可能性のある空間周波数にて, この全サンプル径へフーリエ変換を施すとnullとなる; この結果は レンズpsf (Point spread function 点拡がり関数) 由来のより大きなボケと混ぜ合わさり, エイリアシングを気づかないレベルにとどめるに十分だ. 一方画像をシャープで高解像度に保つ.

In the 1:1:4 arrangement, each sample layer has this property, but at different rates -- very unlike the Bayer's red and blue planes.  The large area of the lower-level pixels is the ideal anti-aliasing filter for those layers; the top layer is not compromised by the extra spatial blurring in the lower layers, so it provides the extra high frequencies needed to make a full-res image.

1:1:4配置において, 各サンプルレイヤーはこのような特徴を持つ. しかしその度合いは異なる.  -- このことはBayerの赤プレーン青プレーンとはまったく様相が異なる. 下層ピクセルの大部分の領域は, 各レイヤーに対する理想的なアンチ・エイリアシングフィルターだ; トップレイヤーは, 下層での余剰な空間ボケ(spatial blurring)による劣化を起こさない. そしてfull-res画像生成のために必要な更なる高周波数を提供する.

Another good way to think of the lower levels is that they get the same four samples as the top level, and then "aggregate" or "pool" four samples into one. This is easy to simulate by processing a full-res RGB image in Photoshop or whatever.

もう1つ下層についてうまい考え方がある. 各下層はトップレベルと同様に, 同じ４つのサンプルを得る. そしてその4つのサンプルを, １つへと"まとめる"或いは"プールする". この考え方はPhotoshopででも何ででも, full-res RGB画像を加工することで簡単にシュミレーションできる.

The pooling of 4 into 1 is done most efficiently in the domain of collected photo-electrons, before converting to a voltage in the readout transistor. The result is the same read noise, but four times as much signal, so about a 4X better signal-to-noise ratio. Plus with fewer plugs, transistors, wires, etc. to service the lower levels, the pixel fill factor is closer to 100% with easier microlenses, and the readout rate doesn't have to be as high. Wins all around -- except for the chroma resolution.

4つを1つへプールする処理は, 読み出し(readout)トランジスタの中で電圧に変換される前に, 集められたphoto-electron ドメイン内でもっとも効率よく行われる. そこから得られる結果といえば, 同等の読み出しノイズ, 4倍の信号, 従って4x良いS/N比. 加えて, 下層を動かすためのプラグ, トランジスタ, ワイヤetcはより少なくて済み, pixelフィルファクター(曲線因子)は単純なマイクロレンズで100%に近い. そして読み出し率はそれほど高い必要がない. 良いことだらけだ. -- Chroma 解像度についてを除いては.

The main claim of Bryce Bayer, and the fact that most TV formats and image and video compression algorithms rely on, is that the visual system doesn't care nearly as much about chroma resolution as about luma resolution. Unfortunately, trying to exploit that factor with a one-layer mosaic sensor has these awkward aliasing problems. Doing it with the Foveon 1:1:4 arrangement works better, requiring no AA filter, no filtering compromises. So, yes, the chroma resolution is less than the luma resolution, but you'd be hard pressed to see that in images.

Bryce Bayerの主張, またほとんどのTVフォーマットや画像や動画が依存している事実は次のようなことだ. 視覚系はluma (輝度) 解像度と同じようには,  Chroma 解像度に対し敏感でない. 不運なことに, 単層モザイクセンサーでこの事象を利用しようとすると, 上で書いたような深刻なエイリアシングの問題に突き当たる. しかしFoveon 1:1:4 配置では, よりましな結果になり, AAフィルタを必要とせずフィルタによる劣化は起こらない. だから回答としてはyes, Chroma 解像度は, luma 解像度より低い. しかしそれを実際の画像で見分けるのは非常に難しいだろう.

If you throw out the extra luma resolution and just make 5 MP images from this new camera, you'll still have super-sharp super-clean versions of what the old DP2 or SD15 could do. Now imagine adding 2X resolution in each dimension, but with extra luma detail only, like in a typical JPEG encoding that encodes chroma at half the sample rate of luma. Whose eyes are going to be good enough to even tell that the chroma is less sharp than the luma? It's not impossible, but hard.

仮に増分のluma 解像度を放り捨て, この新しいカメラから5MP画像を単純に生成したとしたら, それでも旧DP2やSD15で生成できた画像の, スーパーシャープ, スーパークリーンなバージョンとなるだろう. 2倍の解像度を各次元に加えたと想像してみよう. しかしここでは新たに増えた分の luma ディテールのみを加えるのだ. これはまるでchroma を luma のサンプルレートの半分でエンコードする典型的なJPEGエンコーディングのようだ. その画像をみてchroma が luma と比べてシャープじゃないなどといったい誰が見分けられるのか？不可能とは言わない, がしかし難しい.

Speaking of stories from the old days, Foveon's first version of Sigma Photo Pro had a minor bug in the JPEG output, as you probably recall: our calls to the jpeg-6b library defaulted to encoding with half-res chroma. It took a while, but a user did eventually find an image where he could tell something was not perfect, by comparing to TIFF output, and another user told us how to fix it, so we did. It we could have gotten that original level of JPEG quality from the SD9 with 5 million instead of 10 million pixel sensors and data values, and could have gotten cleaner color as a result, would that have been a problem? I don't think so; except for marketing, and they had enough problems already. Same way with Sigma's new one, I expect; if 30 M values gives an image that will be virtually indistinguishable from what could be done with 60 M, but with cleaner color, will someone complain?

昔話をしよう. 覚えている人もいると思うが, FoveonのSigma Photo Pro最初バージョンには, JPEG 出力にマイナーなバグがあった: jpeg-6bライブラリへの呼び出しは, 50% のchroma 解像度でのエンコードをデフォルトにしてあったのだ. 時間はかかったがともかくTIFFからの出力と比較すると何かが欠けていると, それが分かるある一人のユーザが現われた. そしてまた別のユーザがそれについての対処法を僕ら伝えてきた. そうして僕らは修正できたのだった. SD9のもともとのJPEG品質レベルの画像を, 僕らは10M pixelセンサーの代わりに5Mセンサーからのデータで得ることが出来たのかもしれない. そしてそれは結果的によりクリーンな色情報を持つものだったのかも. それが何か問題になっただろうか？僕はそう思わない. マーケティングについては例外. でもマーケに関していえば, もうすでに十分な課題が山積していたからね. SIGMAのこの新しいカメラにも同じことが言えると思う; もし30M分の情報で, 60Mで得られるものとほとんど区別のつかない画像を生成できるとしたら, それで誰かが文句を言うのかな？

Probably so.

うん, まあ言うのかもしれない.

So, it's complicated.  Yes, reduced chroma resolution is a compromise; but a very good one, well matched to human perception -- not at all like the aliasing-versus-resolution compromise that the mosaic-with-AA-filter approach has to face.

だから事態は複雑だ. その通り, Chroma 解像度を減らすことは, １つの妥協だ. しかしとても筋のよい妥協で, 人間の知覚とよくマッチしている.  -- これはモザイクとAAフィルターアプローチが面と向かうはめになる "エイリアシング-vs-解像度" による画質劣化といった事柄とは, まったく異質のものだ.

Dick
--- (2) POST ココマデ


(3) http://www.dpreview.com/forums/post/53107523
Truman, I guess you missed the bit where I wrote "A lot of people seem to have the idea that aliasing has something to do with different sampling positions or density, as in Bayer. But that's not the key issue. ..." It must have been your comments that prompted that. What is "sub-alias sampling" supposed to mean?

Truman, 君は僕が書いた "多くの人がベイヤーでそうであるように, エイリアシングが異なるサンプリング位置か密度となにか関係があると考えているようだが, それは大きな問題ではない..." という部分を見逃したのだと思う. これはこのことを示した君自身のコメントであるべきものだった. この"サブ-エイリアス　サンプリング (sub-alias sampling)"とは具体的になにを意味するのだろう？

Sure, there will be aliasing, as in all sampled images. If you consider the pixel pitch and pixel aperture, you can work out that the aliasing will be about like that of the SD15's sensor. That is, negligible; and that will only be in chroma, so even more negligible, visually. The key next step is adding a high-frequency luminance signal, uncorrupted by that aliasing. That's what's nearly impossible to get accurately in Bayer sensors, but trivial to get with the Foveon 1:1:4.

そりゃそうさ, エイリアシングはある. サンプルされた画像全てにある. もし君がピクセルピッチとピクセル径を考慮しているのなら, エイリアシングはSD15のセンサーのそれとおなじようなものだと理解することができるだろう. つまり, 無視できる; そしてそれはchroma に対してのみで, すると視覚的に更に無視できる. 次のキー・ステップは, 高周波数の luminance 信号を加えることだ. これにはエイリアシングによる欠損がない. ここでベイヤーセンサーに正確性を求めることはほとんど不可能だ. しかしFoveon 1:1:4では簡単に得ることが出来る.

But you are certainly right, as I also said, that we will wait and see. My words and yours are not going to convince anybody of anything until they see it.

とは言え君はまったくもって正しい. また僕もそう言っているように, 待って見ようじゃないか. 実際に皆が実物を見るまで, 僕や君の言葉は誰も説得できやしないだろう.

As I also said elsewhere, I'm both surprised and delighted, after 8 years away from Foveon, to see this concept making it into a Sigma camera. It shows that Kazuto had the courage to focus on image quality above all, not fearing the marketing difficulty of explaining the Foveon advantage a little differently and with lower pixel numbers than before. As Laurence said, Merrill worked on this idea from its inception; Foveon's cell-phone sensor project did enough testing to show it's a great idea. And I presume the rest of the Foveon team has continued to execute well on the potential in bringing it to the larger format.  This may be Merrill's best legacy, even more than the ones named for him.

前のポストでも言ったけど, Foveonを去ってから8年の後, このコンセプトがSIGMAのカメラに搭載されたことを目にしたことは, 僕にとっては驚きと喜び両方だ. 分かることは, Kazutoが何にもましてイメージ・クオリティにフォーカスする勇気を持ってたこと. 前よりやや少ないピクセル数になりFoveonのアドバンテージについて今までとは少し違う説明をしなければなならい, マーケティング的な難しさを厭わなかったこと, そういったことだ. 　Laurenceが言ったように, Merrillは当初からこのアイデアを実現しようとしていた; Foveonの携帯電話センサープロジェクトはこれが素晴らしいアイデアだと示すのに十分なテストはしていた. 後に残ったFoveonチームは, このアイデアをより大きなフォーマットへ適用できる将来性を見込んで, 首尾よく開発を継続し続けてきたのだと僕は推測するよ. これはMerrillの最も素晴らしい遺産と言えるかもしれない. 彼の名に由来するどんなこと以上にさ.

If I may summarize once more what I think is the key point: the tradeoffs and compromises about how to utilize the Foveon concept and technology have been thought through here, and developed and tested for many years, in a way designed to maximize image quality at both low and high ISO. The 1:1:4 architecture is surprising and non-intuitive, but it is what best exploits what the silicon can do (as Carver said, years before we started Foveon, "listen to the silicon"http://www.wired.com/wired/archive/2.03/mead.html).  Listening is not a theoretical exercise, nor something you do in computer models (though they help).

ここでもう一度僕の考えるキーポイントをまとめるよ: Foveonのコンセプトとテクノロジーをどのように活用するのか, そこに生じるトレードオフと妥協の数々については, 低ISO, 高ISO両方で画質を最大限良くするデザインにする, という方向性で考え抜かれ, 時をかけてかけて開発・テストがなされてきた. 1:1:4構造は衝撃的でかつ直感的ではない. しかしこれはシリコンが出来ることを最も巧みに利用したものだ(僕たちがFoveonをはじめる何年も前にCraverが言ったように, "シリコンの言うことに耳を傾けよ"http://www.wired.com/wired/archive/2.03/mead.html). 耳を傾けるということは, 単に理論的考察を行うことではなく, またコンピュータ・モデルの中で何かゴニョゴニョするということでもない (もちろん助けにはなるけれども).

Dick
--- (3) POST ココマデ