心筋細胞特異的マーカーであるNkx2.5発現細胞を蛍光蛋白質(GFP)で標識する遺伝子組み替えES細胞 (HES-Nkx2.5-GFP)を用いて、心筋細胞へ分化誘導を行った。分化開始より7日から10日ほどで自己拍動する心筋細胞の分化誘導に成功し、心筋特異的マーカーが発現していることを確認した。分化誘導過程において、時系列に位相差顕微鏡写真の撮影を繰り返し行い、分化最終日に同時に蛍光画像の取得を行なった。分化誘導は繰り返し行い、計7回の分化誘導にわたって顕微鏡画像を取得した。位相差顕微鏡画像、および白黒画像化(二値化)した画像を用いて、位相差顕微鏡画像のみから心筋細胞がどの程度存在するのか予測するため、畳み込みニューラルネットワーク(CNN)の学習を行なった。位相差顕微鏡画像、および二値化画像は、同じ位相で小さなブロックに切り分けられ、各ブロックにおいて二値化画像をもとに作成した答え(0:心筋細胞がいない、1:心筋細胞がいる)を指標に学習を行った。機械学習手法によるベイズ最適化による深層学習のパラメーター調整を行い、最終的にF1 score 0.77, Accuracy 0.96, Precision 0.78, Recall 0.76, ROCのAUC 0.98という高精度にて学習が完了した。またvalidation accuracyとの乖離もなく、過学習なく学習が完了したと考えられた。次に、位相差顕微鏡画像のみからラベルフリーで心筋分化効率の推定が可能か検証を行った。同様に予測対象の位相差顕微鏡画像を一定サイズのブロックに切り取り、ブロックごとにCNNによる判定を行ったところ、蛍光画像の実測値と相関係数0.999という超高精度での判定が可能であることが判明した。さらにブロックごとの判定結果をもとの大きな位相差顕微鏡画像に再構築することにより、元の免疫染色画像と非常に類似する画像を作成可能であることが判明し、同技術を「仮想免疫染色」と名付けた。
We used embryonic stem cells (ESCs), in which Green Fluorescent Protein (GFP) were knocked-in at the downstream of cardiomyocyte-specific marker, NKX2.5 promoter, and differentiated them to cardiomyocytes several times. We took microscopic phase-contrast images, and fluorescent images for NKX2.5-GFP. The fluorescent images were binalized to create answer. Then, we generated small image blocks, which were cropped from large phase-contrast and binarized fluorescent automatically, for input datasets for deep-learning. Binarized fluorescent image blocks were labeled as 1 or 0, in other words, cardiomyocytes or non-cardiomyocytes, depending on the proportion of its area. We used classification technique to train convolutional neural network (CNN) whether input phase-contrast blocks were cardiomyocytes (1) or non-cardiomyocytes (0). We adjusted hyper-parameters for training by using Bayesian optimization method, and succeeded to train the CNN with high performance; F1 score, Accuracy and AUC of ROC curve were 0.77, 0.96, and 0.98, respectively. Next, we tried to predict differentiation efficiency of ESC-derived cardiomyocytes using trained CNN. The phase-contrast microscopic images were cropped to generated input datasets, as well, and predicted by CNN whether input blocks were cardiomyocytes or not. Surprisingly, trained CNN could predict differentiation efficiency with very high correlation with actual efficiency, which was calculated from fluorescent images for NKX2.5; Pearson correlation value was 0.99. Moreover, we were able to generate the images, which was very similar with original fluorescent images and showed cardiomyocytes location, only from label-free phase contrast images. We named this system as "virtual immunostaining".