trainNetwo​rkを使用し「入力イ​メージは４チャネル未​満でなければなりませ​ん。」と出た時の対処​法

imds=imageDatastore('Oguma_TestImages_Copy','IncludeSubfolder',true,'LabelSource','foldernames');

[imdsTrain,imdsValidation]=splitEachLabel(imds,0.7);

numTrainImages = numel(imdsTrain.Labels);

net=squeezenet;

inputSize = net.Layers(1).InputSize

lgraph = layerGraph(net);

[learnableLayer,classLayer] = findLayersToReplace(lgraph);

[learnableLayer,classLayer]

numClasses = numel(categories(imdsTrain.Labels))

newConvLayer = convolution2dLayer([1, 1],numClasses,'WeightLearnRateFactor',10,'BiasLearnRateFactor',10,"Name",'new_conv');

lgraph = replaceLayer(lgraph,'conv10',newConvLayer);

newClassificatonLayer = classificationLayer('Name','new_classoutput');

lgraph = replaceLayer(lgraph,'ClassificationLayer_predictions',newClassificatonLayer);

pixelRange = [-30 30];

imageAugmenter = imageDataAugmenter( ...

'RandXReflection',true, ...

'RandXTranslation',pixelRange, ...

'RandYTranslation',pixelRange);

augimdsTrain = augmentedImageDatastore([227 227 3],imdsTrain,'ColorPreprocessing','gray2rgb', ...

'DataAugmentation',imageAugmenter);

augimdsValidation = augmentedImageDatastore([227 227 3],imdsValidation,'ColorPreprocessing','gray2rgb');

options = trainingOptions('sgdm', ...

'MiniBatchSize',11, ...

'MaxEpochs',7, ...

'InitialLearnRate',2e-4, ...

'Shuffle','every-epoch', ...

'ValidationData',augimdsValidation, ...

'ValidationFrequency',3, ...

'Verbose',false, ...

'Plots','training-progress');

netTransfer = trainNetwork(augimdsTrain,lgraph,options);

[YPred,scores] = classify(netTransfer,augimdsValidation);

idx = randperm(numel(imdsValidation.Files),4);

figure

for i = 1:4

subplot(2,2,i)

I = readimage(imdsValidation,idx(i));

imshow(I)

label = YPred(idx(i));

title(string(label));

end

YValidation = imdsValidation.Labels;

accuracy = mean(YPred == YValidation)

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

SqueezNetによる画像の転移学習をしようと思ったのですが、

エラー: trainNetwork (line 170)

入力イメージは数値で、4 チャネル未満でなければなりません。

エラー: Oguma_SqueezeNet_Code_03 (line 38)

netTransfer = trainNetwork(augimdsTrain,lgraph,options);

原因:

エラー: imageDataAugmenter/augment (line 596)

入力イメージは数値で、4 チャネル未満でなければなりません。

と出て、うまくいきません。

24、26行目でイメージデータストアは[227 227 3]として3チャネルになるように指定しているにも関わらず、なぜtrainNetwork内では4チャネルと認識されているのでしょうか？

対処法をご存知の方がいれば教えていただきたいです。

コードの参考にしたのは「事前学習済みのネットワークを使用した転移学習 - MATLAB & Simulink - MathWorks 日本」です。

製品は　MATLAB R2020a　です。

よろしくお願いいたします。

[Shunichi Kusano]

直接の原因は分かりませんが、エラーはaugmenter内で出ているので、augmenterに入力しているデータが4チャンネル以上になっているのかなと思います。いったんread関数を使ってimdsTrainからいくつか画像を読み込んでみて、チャンネル数を見てみてはいかがでしょうか。

[塁 小熊]

返信ありがとうございます。

早速試してみたところ、imgsTrainは「227×227×3 の uint8 配列」でした。

augmenterを使ってる箇所を削除すれば解決すると思い、

24行目、augimdsTrain = augmentedImageDatastore([227 227 3],imdsTrain,'ColorPreprocessing','gray2rgb', 'DataAugmentation',imageAugmenter);

の 'DataAugmentation',imageAugmenterの部分を削除したところ、学習が開始されました。

しかし今度は学習の途中で

ーーーーーーーーーーーーーーーーーーーーー

エラー: trainNetwork (line 170)

配列の次元は、2 進数配列 op と一致しなければなりません。

エラー: Oguma_SqueezeNet_Code_03 (line 40)

netTransfer = trainNetwork(augimdsTrain,lgraph,options);

原因:

配列の次元は、2 進数配列 op と一致しなければなりません。

ーーーーーーーーーーーーーーーーーーーーーー

と出てしまい、何度か試しましたが学習を完走することが出来ませんでした。

何か気になる箇所やアドバイスがあれば教えていただきたいです。

最後に改めて返信ありがとうございました。

よろしくお願いします。

[Shunichi Kusano]

検証ありがとうございます。

しかし、原因がわかりません…。入力画像も問題無いように見えます。他にレスがつかないようでしたら、エラーが再現するスクリプトと訓練用の画像（数枚）をこちらに共有いただければ、何らか深堀りできるかなとは思います。

[塁 小熊]

返信ありがとうございます。

コードに目立った問題がないのであれば、こちらの環境によりエラーが発生していると思います。

画像に関してなのですが、一度画像を追加してから消してしまいアップロード上限に引っ掛かり共有が出来なくなりました。申し訳ありません。

訓練用の画像の仕様としては、10カテゴリー×50枚で構成されています。

また、過去にMATLAB上で画像サイズの変換が出来なかった事があり、それ以降他のソフトでサイズを揃えるようにしています。今回は227×227で統一しています。また、拡張子は.bmpです。

imds=imageDatastore('Oguma_TestImages_Copy','IncludeSubfolder',true,'LabelSource','foldernames');
[imdsTrain,imdsValidation]=splitEachLabel(imds,0.7);
numTrainImages = numel(imdsTrain.Labels);

net=squeezenet;
inputSize = net.Layers(1).InputSize
lgraph = layerGraph(net); 

[learnableLayer,classLayer] = findLayersToReplace(lgraph);
[learnableLayer,classLayer] 
numClasses = numel(categories(imdsTrain.Labels))
newConvLayer =  convolution2dLayer([1, 1],numClasses,'WeightLearnRateFactor',10,'BiasLearnRateFactor',10,"Name",'new_conv');
lgraph = replaceLayer(lgraph,'conv10',newConvLayer);
newClassificatonLayer = classificationLayer('Name','new_classoutput');
lgraph = replaceLayer(lgraph,'ClassificationLayer_predictions',newClassificatonLayer);

pixelRange = [-30 30];

imageAugmenter = imageDataAugmenter( ...
    'RandXReflection',true, ...
    'RandXTranslation',pixelRange, ...
    'RandYTranslation',pixelRange);

augimdsTrain = augmentedImageDatastore([227 227 3],imdsTrain,'ColorPreprocessing','gray2rgb');
augimdsValidation = augmentedImageDatastore([227 227 3],imdsValidation,'ColorPreprocessing','gray2rgb');


options = trainingOptions('sgdm', ...
    'MiniBatchSize',11, ...
    'MaxEpochs',7, ...
    'InitialLearnRate',2e-4, ...
    'Shuffle','every-epoch', ...
    'ValidationData',augimdsValidation, ...
    'ValidationFrequency',3, ...
    'Verbose',false, ...
    'Plots','training-progress');



netTransfer = trainNetwork(augimdsTrain,lgraph,options);
[YPred,scores] = classify(netTransfer,augimdsValidation);

idx = randperm(numel(imdsValidation.Files),4);
figure
for i = 1:4
    subplot(2,2,i)
    I = readimage(imdsValidation,idx(i));
    imshow(I)
    label = YPred(idx(i));
    title(string(label));
end
YValidation = imdsValidation.Labels;
accuracy = mean(YPred == YValidation)

スクリプトの共有はこれでよろしいでしょうか。

MATLABを使い始めたばかりなので至らない点もあるかもしれません。

よろしくお願いします。

[Shunichi Kusano]

コードの共有ありがとうございます。

画像は1カテゴリにつき数枚にダウンサイズしたうえでzipファイル化などして共有することは可能でしょうか。実データが無いとやはり検証が難しく…。

[塁 小熊]

返信ありがとうございます。

圧縮したファイルで送りますので問題や不備がありましたら、連絡お願いします。

10カテゴリー×25枚づつ入ってると思います。

よろしくお願いします

[Shunichi Kusano]

データ共有いただき、ありがとうございました。

こちらでテストしてみたのですが、エラーは再現しませんでした。小熊さんの環境ではこちらのコードとデータでエラーが出るということでよろしいでしょうか。

念のため、私のコード添付します（整形しただけで、内容は一緒です）。

[塁 小熊]

検証していただきありがとうございます。

やっぱり自分の環境ではうまく動かないみたいです。

参考のために草野さんの環境を教えていただいてもよろしいでしょうか。

このようなエラーが起こってしまう原因としてツールボックスの破損などは考えられるのでしょうか。

一度アンインストールしてインストールし直して、もう一度テストしてみようと考えているのですが、アンインストールに伴って今まで作成したデータも消えたりはするのでしょうか。もしそのような仕様などが無いようであれば一度インストールし直したいと思います。

[Shunichi Kusano]

そうですか、何か特定の画像が悪さをしている可能性もあるかと思ったのですが。

他にできることとしまして、

dbstop if error

と、エラーが出るコード（今回ですとtrainNetworkの一文）の前に挿入して実行すると、エラーが出た時点でデバッグモードに入ります。エラー時点でのワークスペースが見れますので、変数の次元などを調べることで、何か手がかりが得られるかもしれません。ですが、コードの深い部分の探索も必要になる可能性もありますので、中級者以上向けの方法です。本当は私がこれをするつもりだったのですが、エラーが出なかったので何もできず、でした。

その他に原因や対処で思い当たることが無いので、一度再インストールするのも手かもしれません。

作成したデータはMATLABのインストールフォルダ以外に置いておけば、再インストールしても大丈夫です。

[塁 小熊]

再インストールする前に、以前送った半量の画像セットと手直し頂いたスクリプトで実行したところ、無事に完走することができました！

完走できたということでツールボックスの破損というよりも、草野さんの見立て通り一部の画像が災いしてエラーを起こしていたと思われます。流石にどの画像が悪さしているかは特定していないのですが、、。

ここまで長々くお付き合い頂き、本当にありがとうございました！

[Shunichi Kusano]

とりあえず原因がわかったようでよかったです。どの画像が原因かはファイルサイズで分かったりしませんでしょうか。エラー内容から察するに、原因となるファイルは画像サイズが他と比べて大きく異なるのでは、と推測します。

[塁 小熊]

一枚だけ50キロバイトを超える画像がありますが検証のために半分にしたデータにも含まれていたのでそれは原因ではないようです。また一番小さいサイズの画像は6キロバイトとなっており他のカテゴリーでも同程度の小ささなのでこれも原因とは考えられません、、。

[Shunichi Kusano]

そうでしたか。見当違いでした。

そうするともう一枚ずつ調べるしかありませんが、上記dbstop if error使えばおそらく、エラーとなった時のワークスペースを見れますので、どの画像かもわかりそうです。ご参考まで。

[塁 小熊]

エラーになったワークスペースの見方が悪いのかどの画像か特定することが出来ませんでした。

カテゴリーだけでも分かればと思ったのですがそれも難しかったです。

dbstop if error はこれからもMATLABを使う上でエラー解決の糸口として活用したいと思います。

ありがとうございます。

[Kenta]

allIm=readall(augimdsTrain);  

こんにちは、途中で割りこんですいません。興味深いご質問で、私の方でも試してみました。Windows、matlab2021aで実行しましたが問題なく、Kusanoさまのコードで動きました。

私もどこか画像がいけないのかなあと思いました。例えば上のようにreadallしたり、

for i=1:(画像の枚数ぶん）

im=read(augimdsTrain);

end

などとして、エラーが出ないでしょうか。また、毎回、size(im)などとして、チャンネルの数を見てみてもよさそうだとおもいました。

[塁 小熊]

Kentaさん　こんにちは。

そのコードを試そうと思い、エラー出た際に使ったファイルを改めて見返しました。

前回指摘されたのもサイズでしたので、その時はサイズやピクセルばかり見ていたのですが、

なんとなくファイルの表示形式を変えて改めて目を通したらエラーの原因は一目瞭然でした。

この醜態を晒さずにそっと心の片隅にしまう事も一瞬考えたのですが、後学のために、そして戒めとして、この事実を共有しようと思います。

１　枚　だ　け　G　I　F　で　し　た。

これを見つけた時、思わず笑ってしまいました。

Kusanoさんにかけたご迷惑と奪ってしまった時間は全て、この一枚のGIFと自分の間抜けさが原因だったと思うと、なんというかもう笑うしかありません。

改めてKusanoさん、ありがとうございました。と同時にほんっとにすいませんでした！

[Kenta]

なるほど！小熊さんありがとうございます。データストアにGIFも格納されてしまうのですね、、、私もGIFはよく使うので参考になります。原因がわかったようでよかったです。

「タグ」のところにimageDataAugmenterなど、今回のご質問で関連していそうな単語をいれておくと、今後似た問題が検索されたときに引っかかる確率があがりそうです。