耳部分のタグ（耳標）​だけを取り出し、その​後文字認識を行いたい

現在以下のようなプログラムを作成しています。

うまく耳部分のタグ（耳標）だけを取り出したいです。

その後は文字認識として光学式文字認識などを用いる予定です。

アドバイス宜しくお願いします。

I = imread('\耳標写真\牛舎.png');

HSV = rgb2hsv(I);

Hue = HSV(:,:,1);

figure,

%subplot(2,2,1);imshow(Hue,"InitialMagnification","fit");

%impixelinfo

Th1 =0.13; Th2 =0.15;

BW = (Th1<=Hue&Hue<=Th2);

subplot(2,2,2),imshow(BW,"InitialMagnification","fit");

[Kojiro Saito]

HSV色空間の下限Th1と上限Th2を使ってBWを抽出していますが、これは耳標の抽出をおこなっている計算でしょうか？

[勇威 池畑]

すみません、プログラムを書き換えた結果、以下のようになっております。

一枚の牛舎の写真から隠れている耳標を一枚ずつ計７枚取り出すことが現在できています。

その後、文字認識に移りたいのですが耳標部分の画像を拡大したいです。

アドバイス宜しくお願いします。

clear all;close all;clc

I = imread('\牛舎\牛舎1.png');

%%耳標範囲を選択

targetSize = [300 1920];

I0 = centerCropWindow2d(size(I),targetSize);

I1 = imcrop(I,I0);

%%黄色部分を閾値を用いて選択

I_2 = Mask(I1);

%figure,imshow(I_2,"InitialMagnification","fit")

%%穴埋め処理とピクセル数で閾値を決め、ノイズ処理を行う

I_3=imfill(I_2,'holes');

%figure,imshow(I_3,"InitialMagnification","fit")

I_4 = bwareaopen(I_3,200);

%figure,imshow(I_4,"InitialMagnification","fit")

%%ラベリングを行い一枚の牛舎の写真から一枚ずつ耳標を取り出す

se = strel('rectangle',[30 30]);

I_4 = imdilate(I_4,se);

%figure,imshow(I_4)

[L,num] = bwlabel(I_4);

s = zeros(size(L));

for m=1:num

s=(L==m);

I_5 = repmat(s,[1 1 3]);

I_6 = uint8(I_5);

I_7 = I1(:,:,:).*I_6(:,:,:);

%figure,imshow(I_7,"InitialMagnification","fit")

end

Answer 1

[Kojiro Saito]

>その後、文字認識に移りたいのですが耳標部分の画像を拡大したいです。

耳標部分の画像を拡大するには、画像から耳標の周りを切り抜きをしてリサイズする必要があります。

bwareafiltとregionprops (どちらもImage Processing Toolboxの関数)を使って対象領域を切り抜きし、imresizeでリサイズできます。文字認識はocr関数 (Computer Vision Toolbox)でできます。

for文の中に以下を追加してみてください。

bwMask = bwareafilt(I_5(:, :, 1), 1);
props = regionprops(bwMask, 'BoundingBox');
imgNew = imcrop(I_7, props.BoundingBox);
imgNewRes = imresize(imgNew, 5); % 画像サイズを5倍にする
ocrResults = ocr(imgNewRes, 'TextLayout', 'block'); % 自動レイアウト解析を無効にしてテキストブロックを検出
disp(ocrResults)

ただ、OCRは精度高く抽出するのが難しいので、こちらのドキュメントを参考に試行錯誤が必要だと思います。

[勇威 池畑]

いつもご返信ありがとうございます。

頂いたコードを入れてみた結果以下のようなエラーが出てきてしまいました。

使い方によるエラー bwareafilt

1 番目の入力引数 は以下のいずれかのタイプが必要です:

logical

実際の型は double でした。

エラー: bwareafilt>parse_inputs (行 44)

validateattributes(bw, {'logical'}, {'nonnegative'}, mfilename, '', 1)

エラー: bwareafilt (行 34)

[bw, p, direction, conn] = parse_inputs(args{:});

エラー: gyuusya (行 37)

bwMask = bwareafilt(I_5(:, :, 1), 1);

すみませんが、本件についてご教授を承りたく存じます。

>>

[Kojiro Saito]

@勇威 池畑

スクリーンショットを確認しました。変数sがdouble型になっていて、そのためにI_5がdouble型になっているのが原因ですね。

質問のコメントにはfor文の最初に

s=(L==m);

があり、ここでsがlogical型になり、I_5もlogical型でbwareafiltが使えるようになります。

このコードを復元してみてください。

[勇威 池畑]

無事に認識することができました。

imNewRes の部分をimshowでイメージの表示をしてみたところ、ラベリングして一か所しか出てこなかったのですが、これは文字認識も一か所しかできていないということでしょうか。

すみません、Matlab初心者なものでつたない文になっております。

お忙しいと思いますが、ご返信いただけると幸いです。

[Kojiro Saito]

imshowで1箇所しか表示されないのは文字認識がそこしかできていないようです。

ocrはデフォルトではなかなか精度が出ないのでこちらのドキュメントの正確な結果を取得する際の課題にあるところを参考に試行錯誤が必要になります。

[勇威 池畑]

ご返信ありがとうございます。

引き続き試行錯誤していきたいと思います。

ありがとうございました。

[勇威 池畑]

すみません、追加で質問がございます。

この拡大された耳標の画像を認識するために光学式文字認識以外で何かおすすめはございますでしょうか。

今検知が１つもできていない状況です。

[Kojiro Saito]

OCRを引き続き使って検知の精度を上げる方法としては、OCRトレーナーを使ってカスタムフォントを学習させる方法があります。1枚ではなく何枚か画像を使って学習させたほうが良いです。

カスタム フォントについての光学式文字認識の学習

他の方法では、HOG特徴量を抽出してから、サポートベクターマシンやニューラルネットワーク(シャローネットワークまたはディープネットワーク)に掛ける方法もあります。こちらの例が参考になると思います。

HOG 特徴を使用した数字の分類

[勇威 池畑]

さいとうさま、いつもお世話になっております。担当教員の方と話した結果、数字認識はCNNを用いて行うことになりました。現在書いているプログラムが以下になります。提出まであと少しとなってしまったため、力を貸してくださると幸いです。

CNNの部分は、ネットから拾ってきたものであり、使い方自体わかっていない状況です。

宜しくお願いします。

clear all;close all;clc

I = imread('/牛舎/牛舎１.png');

targetSize = [300 1920];

I0 = centerCropWindow2d(size(I),targetSize);

I1 = imcrop(I,I0);

I_2 = Mask(I1);

%figure,imshow(I_2,"InitialMagnification","fit")

I_3=imfill(I_2,'holes');

%figure,imshow(I_3,"InitialMagnification","fit")

I_4 = bwareaopen(I_3,200);

%figure,imshow(I_4,"InitialMagnification","fit")

se = strel('rectangle',[20 20]);

I_4 = imdilate(I_4,se);

[L,num] = bwlabel(I_4);

%figure,imshow(I_4,"InitialMagnification","fit")

s = zeros(size(L));

for m=1:num

s =(L==m);

I_5 = repmat(s,[1 1 3]);

I_6 = uint8(I_5);

I_7 = I1(:,:,:).*I_6(:,:,:);

%figure,imshow(I_7,"InitialMagnification","fit")

%impixelinfo

bwMask = bwareafilt(I_5(:, :, 1), 1);

props = regionprops(bwMask, 'BoundingBox');

imgNew = imcrop(I_7, props.BoundingBox);

imgNewRes = imresize(imgNew, 5); % 画像サイズを5倍にする

%figure,imshow(imgNewRes,"InitialMagnification","fit")

%ocrResults = ocr(imgNewRes, 'TextLayout', 'block');

% 自動レイアウト解析を無効にしてテキストブロックを検出

%disp(ocrResults)

end

I_8 = yellowMask(I_7);

%figure,imshow(I_2,"InitialMagnification","fit")

I_9=imfill(I_8,'holes');

%figure,imshow(I_3,"InitialMagnification","fit")

I_10 = repmat(I_9,[1 1 3]);

I_11 = uint8(I_10);

I_12 = I1(:,:,:).*I_11(:,:,:);

%figure,imshow(I_12,"InitialMagnification","fit")

% impixelinfo

% I_6 = createMask2(I_5);

%figure,imshow(I_6,"InitialMagnification","fit")

% impixelinfo

Ig = rgb2gray(I_12);

%figure,imshow(Ig,"InitialMagnification","fit")

%impixelinfo

Ig2=Ig(:,:)<150&Ig(:,:)>10;

% figure,imshow(Ig2,"InitialMagnification","fit")

Ig3 = bwareaopen(Ig2,50);

%figure,imshow(Ig3,"InitialMagnification","fit")

digitDatasetPath = fullfile(matlabroot,'toolbox','nnet','nndemos', ...

'nndatasets','DigitDataset');

imds = imageDatastore(digitDatasetPath, ...

'IncludeSubfolders',true,'LabelSource','foldernames');

labelCount = countEachLabel(imds)

img = readimage(imds,1);

size(img)

numTrainFiles = 750;

[imdsTrain,imdsValidation] = splitEachLabel(imds,numTrainFiles,'randomize');

layers = [

imageInputLayer([28 28 1])

convolution2dLayer(3,8,'Padding','same')

batchNormalizationLayer

reluLayer

maxPooling2dLayer(2,'Stride',2)

convolution2dLayer(3,16,'Padding','same')

batchNormalizationLayer

reluLayer

maxPooling2dLayer(2,'Stride',2)

convolution2dLayer(3,32,'Padding','same')

batchNormalizationLayer

reluLayer

fullyConnectedLayer(10)

softmaxLayer

classificationLayer];

options = trainingOptions('sgdm', ...

'InitialLearnRate',0.01, ...

'MaxEpochs',4, ...

'Shuffle','every-epoch', ...

'ValidationData',imdsValidation, ...

'ValidationFrequency',30, ...

'Verbose',false, ...

'Plots','training-progress');

net = trainNetwork(imdsTrain,layers,options);

YPred = classify(net,imdsValidation);

YValidation = imdsValidation.Labels;

accuracy = sum(YPred == YValidation)/numel(YValidation)

[Kojiro Saito]

CNNを使うということは分かりましたが、上記のコードで何が困っているところでしょうか？提出まで時間がないとは思いますが、聞きたいところを的確にしないと他の方も回答しづらいと思います。

Tutorial: MATLAB Answersで早く​的確な回答を得るため​のポイント

「宿題・研究課題などの丸投げはご勘弁くださいませ。

また、問題点・状況をできるだけ明確することで的確な回答に繋がるかと思います。」

[勇威 池畑]

ぶしつけな質問失礼しました。

試行錯誤してみます。