TDA 기반 상품 이미지 식별

Feature Ablation Study로 PH/Color/OCR 기여도를 정량 측정(LOO 94.03%)하고,
OCR을 스캔 파이프라인에 통합한 뒤 실제 스캔으로 OCR 기여를 검증하였다.
등록 상품 기준 66.7% → 78.5% (+11.8%p) 향상 확인.

5가지 피처 조합에 대해 201개 등록 이미지를 Leave-One-Out 교차검증으로 평가하였다.
각 이미지를 하나씩 빼고 나머지로 DB를 구성한 뒤, 빠진 이미지의 상품을 맞추는 과정을 201회 반복한다.

adjusted_distance = L2_distance − (OCR_similarity × weight).
weight를 0.5~5.0까지 탐색한 결과, w=1.0에서 최적 성능을 달성한다.

128×128 리사이즈 후 OCR을 적용하면 글자가 뭉개지는 문제가 있었다. 해결: 원본 해상도 center_crop에서 OCR을 먼저 추출하고, 이후 128×128로 리사이즈하여 PH/Color를 계산한다.

# Scan pipeline (identify_ph_color.py)
img = Image.open(path).convert("RGB")
cropped = center_crop(img)            # 3:4 ratio

ocr_text = extract_ocr_text(cropped)  # OCR on original resolution

gray_128 = cv2.resize(gray, (128,128))
color_128 = cv2.resize(rgb, (128,128))
ph = ph_features_54d(gray_128)        # PH 54D (3 filtrations)
color = color_features_96d(color_128) # Color 96D (H32+S32+V32)

OCR 텍스트 유사도는 단어 Jaccard와 문자 트라이그램 Jaccard 중 큰 값을 취한다. 트라이그램은 OCR 노이즈(오타, 깨진 문자)에 강건하다. 0°/180° 회전 중 더 많은 문자를 인식하는 방향을 선택한다.

1~3주차 자가 테스트(LOO) / 4주차 실제 스캔 / 5주차 LOO (201개 이미지, 10종)

• PH+Color 상보성 확인 — PH 78% + Color 85% → PH+Color 93.5%. 위상 정보와 색상 분포가 상호 보완적이라는 TDA 연구의 핵심 발견.
• OCR은 보조 피처 — 단독 49%로 주역은 아니지만, PH+Color 혼동 케이스에서 결정적 1표를 추가 (93.5% → 94.0%).
• LOO vs 실전 갭 36%p — 촬영 조건 변동이 주 원인. data augmentation + 바코드 우선 매칭으로 75~80% 도달 목표.
• 바코드 2단계 전략 — 바코드 인식 시 100% 확정, 미인식 시 PH+Color+OCR 폴백.

• Data Augmentation — 등록 시 다양한 조건에서 촬영하면 실전 환경에 가까운 피처 분포가 형성되어 LOO-실전 갭이 줄어들 것으로 기대.
• 바코드 우선 매칭 실전 적용 — 스캔 파이프라인에 "바코드 먼저 → 없으면 피처 비교"를 적용.
• Confidence 컷오프 최적화 — 확신이 낮은 판정을 "미확인"으로 분류하여 오답률을 줄임.

3주차에서 자가 테스트(DB 이미지 ↔ DB 이미지) 100%를 달성하였으나, 이는 등록된 이미지로 등록된 이미지를 찾는 것이다.
4주차에서는 등록모드(PH+Color+OCR로 상품 정보 저장)와 스캔모드(카메라로 실물을 촬영하여 판정)를 분리하고,
SAM을 제거하고 center_crop으로 통일한 뒤, 실제 스마트폰으로 10종 상품을 스캔하여 정확도를 측정하였다.

이전 주차에서는 등록 시 MobileSAM(물체 인식 크롭)을 사용했으나, 스캔 시에는 SAM 없이 center_crop을 사용했다.
SAM 크롭과 center_crop이 만드는 이미지가 다르기 때문에 — 같은 상품을 찍어도
피처 벡터가 완전히 다른 공간에 놓이는 문제가 발생하였다 (PH L2 차이: 5,267).
등록과 스캔 모두 center_crop(3:4 비율 중앙 크롭)으로 통일하여 피처 공간 불일치를 해결하였다.

3주차에서는 Min-Max 정규화를 사용했다. 그러나 Min-Max는 쿼리마다 최소/최대가 바뀌어 결과가 불안정하다.
4주차에서 Z-score 정규화로 전환하여 DB 전체의 평균(μ)과 표준편차(σ)를 기준으로 정규화한다.

자가 테스트는 DB에 등록된 이미지를 다시 쿼리로 넣는 것이다. 같은 이미지이므로 100%가 당연하다.
실제 스캔은 스마트폰 카메라로 실물 상품을 촬영한다. 조명, 각도, 거리, 배경이 모두 달라진다.
이 차이가 정확도 100% → 69.0% 하락의 원인이다.

1~3주차는 자가 테스트(LOO) / 4주차는 실제 스캔 — 3주차 100%와 실제 스캔 69.0%의 gap

초록: 100% / 노랑: >0% / 빨강: 0% — stanley(0%), kavalan(0%), kitkat(0%)에서 전혀 인식 실패

오판이 특정 상품 쌍에 집중된다. stanley → every time (3회), kavalan → every time/kitkat (4회), tubingband → kavalan (2회).
every time이 강한 어트랙터로 작용하여, stanley·kavalan·kitkat이 모두 every time으로 끌린다.
PH+Color 만으로는 이 유사성을 구분하지 못한다 — 텍스트(OCR)가 구분의 열쇠가 될 수 있다.

반복적 혼동 패턴: every time이 어트랙터 — stanley(3회), kavalan(3회), kitkat(1회)이 every time으로 오분류

Android 앱의 스캔모드에서 실제 상품을 카메라로 비추고, O(정답)/X(오답) 버튼으로 판정한 결과이다.
상단에 예측 상품명과 신뢰도, 하단에 Top-3 매칭 결과와 서버 응답 시간이 표시된다.

정답 사례 (O) — 대표 6건correct

PhilipsJC302 — 정답 (conf 0.079)

orthomol — 정답 (conf 0.253)

cookie — 정답 (conf 0.194)

tubing band — 정답 (conf 0.041)

every time — 정답 (conf 0.245)

pokemon go — 정답 (conf 0.115)

오답 사례 (X) — 대표 4건wrong

stanley → every time으로 오판 (conf 0.147)

kavalan → every time으로 오판 (conf 0.047)

tubing band → kavalan으로 오판 (conf 0.095)

pokemon go → PhilipsJC302로 오판 (conf 0.038)

신뢰도는 1위와 2위의 거리 차이를 나타낸다: confidence = (d₂ - d₁) / d₂
값이 클수록 1위가 확실히 가깝고, 작으면 1위와 2위가 비슷하다는 뜻이다.
실제 결과에서 정답도 오답도 대부분 0.002~0.17 범위로 낮았다 —
상품 간 거리가 전반적으로 비슷하여 신뢰도만으로 정답/오답을 구분하기 어렵다.

자가 테스트 100%와 실제 스캔 69.0%의 차이는 카메라 촬영 환경의 변동성(조명, 각도, 거리)이 원인이다.
등록된 이미지는 고정된 조건에서 촬영되었지만, 실제 스캔은 매번 다른 조건에서 촬영된다.
9개 상품 중 3개(PhilipsJC302, orthomol, cookie)가 100%를 달성했지만,
stanley(0%), kavalan(0%), kitkat(0%)에서 전혀 인식에 실패하였고, every time(75%), pokemongo·tubingband(60%)도 불완전하다.

그러나 랜덤(10%) 대비 PH+Color(69.0%)는 의미 있는 개선이며,
PH 피처(위상적 형태 정보)가 색상 정보와 결합하여 식별력에 기여한다는 근거가 된다.
every time이 어트랙터로 작용하여 stanley·kavalan·kitkat을 끌어당기는 패턴이 확인되었으며,
텍스트가 뚜렷한 상품의 혼동은 OCR 추가가 해소의 열쇠가 될 수 있다.

• 스캔모드에 OCR 추가 검토 — OCR이 ~6초 걸려 스캔에서 제외했으나, kavalan↔every time 혼동을 OCR로 해소할 수 있는지 검증. OCR 경량화(해상도 조정, 엔진 교체) 또는 비동기 처리 방식을 탐색한다.
• PH+Color vs PH+Color+OCR 정량 비교 — 동일 스캔 세트에서 OCR 유무에 따른 정확도를 비교하여, OCR의 실질적 기여도를 정량적으로 확인한다.
• 혼동 상품 쌍 심층 분석 — kavalan/every time, pokemon go/tubing band의 피처 벡터를 시각화하여, 어떤 차원에서 혼동이 발생하는지 분석한다.

2주차에서 PH 단독 94%의 한계를 확인하고, 색상 히스토그램(HSV)과 OCR 텍스트 인식을 결합하여
동일 100장(10종×10장)에 대해 Top-1 100%, Top-5 100%를 달성하였다.
PH는 형태, Color는 색상, OCR은 글자를 보기 때문에 세 관점이 상호 보완된다.

동일 100장에 대해 특징 조합을 바꿔가며 LOO(한 장씩 빼면서 검증) 정확도를 측정했다.
PH 거리는 수만 단위, Color 거리는 소수점, OCR 유사도는 0~1 — 단위가 제각각이라
그냥 합산하면 숫자가 큰 PH만 결과를 지배한다. 모든 거리를 0~1 범위로 맞춘 뒤(Min-Max 정규화)
동등하게 합산해야 세 특징이 공정하게 기여할 수 있다.

파란 막대: Top-1 / 초록 막대: Top-5 / 빨간 점선: 2주차 PH baseline (94%)

PH + Color만으로 이미 100%. OCR은 현재 추가 이득이 없지만, 같은 상품의 다른 맛/색상/사이즈 변형(예: 킷캣 오리지널 vs 딸기)처럼 박스 형태와 색은 거의 같고 글자만 다른 경우에 필수적이 된다.

파랑: PH / 노랑: Color / 보라: OCR / 초록: PH+Color — 모든 상품이 100%로 개선

PH(형태) + Color(색상) + OCR(글자), 세 가지 관점을 결합하면
각각의 약점을 상호 보완하여 10종 100장에서 Top-1 100%, Top-5 100%를 달성한다.
PH + Color만으로 이미 100%이며, OCR은 현재 추가 이득이 없지만 —
같은 상품의 다른 맛/색상/사이즈(예: 킷캣 오리지널 vs 딸기)처럼 박스 형태와 색은 같고 글자만 다른 경우에 핵심 구분자가 된다.

핵심 발견은 Color Histogram이 단독 97%로 매우 강력하다는 점이다.
이는 현재 10종 상품의 색이 모두 다르기 때문이며, 같은 색 상품이 추가되면
Color 단독의 한계가 드러나고 PH의 형태 구분 능력이 필수적이 될 것이다.

이 세 특징을 결합한 벡터(150D + 텍스트)는 상품의 “시각적 지문(Fingerprint)”으로 기능한다.
물리적 바코드 없이, 겉모습만으로 상품을 식별하는 “TDA-based Product Fingerprint” 개념이다.
GPU나 AI 모델 없이 CPU 1~2초, 스마트폰에서 오프라인으로 동작 가능하다.

• 상품 수 확대 (30~40종) — 기존 10종에 20~30종을 추가하여 Color 단독의 한계를 확인하고, PH + Color + OCR 결합의 확장성을 검증한다. 특히 같은 브랜드의 다른 맛/색상/사이즈(예: 킷캣 오리지널 vs 딸기 — 박스 형태와 색은 같고 글자만 다른 경우)를 포함하여 OCR의 실질적 기여를 검증한다.
• 실시간 스캔 프로토타입 — 카메라 프리뷰에서 상품을 실시간으로 인식하는 모드. PH(64×64) + Color로 200~300ms 내 처리, 초당 3~5회 인식 목표.
• Product Fingerprint DB — 상품별 fingerprint(150D + 텍스트)를 온디바이스 DB에 저장하고, 서버 없이 즉시 매칭하는 구조 구현.

10종 100장으로 PH 분류를 검증하고, 전처리와 분류 방법을 개선하였다.
중앙 50% 고정 크롭 + 128×128 해상도 표준화 + 다중 filtration 결합으로
100번 중 94번 첫 번째 답이 정답(Top-1 94%), 5개 후보 안에 정답이 반드시 포함(Top-5 100%)을 달성하였다.

카메라 가이드 프레임 안에 상품을 놓고 촬영하면, 상품이 사진 중앙에 위치한다.
중앙 50%를 고정 크롭하여 항상 동일한 영역을 잘라내고,
128×128 grayscale로 통일하여 PH 비교의 일관성을 확보한다.

kitkat

cookie

kavalan

Airpods Pro

위: 원본(3024×4032) → 중앙: 50% 크롭(1512×2016) → 아래: 128×128 grayscale

위 과정에서 “사진을 숫자로 변환하는 방법”과 “비교하는 방법”을 바꿔가며 정확도를 측정했다.
Sublevel(밝기값 기반)  /  Edge(윤곽선 기반)  /  Gradient(밝기 변화량 기반)
1-NN(가장 가까운 1장으로 판정)  /  3-NN(가장 가까운 3장의 다수결)  /  Centroid(상품별 평균 벡터와 비교)

파란 막대: Top-1  /  초록 막대: Top-5  /  빨간 점선: 이전 Baseline 78%

각 관점은 단독으로 67~89%이지만, 3개를 합치면 서로 다른 특징을 보완하여 94% / 100%를 달성한다.

Cubical Complex Filtration (격자 복합체 여과) — 이미지의 밝기값을 threshold(문턱값)로 사용한다.
threshold t를 0에서 1까지 올리면, 어두운 픽셀부터 순서대로 "켜지면서" connected component(연결 성분)가 생겼다 합쳐지고, hole(구멍)이 생겼다 사라진다.
이 생성(birth)과 소멸(death)의 패턴이 곧 그 이미지의 위상적 지문이다.

위: threshold t에서의 sublevel set(하위준위집합) — 흰색 = 아직 안 켜짐  /  아래: 해당 threshold에서 켜진 영역(cyan)과 connected component(연결 성분) 수

Persistence Diagram (지속성 다이어그램) — 각 위상적 특징의 birth(생성)과 death(소멸)를 점으로 찍는다.
대각선에서 먼 점 = 오래 살아남은 구조 = 의미 있는 특징. 같은 상품은 다이어그램 패턴이 유사하고, 다른 상품은 다르다.

왼쪽: 같은 상품(kitkat) 2장 → PD 패턴 유사  /  가운데: 다른 상품 → PD 분포 상이  /  오른쪽: 3종 비교
● H0 = connected components (연결 성분)   ● H1 = holes (구멍)

Persistence Barcode (지속성 바코드) — 각 특징의 수명을 bar(막대)로 표현한다.
긴 막대 = 노이즈가 아닌 실제 구조. 상품마다 막대의 길이 분포와 개수가 다르므로, 이를 통계적으로 요약하면 18차원 특징 벡터가 된다.

H0 — connected components (연결 성분)  /  H1 — holes (구멍) — 상품마다 막대 분포가 다름 = PH가 상품을 구분하는 근거

클러스터 분리 시각화 — t-SNE(고차원→2D 압축), 참고ref

54D 벡터를 t-SNE(고차원→2D 압축 도구)로 2D로 줄이면 상품별로 깔끔하게 분리되는 것을 확인할 수 있다.
t-SNE(고차원→2D 압축 시각화)는 시각화 도구이며, 실제 정확도(94%)는 원본 54D에서 LOO(한 장씩 빼면서 검증)로 측정한 값이다.

왼쪽: Combined 54D t-SNE (94% Top-1)  /  오른쪽: CFV 3D (52% Top-1) — 차원이 높을수록 분리가 명확

PH는 색상도 안 보고, 글자도 안 읽고, AI 학습도 없이 —
순수하게 grayscale 밝기 패턴의 위상적 구조만으로 상품을 구분하는 방법이다.
이것만으로 10종 상품을 94% 정확도로 맞히고, 5개 후보를 주면 100% 정답이 포함된다는 것은
PH가 상품 식별에 유효한 특징을 잡아낸다는 것을 증명한다.

핵심 발견은 크롭의 일관성이다.
단순한 고정 크롭이 높은 정확도를 냈다. 항상 같은 영역을 자르면
같은 상품은 비슷하게, 다른 상품은 다르게 나오는 것이 보장되기 때문이다.
비싼 모델 없이도, CPU 1초 연산만으로 이 정도 정확도를 낼 수 있다.

다만, 현재는 10종 박스형 상품이라는 제한된 조건이다.
Airpods Pro(60%)처럼 매끈한 표면은 grayscale에서 형태 차이가 적어 구분이 어렵고,
상품 수가 늘어나면 정확도가 떨어질 수 있다. PH 단독의 한계를 넘기 위해
다음 주차에서 색상과 텍스트 정보를 결합한다.

• 색상 히스토그램 — PH는 흑백만 보므로, 색상(HSV) 분포를 추가하여 "형태는 비슷하지만 색이 다른" 상품을 구분한다
• OCR 텍스트 — 상품 표면의 브랜드명/상품명을 읽어, 형태와 색상이 비슷해도 글자가 다르면 구분할 수 있게 한다
• 데이터 확장 + 시간차 검증 — 기존 10종에 대해 촬영 장수를 늘리고(10장→20+장), 수일 뒤 재촬영한 사진으로 Temporal Split(시간차 재촬영 검증)을 수행하여 실사용 환경에서의 정확도를 검증한다
• 온디바이스 인식 모드 — 고정 크롭 + PH를 폰에서 직접 실행하여, 서버 없이 2~3초 내 상품명을 표시하는 프로토타입

환경 구축 상세infra

System Architecture

tda-android

CameraX 촬영
가이드 프레임
Retrofit 2

HTTPS
Multipart

EC2 t3.medium · kyuwan.kim

nginx (SSL + Proxy)

Spring Boot 3.5

GUDHI PH

MySQL 8.4

JSON

결과 표시

PH 특징 벡터
cropBox 좌표
결과 조회

단일 EC2 · 고정 크롭 + GUDHI PH를 subprocess로 호출 · @Async 비동기 처리

• AWS EC2(t3.medium, Seoul)에 nginx, Java 17, MySQL 8.4, Python 3.14, PyTorch 설치
• 도메인(kyuwan.kim) 연결, Let's Encrypt SSL 인증서 발급 및 자동 갱신
• Spring Boot 3.5.0 API 서버 — 고정 크롭 + GUDHI PH를 Python subprocess로 호출, @Async 비동기 처리
• REST API 6종: POST /analyze, GET /results, GET /products, GET /products/{name}, GET /results/{id}/image, GET /health
• MySQL DB — tda_analysis + tda_persistence_pair 2개 테이블, cropBox 좌표 저장
• systemd 서비스, nginx 리버스 프록시(kyuwan.kim/api/* → :8080)
• Android 앱 — CameraX 커스텀 카메라 + 가이드 프레임 + 탭 포커스, Multipart 업로드, 상품별 목록/상세 조회, 오프라인 큐

3

GitHub 레포지토리

6

REST API 엔드포인트

2

DB 테이블

HTTPS

보안 통신

Component	Stack	Role
tda-api	Spring Boot 3.5 · Java 17 · GUDHI	REST API + 고정 크롭 + PH 계산
tda-android	Java · CameraX · Android SDK 34 · Retrofit 2	가이드 프레임 촬영 + 결과 조회
EC2	Ubuntu 26.04 · nginx · MySQL 8.4 · Python 3.14	서버 인프라

• Python + GUDHI 기반 PH 바코드 파이프라인 구현
  초기에 JavaPlex(Java 기반 TDA 라이브러리)를 검토했으나, 이미지 PH에 특화된 CubicalComplex가 없어 GUDHI(C++ 기반, Python 바인딩)로 전환. 픽셀 격자를 직접 입력할 수 있어 변환 없이 빠르게 PH를 계산한다.
• 같은 상품 10장 촬영 — 조건(각도, 거리, 조명)별 PH 바코드 일관성 검증
• Canny 엣지 자동 크롭 실패(5/10) → 고정 크롭 1816×2420으로 해결
• 18차원 특징 벡터 설계 — H₀/H₁ count, total/max/mean/std persistence, 구간별 Betti number

원본 촬영 → 고정 크롭 → 흑백 변환 → Persistence Diagram → PH Barcode

동일 상품(kitkat) 10장을 각도·거리·조명을 달리하며 촬영하고
PH 특징 벡터를 비교한 결과,
H₀ max persistence 240~249, H₀ count 3,884~5,803으로
모든 이미지가 일정 범위 안에 모이는 것을 확인했다.

즉, 촬영 조건이 달라져도 같은 상품의 위상적 구조는 안정적으로 유지된다.
이는 PH가 같은 상품을 "같다"고 인식할 수 있음을 의미한다.

다음 주에는 여러 종류의 상품을 촬영하여,
서로 다른 상품끼리도 PH로 구별이 가능한지 검증하겠다.