概要
PCのカメラに手をかざし、ジェスチャーを行うだけでモールス符号を入力して、リアルタイムに文字へ変換するシステム。 音声や物理キーボードを使わずに意思を伝えられる入力手段として、発話や聴覚に困難のある人のコミュニケーション支援を念頭に設計した、 HCI（ヒューマン・コンピュータ・インタラクション）の実験的プロジェクト。標準的なノートPCのCPUだけで動作し、特別な機材を必要としない。
プロジェクト体制と私の役割
大学3年次、タイの姉妹校を1週間訪問して取り組んだ国際協働開発プロジェクト。 現地のタイ人学生3名と日本人学生2名の計5名で1チームを組み、私がリーダーとして開発を先導した。
英語で技術的な議論を行うのはこのときが初めてで、意思疎通は決して円滑ではなかった。 そこで開発対象を機能ごとに細分化し、全体の構造を図として示して共有することで、各メンバーが自分の担当範囲と全体の関係を把握できるようにした。 結果として、1週間という限られた期限の中で、チームとして動作するシステムを完成させることができた。
操作とジェスチャー設計
モールス符号の「トン（・）」「ツー（－）」を、手のジェスチャーとその保持時間で表現できるよう設計した。
- サムズアップ：入力を開始
- 手のひらを開く（短く・〜1秒）：「・」（短点 / dot）
- 手のひらを開く（長く・1秒以上）：「－」（長点 / dash）
- ILoveYou サイン：スペース（単語の区切り）
- ピース（Victory）：入力中のモールス列を1文字に確定・変換
- 人差し指を立てる：入力中の信号をクリア
- サムズダウン：入力全体をリセット
- このほか、1文字削除（バックスペース）や単語削除などの編集コマンドも用意
主な技術・手法
- ジェスチャー認識：MediaPipe Gesture Recognizer（gesture_recognizer.task）で、手の形を Open_Palm / Victory / Thumb_Up / ILoveYou などの定義済みジェスチャーに分類
- タイミング判定：各ジェスチャーの保持時間を計測し、短押し＝短点・長押し＝長点としてモールス信号列を構築
- モールス変換：A〜Z・0〜9・記号（? ! . , ; : + - / =）に対応した変換テーブルで、確定ジェスチャーを引き金に文字へデコード
- リアルタイムUI：OpenCV でミラー表示のカメラ映像にモールス対応表を並べ、入力中の信号列・確定テキスト・「Now Reading」インジケータを可視化
- 設計：ハンドランドマーク検出クラスを継承してジェスチャー認識クラスを構築（クラス継承による拡張）
- 実装：Python / MediaPipe / OpenCV / NumPy