チャーリーは夏休み中の３週間、祖父母の家にあずけられた。町の探検に出かけたチャーリーは、図書館で耳の聞こえないおばあさん、アギーに出会う。チャーリーはアルファベットをひと文字ずつ手で表す「指文字」がわかるのだ！アギーが表していた手話の謎を追うため、チャーリーは、「キャッスルろう学校」にいるフロッグをたずねた。フロッグは耳が聞こえないろう者なので、二人の会話は手話と筆談。チャーリーとフロッグは探偵のように、この事件の捜査を始めた。それが、胸おどる冒険の始まりだった・・・！ろう者（聴覚障害のある人）にとって、手話は大切なコミュニケーション方法。ろう学校があり、手話ができる人が多いアメリカのある町の図書館で起こった事件を、手話を使って、解き明かしていく冒険ミステリー。