2차 세계 대전 직후, 4개 승전국에 의해 공동으로 치안이 유지되던 오스트리아의 수도 비엔나에 홀리 마틴스라는 한 미국인이 도착한다. 3류 소설가이자 빈털터리 신세인 마틴스는 비엔나에 사는 친구 해리 라임의 일자리 제안을 받아들여 방문하게 된 것이다.하지만 도착한 날, 해리가 차 사고로 죽게된 것을 알고 다시 미국으로 돌아가려고 하지만 곧 해리의 차사고가 의문투성이임을 발견하고 남게된다. 해리와 친분이 있었던 친구들을 만나고 대화하면서 사고 현장엔 해리의 친구가 두 명이 아닌, 제3의 사나이가 있었음을 건물 관리인으로부터 듣는다.해리의 옛 애인인 애나를 찾아간 해리 는 연정을 느끼고, 위조한 여권이 발각돼 곤경에 처한 그녀를 도와주려고 한다.
영국군의 캘로웨이 소령은 해리를 봤다는 마틴스의 말에 그의 관을 열어보게 되고 해리의 공범이 대신 매장됐음을 발견한다. 해리가 불량 페니실린을 밀매해서 많은 환자들을 죽게 한 사실을 알게된 마틴스는 해리의 검거에 협조하기로 하지만 애나의 간곡한 부탁에 다시 맘을 돌린다.하지만 캘로웨이 소령이 마틴스를 병원으로 데려가 불량 페니실린의 희생자들을 직접 보여주자 그는 다시 맘을 돌려 해리 체포에 협조하기로 한다. 마틴스와의 약속장소에 나간 해리는 경찰의 추격을 받고 도주하다 궁지에 몰리는데..