이 건물은 1520년대 중종(中宗) 때에 평양서윤(平壤庶尹)을 지낸 김번(金), 1497∼1544) 선생이 여생을 보내기 위해 지은 집이었다.
그후 100여년이 지난 인조(仁祖) 23년(1645)에 청음(淸陰) 김상헌(金尙憲, 1570∼1652) 선생이 청(淸)나라에 끝려갔다가 풀려 나온 뒤에 이를 누각식으로 중건(重建)하면서 청나라를 멀리한다는 뜻으로 '청원루(淸遠樓)'라 하였다.

청음 선생은 1636년 병자호란(丙子胡亂) 당시 인조(仁祖)가 굴욕적으로 강화하는 것을 극력 반대한 척화주전론(斥和主戰論)의 거두였다.
1636년(인조 14) 병자호란때 판서로서 비변사 당상을 겸하였을 때 청나라와의 화의를 극력 반대하여 기초중인 국서를 찢고 통곡하였다. 끝내 화의가 성립되자 그로 인하여 심양에 잡혀가 심문을 받았으나 시종 굽히지 않았으므로 3년 동안이나 갇혀 있었고 청나라 사람들도 그의 충절에 감동하여 돌려보냈다고 한다.

그때 명나라와 내통한 죄목으로 잡혀 온 주화신 지천 최명길공과 척화신 청음 김상헌공이 같은 옥에 우연히 갇히게 되었다. 따라서 서로 문초 당하는 것도 들었다.

 지천은 청음이 이름을 후세에 날리기 위하여 척화를 고집한 것으로 오해했으나 지금 잡혀와서도 여전히 굳굳하게 대하는 것을 보니 참으로 충의의 선비인 것을 알았다.

 김공도 최지천이 송나라 진회와 같이 화의함으로써 나라를 망칠 줄 알았더니 어느덧 명나라와 내통하여 잡혀온 것을 보고 오해가 가시었다.
 청음이 먼저 "여보 지천대감, 내가 지금까지 대감을 잘못 생각했소이다 용서하시오." 지천도 "허허 나도 청음대감의 고지식한 것이 구부러지지 않는 것을 알았소이다." 하고 서로 웃었다.
두사람의 길은 한곳이었으나 다만 그 가는 길이 다를 뿐이고 만나는 곳은 일반이었다.

김공은 "조용히 두 사람의 생각을 찾아볼 때 백년의 의심이 풀리는구려"하는 시를 읊어 보냈다.
최공도 "그대의 마음은 돌같이 단단하여 돌릴 줄 모르네만 이내 길은 둥글둥글 오로지 한 길만을"하고 답시를 보냈다. 장소는 비록 적국의 감옥이지만 두 사람의 우정은 더욱 깊어 갔다.

용골대는 응당 두 사람을 참형에 처할 것으로 알고 "폐하, 두 사람은 조선에서 명성이 높은 자들이요. 일벌백계의 견지에서 중형에 처하도록 하시오."하고 품하였으나 청태종은 "충신을 죽이는 것이 황제의 덕에 해가 되지 않을까. 그자들의 소행은 죽일 것이나 호생지덕을 베풀도록 하라"고 명하였다.
용골대가 와서 두사람을 보고 "용서하니 황성이 있는 쪽으로 서향재배하고 사은하라"하니 최명길은 용골대의 뜻에 따랐으나 김공은 청태종에게 절을 하는것이 싫어 허리가 아프다는 핑계로 거절하였다고 전한다.

그후 청나라에서 풀려나 조선으로 돌아온 공은 그후 풍산 소산동 청원루에 은거했다.
청원루는 본래 2채의 건물에 전체칸수가 41칸이었으나 1934년 대홍수에 허물어져 현재는 한 채만 남아 있다.