서양에서 도서관의 시작은 기원전 2500년경까지 거슬러 올라가지만 내용을 정확하기에 파악하기는 불가능합니다. 고대 메소포타미아 도서관 중 가장 큰 것으로는 1850년 영국의 고고학자인 레이어드의 니네베 발굴에 의하여 고대 아시리아에서 재위했던 아슈르바니팔 왕의 도서관 유적이 있습니다. 이 도서관에는 약 3만 개 이상의 점토판이 역사, 군사, 외교, 지리, 법전, 종교, 과학 등의 주제별로 배열 및 보존되어 있는데 종이로 만든 항아리 속에 이들 점토판이 보관되어 인식표를 갖추고 있었으며, 제목에 대한 기재, 점토판의 수효와 종류, 시작하는 첫 단어와 중요한 키워드, 소장 번호와 분류 번호가 기록된 목록에 정리되었습니다. 한편, 고대 이집트에도 이집트 문자를 새긴 많은 점토판이 발견되었는데, 라메스 3세의 궁전에는 영혼의 요양소라고 적은 곳이 있었다는 기록이 있습니다. 그리고 고대 그리스에서 기원전 수 세기부터 원시적인 도서관이 존재하고 있었는데, 정치가 피시트라투스, 수학자 유클리드, 철학자 아리스토텔레스와 플라톤 등은 많은 장서를 가지고 있었으며, 이들의 보관과 이용을 위하여 도서관의 형태가 본격적으로 나타나기 시작했다고 볼 수 있습니다. 특히 프톨레마이오스 왕조의 비호 아래 이집트의 알렉산드리아에 건립된 알렉산드리아 도서관에는 최고로 번성하던 시절에 약 70여만 권의 장서가 있었으며 이는 고대 도서관 중 가장 큰 규모로 평가받고 있습니다. 이 무렵의 도서는 나일강 유역에 자라고 있는 파피루스 식물을 종이처럼 납작하게 다져서 만든 것이었는데, 특히 시인이며 문법학자인 칼리마쿠스는 오늘날 가장 오래된 목록으로 간주하는 피나케스 목록 기법을 만들어 사용하였습니다. 이것은 역사, 철학, 법률, 의학, 웅변술, 산문, 운문, 비극의 8문법으로 분류된 목록으로 그 후 서지를 작성하고 자료를 분류 및 조직하는데 근간이 됩니다. 소아시아의 페르가몬 도서관은 아타로스 1세 때 건립되었으며, 알렉산드리아 도서관에 필적하는 대규모의 도서관으로 잘 알리어져 있습니다. 소아시아 지방에는 파피루스가 생산되지 않는데다가 프톨레마이오스 왕조가 이집트의 파피루스 수출을 금지하였으므로, 양피로 된 도서를 만들어 보관하였다고 합니다. 양피지의 개발과 사용은 이전의 수피보다 품질이 좋고 색깔이 옅어 권자본 형식에서 책자형으로 전환을 가능하게 한 것이 특징적입니다.
로마 시대에는 특이한 도서관이란 거의 없었고, 제왕이나 귀족 사이에 신분의 상징으로서 도서의 수집이 이루어졌습니다. 하지만, 키케로는 도서관의 중요성을 인정하여 로마에 공공도서관을 건립하도록 제안하였다고 전해집니다. 로마에 실제로 공공도서관이 나타난 것은 아우구스투스 황제에 의해서였다는 것이 현재로서는 가장 타당한 추측입니다. 아우구스투스 황제는 로마의 파라틴과 옥타비아에 도서관을 설립하였고, 그 후의 제왕이나 총독들도 이를 본받았으므로 로마 제국의 판도에는 각지에 도서관이 세워지고, 시민들은 자유롭게 도서관을 이용할 수 있었습니다. 4세기에는 로마에만 28개의 공공도서관이 세워져 시민들이 활발하게 이용했다고 합니다, 이처럼 고대의 도서관은 정무나 종교적인 의식 등을 행하기 위한 기록 보관소적인 성격이 매우 강했고, 학자나 사제에 의해 관리가 이루어졌습니다. 그 후 게르만 민족의 대이동으로 중세 초기에 도서관이 거의 파괴되었으나, 다시 그리스도교 각파의 수도원이 여러 곳에 세워지면서 종교 서적이나 고전 등의 장서가 수집되었습니다. 중세 유럽의 도서관은 매우 엄격한 자료의 선택과 결합하여 폐쇄적으로 운영될 수밖에 없었습니다. 중세의 도서관은 도서관이라기보다는 수도 문고의 성격을 보이고 있었는데, 수도원에서의 복사 업무는 매우 중요한 의미를 가지고 있습니다. 복사를 통한 사본 사업으로 과거의 문화가 보존 및 전승되어 르네상스의 개화에 보탬이 되었으며, 수많은 고전을 오늘날까지 접할 수 있도록 전해온 도구가 되었기 때문입니다. 유럽 각지의 그리스도 교회에는 성직자 양성을 위하여 부속 학교가 만들어졌는데, 12세기 무렵부터는 이들 부속 하굑가 분화하여 소르본 대학이나 옥스퍼드 대학과 같이 교회에서 독립한 대학이 건립되었습니다. 이들 대학은 모두 학술 연구를 위한 도서관을 두고 문헌의 수집과 정리를 담당하였습니다. 학술과 고전 작품의 동서교류, 수도사들의 가두 진출, 대학의 발홍, 봉건제도의 퇴조 등은 개방적인 사회를 출현시켜 르네상스를 가져왔으며, 인쇄술의 발명, 신대륙의 발견, 합리주의와 과학 정신의 대두는 당연히 도서관에도 많은 영향을 끼치게 됩니다. 학식을 갖춘 서지학자나 도서관인들의 노력으로 도서관의 자료 수집 범위는 점차 확대되었고, 대규모 도서관의 설립도 지속적으로 이루어지게 됩니다.
18세기 무렵의 유럽의 많은 교회 도서관과 대학 도서관이 일반 시민들의 정보 요구에 부응하기 위하여 봉사를 제공하였으며, 왕실 도서관은 국가 도서관으로 발전하기 시작하였습니다. 대표적인 도서관으로 프랑스의 노데가 마자랭 도서관을 설립하여 최초로 일반 시민에게 공개하였으며, 독일의 계몽주의 대학자인 라이브니쯔는 하노버 도서관과 볼펜뷔텔 도서관을 유럽 최고의 도서관으로 발전시켰습니다. 그 외에도 영국의 보들리경은 옥스퍼드 대학 도서관을 설립하여 대학 도서관의 모범적인 사례로 발전시키는 등 도서관 운영 전반에 대학자들의 영향력이 크게 작용하였습니다.