A Bíblia usa a palavra "pastor"seja em sentido literal que em sentido figurativo, que penso seja o objeto da sua pergunta. Já Homero em Ilíades designava o rei e os governantes como pastores. Hoje costumamos designar os líderes das nossas comunidades como pastores, não só nas igrejas evangélicas, mas também na igreja católica.

Na Bíblia a atividade do pastor é fundamental para a sobrevivência das pessoas. O primeiro pastor, em sentido literal, é Abel (Gênesis 4,2). Naquele ambiente árido, o pastor tinha que encontrar capim e água (Salmos 23,2), proteger o rebanho das feras e recuperar a ovelha perdida (Ezequiel 34,8; Mateus 18,12). Se o pastor não obedecia ao seu compromisso tinha que pagar do próprio bolso cada ovelha perdida (Gênesis 31,39). Desse sentido material nasce a metáfora: o pastor é a pessoa encarregada de exercer um papel de guia em relação a súditos, as ovelhas.

No Antigo Testamento, muitas vezes, Deus é chamado de "Pastor de Israel"(Gênesis 49,24; Salmos 23,1; 80,1). Ele era cuidadoso (Isaías 40,11), mas também capaz de ficar irado e dispersar o próprio rebanho, para em seguida reuni-lo, depois do perdão (Geremias 31,10). Também são designados pastores Moisés (Isaías 63,11) e Ciro, pagão que executa os projetos de Deus (Isaías 44,28).
Um dos textos mais críticos em relação aos pastores é Ezequiel 34. O profeta se dirige àqueles pastores que procuram o próprio bem, invés daquele das ovelhas: por causa da ganância, acabam matando as ovelhar e abandonam a própria missão de pastor. Deus, porém, reunirá novamente as ovelhar dispersas e punirá os maus pastores. Então Ele fará vir um pastor (Ezequiel 34,23). Essa promessa, em João 10, Jesus diz que se realiza nele. Por isso, no Novo Testamento, o pastor por exelência é Jesus (Hebreus 13,20; 1Pedro 2,25).

Portanto, vemos que é difícil indicar um livro que fale da responsabilidade do pastor. Trata-se de um tema teológico-pastoral presente em toda a Bíblia. De qualquer forma sugiro a leitura de Ezequiel 34 e do Evangelho de João, capítulo 10.