Criar arquivo (category.php) para exibir as categorias no WordPress

O arquivo category.php é usado para exibir uma categoria de posts do wordpress, os posts são exibidos em forma de loop.

Você também pode usar o arquivo archive.php que tambem funciona da mesma maneira, pois o wordpress vai procurar pelo arquivo category.php primeiramente, caso ele não ache o arquivo ele vai usar o arquivo archive.php

Você pode usar ambos (category.php ou archive.php), veja mais sobre a hierarquia desses arquivos no site do Codex do WordPress neste link: https://developer.wordpress.org/themes/basics/template-hierarchy/

Para exibir as categorias do seu site WordPress, crie um arquivo chamado category.php (ou archive.php) e cole o seguinte código básico:

<?php wp_head(); ?>

<h1><?php single_cat_title() ?></h1><!-- Nome da categoria -->
<div>
  <?php the_archive_description() ?><!-- Descrição da categoria -->
</div>


<?php if (have_posts()) {
while (have_posts()) { the_post(); ?><!-- Loop de posts -->
  <div>
    <div>
      <a href="<?php the_permalink() ?>"><!-- Link permanete -->
        <?php the_post_thumbnail() ?><!-- Imagem em destaque -->
      </a>
    </div>
    <div>
        <h3><?php the_title() ?></h3><!-- Titulo do post -->
        <p><?= get_the_excerpt() ?> ...</p><!-- Descrição resumida do post -->
    </div>
  </div>
<?php } } ?>

<?php wp_footer(); ?>

BONUS

Veja também como você pode adicionar paginação em:
Adicionar paginação no WordPress