L’iconografia lo rappresenta in vari modi: le rappresentazioni più antiche lo raffigurano come apostolo, con la tunica, i piedi scalzi e con in mano il libro, o il rotolo, che simboleggia la missione apostolica. Talvolta può esservi anche la spada della decapitazione.
Come pellegrino, indossa mantello e bordone, un cappello ad ampie falde per proteggersi dal sole, e reca con sé una borraccia o una zucca per l’acqua e una bisaccia per le provviste. Ma il suo attributo principale, come pellegrino, è la conchiglia, simbolo stesso del pellegrinaggio a Santiago di Compostela. Veniva usata per raccogliere le offerte e i pellegrini l’appuntavano sulla veste per attestare di essere stati a Santiago. Gli oggetti utili al pellegrinaggio hanno anche un significato simbolico: il bordone rappresenta la fede su cui appoggiarsi o, unito alle gambe del pellegrino, la Trinità, mentre la bisaccia, che dovrà essere sempre aperta, per dare e ricevere, fa riferimento ai principi di servizio e carità cristiani, indispensabili per un viaggio così lungo e difficile.
Come cavaliere, celeste patrono della Reconquista delle terre ispaniche occupate dagli arabi, paladino delle truppe cristiane, Giacomo è rappresentato a cavallo, con vessillo bianco e crociato, armato di spada, con ai suoi piedi le teste mozzate dei mori. In questa veste iconografica l’apostolo appare come il miles Christi, il defensor fidei, il matamoros, il santo militare degli spagnoli.