El primer caso registrado de un papel de lija ocurrió en la China del siglo 13, cuando conchas trituradas, semillas, y arena se pegaron a un pergamino con goma natural.
La piel de tiburón también fue utilizado como un papel de lija. Las escamas ásperas del fósil viviente celcanto son utilizados por los nativos de las Islas Comoras como papel de lija.
Hervido y secado, el pelo de la cola de caballo toma una textura áspera, que se utiliza en Japón como un material de pulido tradicional, más fino que el papel de lija.
El papel de lija fue originalmente conocido como papel de vidrio, ya que utiliza partículas de vidrio; una variedad de éste tipo fue fabricado por la compañía de John Oakey en Londres por el año 1833, cuya compañía había desarrollado nuevas técnicas y procesos adhesivos, lo que le permitió la producción en masa.
Sin embargo la patente en Estados Unidos la obtuvo Isaac Fischer, el 14 de junio de 1834.