Les kanjis sont d'origine chinoises, ce sont des sinogrammes. Ils sont apparus en Chine plusieurs millénaires avant JC. L'époque précise de l'apparation des premiers sinogrammes chez les chinois n'est pas vraiment connue. Certaines légendes chinoises indiqueraient 2650 avant JC tandis que des archéologues ont fait des découvertes attestant de l'existence des sinogrammes entre 1200 et 1050 av. JC. Le système d'écriture chinois est en tous cas vieux de plusieurs millénaires.

C'est bien plus tard que les premiers sinogrammes firent leur apparations dans l'écriture japonaise.. Aux alentours de V siècle (après JC) le japon n'avait toujours pas de système d'écriture et le japonais était une langue uniquement oral. Les japonais ont à cette époque peu à peu appris à utiliser les sinogrammes qui étaient surtout utilisé par la voie diplomatique entre Chine et Japon et uniquement utilisés pour écrire des mots chinois.

Les japonais ont alors pris pour base de leur écritures les sinogrammes en adaptant leur prononciation à la langue japonaise. Certains sinogrammes sont alors même utilisés plus pour leur son que pour leur signification : c'est ainsi que sont nés les kanas, les sons de base du japonais. Les kanas sont dérivés de sinogrammes et beaucoup plus simple à écrire que la majorité des autres caractères. Ce système d'écriture est même accessible aux femmes qui a l'époque n'avait pas le droit à une grande éducation.

Les kanjis ont ensuite été adapté aux besoins de la langue japonaise, de façon à rendre de plus en plus simple leur apprentissage. La liste des kanjis à connaître à la fin de la scolarité obligatoire au Japon à subit de nombreuses de modifications jusqu'au XXe siècle. En 1981 est publié une liste de 1945 kanjis usuels à connaître pour pouvoir lire 95% du japonais (les jouyou kanjis, 常用漢字) .