Les plus anciennes traces de caractères chinois ont été retrouvées sur un os, en 1899, datant de la dynastie des Shang (entre -1200 et –1050)
Les kanjis sont d'origine chinoise, ce sont des sinogrammes. Ils sont apparus en Chine plusieurs millénaires avant JC. L'époque précise de l'apparation des premiers sinogrammes chez les chinois n'est pas vraiment connue. Certaines légendes chinoises indiqueraient 2650 avant JC tandis que des archéologues ont fait des découvertes attestant de l'existence des sinogrammes entre 1200 et 1050 av. JC. Le système d'écriture chinois est en tous cas vieux de plusieurs millénaires.
C'est bien plus tard que les premiers sinogrammes firent leur apparation dans l'écriture japonaise. Aux alentours du Ve siècle (après JC) le japon n'avait toujours pas de système d'écriture et le japonais était une langue uniquement orale. Les japonais ont à cette époque peu à peu appris à utiliser les sinogrammes qui étaient surtout utilisés par la voie diplomatique entre Chine et Japon et uniquement utilisés pour écrire des mots chinois.
Les japonais ont alors pris pour base de leur écriture les sinogrammes en adaptant leur prononciation à la langue japonaise. Certains sinogrammes sont alors même utilisés plus pour leur son que pour leur signification : c'est ainsi que sont nés les kanas, les sons de base du japonais. Les kanas sont dérivés de sinogrammes et beaucoup plus simples à écrire que la majorité des autres caractères. Ce système d'écriture est même accessible aux femmes qui à l'époque n'avaient pas le droit à une grande éducation.
Les kanjis ont ensuite été adaptés aux besoins de la langue japonaise, de façon à rendre de plus en plus simple leur apprentissage. La liste des kanjis à connaître à la fin de la scolarité obligatoire au Japon a subit de nombreuses de modifications jusqu'à encore récemment. En effet, en 1981 est publié une liste de 1945 kanjis usuels à connaître pour pouvoir lire 95% du japonais (les jouyou kanjis, 常用漢字). Le 30 novembre 2010 le gouvernement japonais mais à jour cette liste afin d'y intégrer 196 nouveaux kanjis tandis que 5 kanjis dans le même temps sont retirés de cette liste. La nouvelle liste compte donc au total 2 136 kanjis.
