Normalmente, en la ortografía de nuestro idioma la alternancia de ce y zeta viene regulada por las vocales que aparecen a continuación. La zeta precede a las vocales a, o, u (como en zapato, zona y zumbido). En cambio, la ce se combina con e, i (por ejemplo, en cena y ciruela).
Sin embargo, unas cuantas palabras admiten excepcionalmente las secuencias ze, zi. Vamos a distinguir aquí dos grupos.
El primero lo forman las palabras que obligatoriamente se escriben con zeta. La primera y más evidente es el nombre de la letra zeta. Tiene su lógica que el nombre de una letra lleve dentro esa letra, pero esto no es algo que nuestra ortografía respete sistemáticamente. Por ejemplo, el nombre de la letra q se aparta de esta lógica, puesto que es cu. Las palabras de este primer grupo son normalmente cultismos, préstamos, onomatopeyas y nombres propios. Las principales son estas:
askenazí: es el nombre que reciben los judíos de Europa central y oriental (también son válidas las variantes askenazi, asquenazí y asquenazi);
Azerbaiyán: es una república de Asia central cuyos habitantes se llaman azerbayanos o también azeríes;
enzima: las enzimas son proteínas que catalizan reacciones bioquímicas (se salen un poco de mi campo, pero sí que puedo decirte que no hay que confundirlas con el adverbio encima);
Ezequiel: es un nombre de varón (fue un profeta de estos del Antiguo Testamento);
fanzine: es una revistilla casera publicada por aficionados a diversos temas (cuando yo era joven, las consumíamos con avidez; pero ahora internet les ha hecho mucho daño);
kamikaze: los kamikazes eran los temibles pilotos suicidas japones de la II Guerra Mundial (la Academia propuso escribir camicace, pero tuvo tan poco éxito que al final desistió);
nazi: seguidor del nazismo, o sea, el nacionalsocialismo (de abominable recuerdo);
Nueva Zelanda: simpático país en el que tuve el honor de enseñar español al principio de mi carrera como profesor (sus naturales son los neozelandeses);
pizzería: lugar adonde acudimos a que nos solucionen una cena rápidamente;
razia: es una incursión en territorio enemigo para hacerse con un botín (en francés se escribe razzia, pero al castellanizarlo se le quitó una zeta);
Suazilandia: país encajado entre Sudáfrica y Mozambique (para quien le interese, el gentilicio es suazi);
zen: lo que me permite corregir los trabajos de mis alumnos sin que me entren convulsiones;
Zenón: un filósofo de estos griegos (por más señas, el de la paradoja de Aquiles y la tortuga);
zepelín: globo dirigible que toma su nombre nada más y nada menos que de Ferdinand Adolf Heinrich August von Zeppelin, que tuvo el mérito de inventarlo (al pasar al español se le cayó una pe, pero se lo compensamos poniéndole tilde en la i);
zeugma: una figura retórica como cualquier otra;
Zeus: el padre de los dioses del Olimpo (¡ahí es nada!);
zigurat: pirámide escalonada de tiempos de los asirios y los caldeos (o, por lo menos, eso es lo que me cuentan);
zigzag: línea quebrada en ángulos que entran y salen (es voz onomatopéyica);
Zimbabue: país del sur de África cuyos ciudadanos son conocidos como zimbabuenses;
zipizape: onomatopeya que se utiliza para nombrar una pelea estrepitosa, pero que es conocida en España sobre todo gracias a los cómics de Zipi y Zape (no sé si la fama de los incorregibles gemelos ha llegado a otros países).
El segundo grupo lo forman las palabras que pueden escribirse con ce o con zeta. En todos estos casos se recomienda la ce, pero si te gusta más la grafía con zeta, no se considera falta ni mucho menos. Las más frecuentes son estas:
ácimo/ázimo: se dice del pan sin levadura, que se queda planito;
acimut/azimut: es un ángulo que tiene que ver con la orientación de las esferas (pero no me hagas mucho caso);
bencina/benzina: es otra forma de llamar a la gasolina;
cenit/zenit: es un concepto astronómico que no me atrevo a masacrar;
cigoto/zigoto: de ahí hemos salido todos (es la célula que surge cuando se unen la célula reproductora masculina y la femenina);
cinc/zinc: es un elemento químico muy importante para nuestro cuerpo;
cíngaro/zíngaro: es uno de los muchos nombres que se le han dado al pueblo gitano (esta denominación, concretamente, viene del italiano);
circonio/zirconio: es un elemento químico (también existen las palabras circón/zircón y circonita/zirconita);
eccema/eczema: es un fastidio cuando te sale (se trata de una afección de la piel);
magacín/magazín: los magacines son tanto revistas como programas de radio o televisión cuyo contenido es muy variado (generalmente, de entretenimiento).
¡Y ya está! Las listas anteriores no son exhaustivas. Simplemente he recogido las palabras que tienen más posibilidades de aparecer en un texto.