En la teoría de grupos, un grupo nilpotente es un grupo que es "casi" abeliano. De forma más precisa, siempre existe un natural n tal que, aplicando la operación commutación, [x₁,x₂,...,x_n ] = [...[x₁,x₂],...,],x_n] a cualesquiera elementos x₁,x₂,...,x_n del grupo, siempre obtenemos la identidad. Los grupos nilpotentes son utilizados en la teoría de Galois, así como en la clasificación de grupos finitos. Aparecen también en la clasificación de grupos de Lie.

Comenzaremos definiendo las series centrales descendentes de un grupo G. Dados dos subconjuntos A y B de G, se define el conmutador [A,B] como el subgrupo de G generado por todos los [x,y] con x en A e y en B, entonces la serie central descendente es A₀= G, A₁ = [G,G], A₂ =[ A₁,G] y en general A_i+1 = [A_i, G]. Es claro que A₁ = [G,G] = G¹, es el conmutador de G.

Si G es abeliano, entonces [G,G] = {e}, el subgrupo trivial. Extendiendo esta idea se dirá que un grupo G es un grupo nilpotente si existe un número natural n tal que A_n es trivial. Si n es el número natural más pequeño para el cual A_n es trivial, diremos que G es nilpotente de clase n. El subgrupo trivial es de clase 0, todo grupo abeliano, excepto el trivial, es de clase 1. Los grupos nilpotentes de clase 2 son también llamados grupos metabelianos.

Como justificación del término "nilpotente" observemos la siguiente propiedad de los elementos de un grupo G nilpotente: sea g en G y definimos la función f : G → G dada por f(x) = [x,g]. Entonces esta función es nilpotente en el sentido que existe una número natural n tal que fⁿ, la n-ésima iteración de f, envía cada elemento x de G al elemento identidad.

Una definición equivalente viene dada por las series centrales ascendentes de G, las cuales son una sucesión de grupos Z₀= {e}, Z₁, Z₂, ..., Z_i, ..., definidos por:

${\displaystyle Z_{i+1}=\{x\in G|\forall y\in G:[x,y]\in Z_{i}\))$

En este caso, Z₁ es el centro de G, y en general el grupo cociente Z_i+1/Z_i es el centro de G/Z_i. Si G es un grupo abeliano entonces es claro que Z₁ es G. Con estas definiciones un grupo es llamado nilpotente de clase n si Z_n = G y n es mínimo con esta propiedad.

Ambas definiciones de grupo nilpotente son equivalentes. Más aún, la serie central descendente alcanza el grupo trivial en n pasos si y sólo si la serie central ascendente alcanza G en n pasos.

Como fue dicho más arriba un grupo abeliano es nilpotente.

Consideremos el grupo cuaterniónico Q₈. Su centro es {1, −1} y su serie central descendente es {1}, {1, −1}, Q₈. Por lo tanto es nilpotente de clase 2.

El grupo de Heisenberg es otro ejemplo de grupo nilpotente no abeliano.

Dado que cada cociente Z_i+1/Z_i es abeliano y que la serie es finita, todo grupo nilpotente es un grupo soluble con una estructura relativamente simple (al menos en el caso de grupos finitos).

Todo subgrupo de un grupo nilpotente de clase n es nilpotente de clase m com m menor o igual a n. Más aún, si f es un morfismo cuyo dominio es un grupo nilpotente de clase n, entonces la imagen de f es nilpotente de clase a lo sumo n.

Las siguientes afirmaciones son equivalentes para grupos finitos:

• G es un grupo nilpotente.
• Si H es un subgrupo propio de G, entonces H es un subgrupo normal propio de N(H) (el normalizador de H en G).
• Todo subgrupo maximal propio de G es normal.
• G es el producto directo de sus subgrupos de Sylow.

La última afirmación tiene un correlato en el caso de grupos que no son finitos: si G es un grupo nilpotente, entonces todo subgrupo de Sylow G_p de G es normal y la suma directa de estos subgrupos de Sylow es el subgrupo de todos los elementos de orden finito en G (ver subgrupo de torsión).