Teori sistem dinamik adalah bidang matematika terapan yang digunakan untuk memerikan kelakuan sistem dinamik kompleks, biasanya dengan menggunakan persamaan diferensial ataupun persamaan beda. Bila digunakan persamaan diferensial, teori tersebut dinamakan sistem dinamik kontinu. Bila digunakan persamaan beda, teori tersebut dinamakan sistem dinamik diskret. Bila variabel waktu berjalan dalam himpunan yang diskret pada beberapa selang dan kontinu pada selang lain, atau himpunan-waktu lain seperti himpunan Cantor, maka kita mendapatkan persamaan dinamik pada skala waktu. Beberapa keadaan juga mungkin dimodelkan oleh operator campuran seperti persamaan diferensial-beda.

Teori ini membahas kelakuan kualitatif jangka panjang sistem dinamik, dan studi pemecahan persamaan gerak dari sistem yang terutama bersifat mekanis di alam. Ini termasuk orbit planet, kelakuan rangkaian elektronik, dan pemecahan terhadap persamaan diferensial parsial yang muncul dalam biologi. Kebanyakan penelitian modern memusatkan perhatian kepada studi sistem khaos

Bidang studi ini juga dinamakan sistem dinamik atau teori sistem saja, atau juga dengan nama yang lebih panjang: teori sistem dinamik matematika dan teori matematika sistem dinamik.