主要是因为他在与唐太宗下棋的过程中，表现出了对皇帝的不尊重。在棋局中，唐俭坚持认为自己的位置是正确的，这引起了唐太宗的不满。此外，唐俭还试图与皇帝一较高低，这种行为更是触动了唐太宗的逆鳞。因此，唐太宗非常生气，并最终下旨将唐俭贬为潭州的地方官。