В летописях Иркутских Немцов описывается так: он был человек неблагонамеренный, употреблявший непомерную строгость собственно для того только, чтобы брать вляток и нажить более денег, с подчинёнными служащами обходился неблаговидно, и определял к должностям не иначе, как взяв значительные подарки. У него был любимец-фаворит, правитель его канцелярии, Михайло Мих. Дукучаев, который во всём управлении был его первый помощник и советник в делах и не менее его приобретал взяточничеством. В другом сказании записано следующее: что Немцов употреблял разные жестокости для своего корыстолюбия. Многих своих подчинённых бил своими руками. Как-то Евстафия Бурцова приказал привязать к столбу за что-то и долго держал на этой привязи, дабы навести страх на других. Ко многим из горожан за что бы то ни было делал прицепки и тем насыщал свою алчность. Ходил в некоторые дни по городу пешком, с нужным числом полицейских служителей, для того, что ранее приказал жителям строить около домов своих мостики (тротуары), а где их не было построено, вызывал хозяина и перед его же домом наказывал чем попало. Из такой же записи известно, что Немцов якобы имел знакомство с известным тогда разбойником Гондюхиным. Чтобы сделать отклонение в подозрении этого знакомства, Немцов приготовил разные съестные припасы, взял с собой несколько бочёнок разного вина, пригласил с собой несколько лиц граждан и чиновников, отправился с ними погулять в Барабановские острова. Приплыли, расположились станом и вдруг слышат ружейные выстрелы, гости испугались и тотчас являются разбойники. Посетители бегут с острова, едва переводя дух, а между тем всё привезённое достаётся в руки хищников. Далее рассказывает бытописатель, что один из тогдашних разбойников, тот ли Гондюхин, или другой, называемый атаманом, в зимнее время тайно проживал в Иркутске, в доме купца Р…, Немцов, под предлогом посещения хозяина дома, посещал жившего у него разбойника и подолгу беседовал с ним. Немцовым была учреждена в городе какая-то глухая команда, которая разъезжала по городу дозором, и вместо охранения делала разные буйства и грабежи. Вообще, этот губернатор оставил по себе самую дурную память. Он даже тайно уехал из Иркутска. Вслед его посылали многие жалобы из Иркутска. Правление его продолжалось до 1-го февраля 1779 г.^[a] — 2 года и 11 мес^[6].