總督府在日治初期改隸紛亂「乙未之役」結束後，於1896(明治29)年四月開始實施民政，警察機關採用「(縣)知事—支廳長—警察署長」三級制度。當時官署改廢頻仍，1897(明治30)年，將一般行政事務與警察分離，改歸新設的辨務署管理。但在「軍憲警三段警備制」下，專責警務的警察署負責的區域只為平靜地帶，對治安的維持仍居軍憲之輔助地位。

1898(明治31)年，兒玉源太郎總督與民政長官後籐新平，鑑於當時六縣三廳、辨務署警察署並置的官制冗員過多，遂行改革，將警察署與撫墾署併入辨務署，使辨務署成為單一的基層行政機構。辨務署長名義上擁有警察權，其下的第二課長以警察官充任，僅具有輔助性質，但實際執行面上，握有警察實權的，仍是第二課課長，致使其與辨務署長以及第一課課長常生杆格。

1901(明治34)年，在廢縣置廳的地方行政改革下，各廳設警務課，以警部任課長；支廳廳長則悉數由警部充任，屬下的官吏，也大多為警察，至此警察再度兼管警務與地方一般行政工作，警部同時監督指揮基層派出所和街庄役場(鄉鎮公所)，警察成為地方行政與治安的中心。

1920年，地方制度改革，廢廳置州，全臺改為五州二廳，州下置郡、市。州設警務部，內分高等警察、警務、保安、衛生、理蕃等課，以警視、技師或警部充任課長。郡設郡守，兼掌警察權，其下設警察課，內分警務、保安、司法、衛生、高等警察、理蕃等係，配有警視、警部、警部補、巡查等，由郡守指揮監督，無管轄「蕃地」者不設理蕃係；另設有消防組。市設市尹，負責一般行政事務，另設警察署，負責警察事務，其下設警察分署，署下及街、庄置警察官吏派出所。花蓮港、臺東二廳則以其情況特殊，仍沿用舊制。至於總督府，則縮小警務局長的權限，規定必須依總督和總務長官之命令以執行警察事務，並指揮、監督廳長、州警務部長及警視以下的警察人員。此一改革乃是將一般行政事務與警察事務分開，並將警察機關的直接指揮權移到州知事、廳長手中。然而，由於可以指揮、監督街庄的郡守兼有警察權，加以警察權力的強大和保甲制度的嚴密，因此，警察仍強力且全面地干涉一般行政事物。