被扣20%還要繳住民稅? - 日本

想請問
WH身分的打工 公司在發給薪資前就自動扣了20%的所得稅了
卻還是收到要繳交住民稅的通知 還有一個類似勞保的稅 跟著住民稅通知一起寄過來的
如果繳下去的話一個月打工原本有18~19萬
會被扣到剩下十萬初頭

會被扣20%代表被當成"非居住者"
都已經是非居住者了 還要繳住民稅合理嗎?
那個通知如果不去繳交會怎樣嗎?
是否有辦法去辦減免?
--