組織に直接割り当てられているIPならJPNICのwhoisでどこの組織かわかりますが、プロバイダ保有のIPは全国バルクブロックで割当を受けているのでそれを国内のどこで使うかはプロバイダ次第です。
プロバイダによっては（OCNなど）逆引きホスト名に地域を判別できる文字列を入れていることがありますのでこれである程度わかりますが、ホスト名に地域名を入れていないプロバイダ（YBBなど）ではわかりません。
その場合、tracerouteなどをかけてみると、中継ルータのホスト名もわかる場合がありますので、それでどこを中継しているかでおおむね都道府県をつかむこともできる場合がありますが、まれです。

また、ネットワーク関係のサービスを行っている会社が、仕事柄持っている情報で参考URLのようなサービスをしています。ここにipアドレスかホスト名を入れると、情報を公開していたりホスト名命名規則のある一部プロバイダなら都道府県レベルまではわかることが多いです。

諸情報を公開していないプロバイダでは、基本的にわかりません。
もちろん、犯罪などの場合に捜査するぶんには調べられますが。
http://www2.arearesearch.co.jp/ip_kensaku.html