分析:(1)利用函数是奇函数,建立方程关系解a,b.(2)利用定义法证明函数的单调性.
(3)利用函数的奇偶性将不等式转化为f(mx2+x-3)>-f(x2-mx+3m)=f(-x2+mx-3m),然后利用单调性解不等式.
解答:解:(1)∵
f(x)=是R上的奇函数,f(0)=0,
即
=0,解得a=1.
∴
f(x)=,
又f(-1)=-f(1),
∴
=-,∴b=2,经检验符合题意.
∴a=1,b=2.
(2)由(1)可知
f(x)==-+,
设x
1<x
2,
f(x1)-f(x2)=,
∵y=2
x在R单调递增,∴
2x2>2x1>0,
∴f(x
1)>f(x
2),
即f(x)在(-∞,+∞)上为减函数.
(3)∵f(x)在(-∞,+∞)上为减函数,且为奇函数,
∴原不等式等价为f(mx
2+x-3)>-f(x
2-mx+3m)=f(-x
2+mx-3m),
∴(m+1)x
2+(1-m)x+3(m-1)<0
①m=-1时,不等式2x-6<0,即x<3,不符合题意.
②m≠-1时,要使不等式恒成立,则
,解得
m<-.
综上,
m<-.
点评:本题主要考查函数奇偶性的应用,利用定义法证明函数的单调性,以及函数单调性和奇偶性的综合应用,利用函数的奇偶性将不等式进行转化是解决本题的关键.