解:(1)根据题意得AN=AM-MN=6-x,
∵四边形DEFG是矩形,
∴DG∥BC,
∴△ADG∽△ABC,
∴DG:BC=AN:AM,即y:12=(x-6):6,
∴y=2x-12(0<x<6);
(2)∵当DG=GF时,四边形DEFG是正方形,
∴y=x,即2x-12=x,
∴x=4,
∴y=4,
∵△ADG∽△ABC,
∴S△ADG:S△ABC=DG2:BC2=16:144=1:9.
分析:(1)先用x表示AN=6-x,易得△ADG∽△ABC,则DG:BC=AN:AM,于是可得到y=2x-12(0<x<6);
(2)由于四边形DEFG是矩形,则当DG=GF时,四边形DEFG是正方形,所以y=x,即2x-12=x,可解得x=y=4,然后根据三角形相似的性质得到S△ADG:S△ABC=DG2:BC2=16:144=1:9.
点评:本题考查了相似三角形的判定与性质:平行于三角形一边的直线与其他两边所截的三角形与原三角形相似;相似三角形对应边的比等于相等,都等于相似比;相似三角形面积的比等于相似比的平方.也考查了矩形的性质以及正方形的判定方法.