Не надо ничего вырезать! Надо сделать полку жесткой и герметичной. и дырка 10" впринципе пойдет, если нет желания резать, хотя установить саб заподлицо с полкой на мой взгляд было бы красивее.
В таком случае, если нельзя резать железо полки можно поставить динамик в фанерную полку из салона (пусть на подиум красивый), а ящик закрепить снизу полки и загерметезировать хорошо стыковку отверстия в полке с отверстием в ящике, чтобы давление от динамика попадало в ящик а не в багажник. Если расстояние между ящиком и отверстием в фанерной полке совсем небольшое, то можео этот стыковочный рукав даже из шумки слепить, чтобы не говнякать машину всякими макрофлексами. Пру слоев хорошо прогретых и плотно прилепленых нормально справятся с такой задачей. Можно подобрать подходящего диаметра (под эту дырку в полке) гофрированую трубу алюминиевую (вентиляционный короб) и соединить этой трубой фланей, на котором будет стоять динамик с отверстием в ящике. Трубу усилить так же шумкой самой жесткой, а к ящику и к фланцу на полке на шурупики и шпаклевку приделать.
Но все же лучшим вариантом будет расширить отверстие посередине полки и этот рукав между динамиком и ящиком, виящим в багажнике, сделать из фанерных колец. Так будет прочнее, надежнее, и гемора на самом деле намного меньше будет.