Quando os objetos são rotacionados, surge a necessidade de recalcular o AABB (Axis Aligned Bounding Box — Retângulo Delimitador Alinhado aos Eixos). Logo vem a ideia simples — pegar 8 vértices e rotacioná-los. Mas, nesse caso, obtemos um método bastante caro. Precisaremos calcular as coordenadas dos próprios vértices e as coordenadas após a transformação, e só depois encontrar o valor mínimo e o máximo. A solução mais otimizada:
function transformAABB(bbox, matrix)
{
	var min_x = matrix.axisX * bbox.min.x;
	var max_x = matrix.axisX * bbox.max.x;

	var min_y = matrix.axisY * bbox.min.y;
	var max_y = matrix.axisY * bbox.max.y;

	var min_z = matrix.axisZ * bbox.min.z;
	var max_z = matrix.axisZ * bbox.max.z;

	var pos = matrix.getPosition();

	return [
		vec3.min(min_x, max_x) + vec3.min(min_y, max_y) + vec3.min(min_z, max_z) + pos,
		vec3.max(min_x, max_x) + vec3.max(min_y, max_y) + vec3.max(min_z, max_z) + pos
	];
}
Claro, existem outros métodos para calcular rapidamente o AABB após a transformação de um objeto, mas este método acabou sendo um dos mais rápidos e simples.