严羽在提出“别材”说的同时，又提出了“别趣”说，这实际上提出诗歌的本质与义理是不是有关系的问题，这更是一个尖锐的问题。儒家的诗教是“发乎情，止乎礼义”（《毛诗序》），或者用白居易的话来说：“诗者，根情，苗言，华声，实义。”（《与元九书》）重要的是果实，所以情、言、声只是工具，最后的作为果实的“义”才是诗之根本所在，或者说诗只是政治谏书的感性的补充而已。宋代许多诗人更把这一点看得很重，宋诗最主要的代表苏轼虽然在创作思想上主张“天成”“平淡”等，但其诗就常常以议论时政入诗，后来酿成了著名的“乌台诗案”，就是一个有力的证明。在严羽看来，诗的特征不在与义理、时政的联系上，他提出“别趣”说，是说“诗有别趣，非关理也”。“义理”不能构成诗，诗的特征在于它要有“兴趣”。当然，如前所说，严羽在提出他的“别材”“别趣”说时也说：“然非多读书，多穷理，则不能极其至”。他是主张诗人要多读书、多穷理的，因为读书、穷理是诗人的必要修养。诗人若善于选取符合诗歌的特殊材料，再加上完全内化了的、变成了自己的血肉的知识，那么在诗人感性的艺术表现中就会有理性的升华，诗人的高翔的翅膀就能飞得更高，诗就能达到理想的境地。

那么作为诗的本质的“别趣”又是什么呢？严羽认为盛唐诗人之所以创作出那么优秀的诗篇，因为“盛唐诸人惟在兴趣”。严羽用一系列的微妙而模糊的禅家词语来说明“兴趣”：“羚羊挂角，无迹可求。故其妙处透彻玲珑，不可凑泊，如空中之音，相中之色，水中之月，镜中之象，言有尽而意无穷。”这些话大多只可意会，不可言传。“羚羊挂角，无迹可求”，据说，羚羊夜间将角挂在树枝上，身悬空中，即使有什么凶猛的野兽来，因寻找不到它的踪迹，而不能伤害它。《传灯录》卷十六引义存禅师语：“我若东道西道，汝则寻言逐句；我若羚羊挂角，你向什么处摸？”又卷十七引道膺禅师语：“如好猎狗，只能寻得有踪迹底，忽遇羚羊挂角，莫道迹，气亦不识。”严羽借此说明“兴趣”非墨迹文字可求的特征。“故其妙处”以下六句，也是借用禅家语来说明“兴趣”的可以目睹而不可求实的特征。“凑泊”就是聚会、凝聚、会合之义，“不可凑泊”也就是不可会合，因为“兴趣”像“空中之音，相中之色，水中之月，镜中之象”，都是可以看见，却不可实在的把握，所以是无法会合在一起的，你可以目睹它、意会它、感叹它，但你无法用确切的语言“落实”它、“确定”它、“砸死”它。总而言之，“兴趣”是“言有尽而意无穷”的一种诗的境界。这与司空图所引戴容州的话“诗家之景，如蓝田日暖，良玉生烟，可望而不可置于眉睫之前也”在意思上是一致的。这样我们也就可以了解严羽的思想：诗的本质特征是审美的，而不是知识的，所以他说诗“非关理”也。

如果我们将他的思想发挥一下，那么可以说，诗人的审美眼光，是不看他掌握的知识、义理有多少，而看他是不是在很平凡的事物里有自己的新鲜的“看法”或“想法”，例如，白居易16岁所写的《赋得古原草送别》，无论就全诗看，还是其中的“野火烧不尽，春风吹又生”的名句看，都比他在40岁左右时所写的《轻肥》《卖炭翁》等“新乐府”“秦中吟”系列更合乎诗的审美本质特征。因为前者有“兴趣”，言有尽而意无穷，而后者则有明确的理念，主要是关于“理”的，虽有形象，可那形象不但太实在，而且是作为“理”的附属品。

“别材”“别趣”说是严羽诗歌理论的核心，他就从这个基本的观念出发来讨论各种诗学问题。