由此可见，楚望非难宋明理学的理由，是因为他把宋明理学看作是以心性为宗而执（佛之）心法，并遗弃外物（即民物经世、实事实践）的学说。这是因为楚望把“心”视为神明之宅，是具众理、应万事的活泼之体，从而也可以看作是道德世界的枢纽。而“心”又是虚位而不可见的存在，只有在具体的行事中才能存养，若专以宗心为旨，就会以心观心、捕风捉影、骑驴觅驴。这样的话，“心”反而会迷失方向、失去归宿，以致陷入佛氏的明心见性、清净寂灭、顽空无用之弊（参见《时习新知》卷4）。

原来，世儒所谓的心法并非孔、孟的特别心法。圣贤所说的养心、存心，其实并不一定指的是“法”。因而，虽以经世民物为旨，但如果以心、知、意等的工夫即心法为学之根本，自然难以摆脱离却下学而只求上达的佛老之弊。例如朱子之“格物”，因为以“致知”为入门，所以陷于佛氏空寂；阳明的“致良知”，因求“不起一念”，所以陷于捕风捉影；两者都是在发挥禅的意思，而为浮图树赤帜（参见同上书卷3、卷2、卷6）。张子的《正蒙》隐奥深刻；邵子的《皇极经世》穷高极远，然其《观物篇》则荒诞不经；而朱子所谓的“知识”只是小道而非民之急务。在楚望看来，上述三人中无论是谁，强调的都不是“下学”之工夫（参见同上书卷6）。

由此可见，主张下学即上达的楚望，进一步认为“事即心”、“行即知”，乃是理所当然的。这与阳明把心、知扩大到事、行，并把心、知等同于事、行的做法是背道而驰的。对于楚望来说，事、行是心、知的最精切处，所以学之重点在于实事实践。他认为，因为知是心之神明，因而性之德便是道德性的感知之本，即《大学》所谓的“明德”。然而因其体是虚的，所以若不依靠行的实地之功，就会变成佛、老二氏的虚知荒唐。所以他强调，圣人之教，即以行为知，不行不能知（参见《时习新知》卷1；《小山草堂集》卷8）；并且例举出《论语》的“知及仁守”、“力行学文”，《孟子》的“行著习察”等来加以论证；同时还引用《易》的说法作为自己的论据，强调指出：“离却日用常行，即无妙道。百姓日用而不知，不用而知者，天下鲜有矣。”（《时习新知·题辞》）所以他认为，孔子所谓“民可使由之，不可使知之”之教颇具远见（参见同上书卷6）。在他看来，如果无行之实而只是探念虑之微，或者求闻见之广，那就内有影响而无实，外则泛滥而无本，归根到底无非是揣摩恍惚。因此，他认为，朱子作为学之要的格致、阳明作为学之大本的“致良知”，都堕于此一窠臼（参见同上书卷4、卷8）。

楚望认为，《大学》的格致，是从“齐家”、“治国”、“平天下”，即人伦庶物之实事实践，而达到“明明德”（参见同上书卷4），所以《大学》提出“格物”，就是要把“致知”、“正心”、“诚意”的心地工夫作为必须做到的“明行之实（格物）”。

本来，内之善意虽难包括外之善行，但外之善行却能包括内之善意。就是说，即使心正意诚，也未必有善行；但是在实地行善时，却必心正意诚。所以在楚望看来，行包括心、意，而心、意却不一定包括行（参见同上书卷6）。

楚望于是否定“虚”而提倡“实”，并且以“道”代替宋儒所说的“理”，指出：“理者，里也，即一事一物之里；道者，蹈也，即天下古今所由之路。理隐而道显，理虚而道实，故圣人言道不言理。道达天下，理行其中矣。”（《小山草堂集》卷6）从这一立场出发，他还认为，以穷理为格物的朱子之说，归根到底是就理之隐微而穷理，不但分理事、知行为二，而且主张知先行后，以致分裂了意、诚与知的关系。而企图矫正这种支离之偏的阳明的“致良知”说，则主张以知为宗，以至于偏枯而无实（参见《时习新知》卷2、卷4、卷8）。他还认为，阳明虽救穷理之弊，却矫枉过正，结果是逃墨反归于杨（参见《明儒学案》卷55，《诸儒学案下三·四书摄提》）。所以楚望强调：“圣贤倡学习温故而不言良心，倡博约文行而不言知先行后，已而倡先行而后知。”（《时习新知》卷6）

楚望认为，《论语》一开头就说“学而时习之，不亦说乎”，而举“学习”为开卷第一义，这是圣人教人以行为先。孟子所谓“行而不著，习而不察”，也是以行为先而教人（同上）。然先儒之经解，则分知行为二，因其主张先知而后行，故离圣人之教旨甚远（参见《小山草堂集》卷8）。所以在他看来，“先知后行”论归根到底是捕风捉影、空谈无实之论（参见《明儒学案》卷55，《诸儒学案下三·四书摄提》），故而理所当然地要对此进行批判（参见《小山草堂集》卷8）。他还认为，可以通过实行上的学习而获得心、知之呈现，于是进一步提出“时习新知”和“温故知新”论，以阐释自己的“先行后知”说（参见《时习新知》卷6）。在这里，正好显示了楚望的学问本领，这只要从他把自己的语录题名为“时习新知”中，就能窥知一斑。从上述立场出发，他还进一步认为，朱子之学因拘于穷理而落于闻见，最后导致荒废本源的结果；而阳明之“致良知”，则因流为空虚，最后导致排斥温习之功的结果；两者之弊端，实无二致（同上）。