Однажды в 1890 году, отмечая с коллегами получение звания доктора уголовного права в Харьковском университете, Анатолий Федорович, что называется, хватил лишнего. Посчитав, что находится в зале суда, он попытался влезть на стол и, как это обычно бывало, произнести речь. Но речь не удалась: стол опрокинулся, посуда побилась вся, и Кони, поднимаясь с пола и стряхивая с рубахи остатки соуса шандоне, сообразил-таки, что изрядно напился, и что благоразумнее будет по быстрому удалиться. Так он и поступил - уполз на четвереньках куда-то, только его и видели. Наутро, когда все проснулись и поправились, спохватились: где Анатолий Федорович? Ищут, ищут, а его все нет. Вдруг слышат храп из амбара, где фрукты хранятся. Все бегом туда. Открывают дверь, а там, на куче яблок, мирно посапывает светило российской юриспруденции. И лицо у него счастливое. Молчат коллеги, не знают чего сказать; лишь старенький профессор Казанцев задумчиво поправил очки и негромко сказал: "Кони в яблоках..."

Так возникло знаменитое выражение, а потом и песня...