У иудеев существовал обряд отпущения грехов. К священнику доставляли двух козлов. Одного приносили в жертву, а на
другого надо было перенести все прегрешения еврейского народа за весь год. Для этого священник клал свои руки на голову животного - и грехи переходили к нему. Согласно первой версии, козлика выгоняли в пустыню. Ведь там жил демон грехов, и козел доставлял ему грехи обратно. По другой версии, козла еще и сбрасывали в пустыне со скалы. Отсюда и пошло это выражение.