我国法律对诈骗案件赃款退还的时间是没有作出规定的，一般情况下由犯罪嫌疑人主动退赔，如果不退赔的，公安机关查证确实属于被害人的，由公安机关退赔。
犯罪分子非法占有、处置被害人财产而使其遭受物质损失的，人民法院应当依法予以追缴或者责令退赔。法律依据：《中华人民共和国刑法》第六十四条
犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；
对被害人的合法财产，应当及时返还；
违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。
《最高人民法院关于刑事附带民事诉讼范围问题的规定》第五条
犯罪分子非法占有、处置被害人财产而使其遭受物质损失的，人民法院应当依法予以追缴或者责令退赔。被追缴、退赔的情况，人民法院可以作为量刑情节予以考虑。
