[問題] django celery問題

作者: BlgAtlfans (BLG_Eric)   2016-10-27 15:37:47
各位大大好
最近在用celery處理
csv,xlsx檔案寫入postgresql的功能
但是有一些問題想請教
P.S下面的程式碼沒加入celery時都可以正常執行(大檔案例外)
1. csv檔寫入時celery debug有以下錯誤
http://imgur.com/8Fg3dmJ
http://imgur.com/DSpZU1s
附上task.py程式碼
# -*- coding: utf-8 -*-
from django.shortcuts import render_to_response
from django.template import RequestContext
from django.http import HttpResponseRedirect
from django.core.urlresolvers import reverse
from django.contrib import messages
from django.conf import settings
from django.db import connection
from django.views.decorators.csrf import csrf_exempt
from celery import Celery
from celery import task
import json
import csv
import sys
import random
import psycopg2
import xlrd
import openpyxl as pyxl
from .models import Document
from .forms import DocumentForm
app = Celery(
'tasks',
broker='amqp://guest:[email protected]/*
作者: kenduest (小州)   2016-10-27 16:12:00
好像是被作業系統 kernel 踢出去了?比方吃太多記憶體等,被 linux OOM killer 處理掉
作者: BlgAtlfans (BLG_Eric)   2016-10-27 16:52:00
那應該要怎麼樣處理
作者: kenduest (小州)   2016-10-27 18:33:00
你先獨立把那個處理task寫成獨立檔案單獨終端跑看看後續用 free 與 top 看一下記憶體使用情況或許是實際那個 server 本來記憶體就不多所以就爆掉了題外話你的程式碼貼這邊很亂很難看清楚另外建議請用 4 個空白代替 tab, 建議這樣在 python 上
作者: uranusjr (←這人是超級笨蛋)   2016-10-27 20:24:00
先試試看 DEBUG = False, 這兩個記憶體用量差很多第一個問題要看你 doc 到底是什麼
作者: BlgAtlfans (BLG_Eric)   2016-10-27 21:26:00
感謝各位回答 我的doc是個django的model內容是上傳檔案的一些資料像是tablename path id...之類的這裡主要是用來傳遞tablename來做為建table的依據多問一個 一般來說寫入一個13萬行的資料需要很多記憶體嗎?
繼續閱讀

Links booklink

Contact Us: admin [ a t ] ucptt.com