เราใช้คุ๊กกี้บนเว็บไซต์ของเรา กรุณาอ่านและยอมรับ นโยบายความเป็นส่วนตัว เพื่อใช้บริการเว็บไซต์ ไม่ยอมรับ
From Cern(เจิ้น) to CernYanisa Sunthornyotin
Day25: ยูนิคอร์นตามล่าหาแอร์
  • 27 มิถุนายน

    ไม่น่าเชื่อว่าเราจะมีวันนี้...
    วันที่เราจะมาเดินตามหาแอร์ในCERN

    ห้องสมุดตอนนี้ได้กลายเป็นโอเอซิสของSummer studentและหลายๆคนในCERNไปแล้วค่ะ เพราะเป็นหนึ่งในไม่กี่ที่ที่มีแอร์ บางออฟฟิส(ส่วนใหญ่)ก็ไม่มีแอร์นะคะ ตอนเช้ายังพอไปแย่งชิงที่นั่งได้ทัน แต่ตอนบ่ายนี่คือแน่นมากค่ะ ถึงขั้นบางคนต้องวางของจองที่เอาไว้เลย

    เปิดดูพยากรณ์อากาศของวันนี้ไป โอ้ว 36องศา
    แทบจะไม่อยากเดินตากแดดไปออฟฟิสเลยค่ะ มานั่งหมกตัวอยู่ห้องสมุดดีกว่า\\ถ้ามีที่นะ

    ส่วนงานของวันนี้ มาต่อกันที่ส่งAlertไปที่อีเมลกันต่อ 
    หลังจากประกาศLambda functionไปแล้วลองเรียกNotifierที่Initใส่configเรียบร้อยดู รันไปซักพักStreamก็เด้งค่ะ ทีนี้เลยไปส่องขอดูว่าในระหว่างProcessมันเกิดอะไรขึ้นกันแน่(หลายครั้งเจอแบบนี้ Streamเด้งแล้วต้องไปนั่งส่องเอาเอง ไม่งั้นไม่รู้Errorเพราะมันจะไม่เด้งErrorอะไรออกมาข้างนอกเลย)

    ปรากฏว่าอย่างที่สันนิษฐานไว้ เป็นเพราะว่าไปเรียกภายในlambdaซึ่งจะProcessในClusterไม่ใช่Python notebook เราต้องshop fileเข้าclusterก่อนโดยการเรียก sc.addPyFile() ถึงจะเรียกได้ แลเวก็ต้องไปเปลี่ยนตัวชื่อSourceของconfigด้วยนิดหน่อย
    ลองให้มันส่งไปที่เมลเราดู

    โอ้ว แล้วเราก็ได้พบกับ Attack of emailไหลเข้ามารัวๆเลย มีความหลอนเกิดขึ้นนิดหน่อยด้วยตรงที่แม้จะปิดStreamingไปแล้ว. แต่เมลยังเข้ามาอยู่ คิดว่าน่าจะเป็นเพราะความดีเลย์ ไม่ก็ตัวWindow frameเองที่ดักWatermarkไว้

    อย่างไรก็ตาม ถือว่างานเสร็จไปทั้งflowแล้ว เหลือแค่การImprove efficientcyให้ดีขึ้น
    ทั้งData ที่ถูกแปลงเป็นStatic แล้วก็ตัวAnomaly detectionของเมลด้วย

    ตอนเย็นๆSupervisorก็ให้ลองexport จากhdfsเป็นCsv เพื่อมาทำvisualitation ติดปัญหาอยู่นิดนึงตอนset window เป็นday/week month)พอรันไปนานๆก็เจอเจ๊งเหมือนกันค่ะ คราวนี้เหมือนจะเป็นที่Limitationบางอย่างของSWAN ตอนgroupเดือนกับอาทิตย์นี่ต้องใช้เวลานานเหมือนกันนะคะ

    ตอนนี้เลยออกมาแต่Hourly  visualization dashboardค่ะ
    งดงามม!


เข้าสู่ระบบเพื่อแสดงความคิดเห็น

Log in