http://art-blog.no-ip.info/newpress/blog בלוג על לינוקס, תוכנה חופשית, מוזיקה, סלסה, ומה לא! http://art-blog.no-ip.info/newpress/blog/post/241 http://art-blog.no-ip.info/newpress/blog/post/241 <div style="direction:rtl"> <p>בחודש חודשיים אחרונים אני רואה פעילות ערה מסביב ל־CppCMS. רשימת התפוצה הפכה להיות פעילה, דיווחי באגים מגיעים ואפילו&hellip;</p> <p>לפני ימים אחדים קיבלתי מספר דיווחי באגים ותרגום של הבלוג הזה ל<strong>סינית</strong>, כך שאם מישהו רוצה בלוג שמיליארד סינים יוכלו לקרוא אותו בלי ליצור עומסים, זאת לא בעיה ;-).</p> <p>האמת היא, אני שמח ש־CppCMS לאט־לאט צובר תאוצה והקהילה נבנית מסביבו.</p> <p> <a href="/newpress/blog/post/241">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/236 http://art-blog.no-ip.info/newpress/blog/post/236 <div style="direction:rtl"> <p>כפי שפרסמתי לאחרונה, אני עובד על תמיכה ב־Comet או HTTP Push ב־CppCMS. כאשר הכוונה לאפשרות שרת האינטרנט ליידע את הלקוח על אירוע חדש, למשל: "הגיעה מסר מידי חדש, או מחיר המניה השתנה" &ndash; למעשה להעביר אירועים ללקוח בזמן אמת.</p> <p>כיצד התהליך מתבצע? הלקוח פונה לשרת עם בקשת HTTP לקבל עדכונים; והשרת, במקום לענות באופן מידי ממתין ומחזיק את הקשר פתוח. כאשר מגיע האירוע החדש, כמו עדכון מחיר המניה או הודעה חדש מחבר, התשובה נשלחת והתליך חוזר.</p> <p>לא מי יודע מה מסובך כמובן זה גם תלוי ביכולת השרת להחזיק קשר HTTP פתוח למשך הרבה זמן.</p> <p>אבל, מה קורה אם הלקוח סוגר את הקשר לפני שהוא מקבל תשובה? בבקשות HTTP רגילות זה אירוע נדיר והיישום בצד השרת יכול בקלות "להתעלם" ממצב כזה. ביישומי Comet זה שונה: מספיק שמישהו נכנס לאתר שמחכה לדף שמבצע בקשה מסוג זה ויוצא ממנו, הקשר לקבלת עדכונים ייסגר.</p> <p>אבל מה יישום Comet אמור לעשות? תחשבו שמספר הבקשות HTTP שנסגרות לפני דיווח על אירוע מסוים יכול להיות הרבה יותר גדול ממספר התגובות הרלוונטיות בפועל. אז יישום תקין צריך לזהות ניתוקים כאלה, ולמחוק אותם מ"רשימת התפוצה שלו".</p> <p>אבל מה? יישום ה־Comet בד"כ לא מדבר ישירות עם הלקוח בעזרת HTTP אלא מדבר עם שרת web בעזרת פרוטוקול סטנדרטי כמו FastCGI או SCGI. לכן, תפקידו של השרת הוא לדווח ליישום על כך שהלקוח סגר את הקשר. למעשה פרוטוקול FastCGI מגדיר במפורש דרך להפסיק בקשה מסויימת ע"י סגירת ה־socket או שליחת בקשה מיוחדת "Abord Request", כנ"ל ניתן לבצע בעזרת scgi ע"י ניתוק ה־socket.</p> <p>פשוט? כן. האם זה קורה בפועל? לא ממש.</p> <p>אחרי שמימשתי מערכת ניתוק הקשר ובדקתי אותה על שרת http פנימי, החלטתי לבדוק את ההתנהגות של שרתי web אמתיים: Lighttpd,‏ Nginx ו־Apache2. מה שגיליתי היה ממש לא נעים: למעט Nginx אף שרת לא מדווח על ניתוק הקשר לא מעל FastCGI ולא מעל SCGI.</p> <p>לצורך דוגמה פשוטה, אני יצרתי חיבור ומיד סגרתי אותו, כך עשיתי עשר פעם.</p> <ul> <li>Nginx הוא היחיד דיווח על כך ליישום FastCGI באופן מידי ואפשר לי לטפל בלקוח ש"נעלם"</li> <li>Apache דיווח רק אחרי timeout ארוך של כדקה הן ב־FastCGI והן ב־SCGI.‏</li> <li>lighttpd בכלל שכח מזה והחזיק קשרים פתוחים כל הזמן &ndash; יותר מזה בירידה, הוא התלונן על כך שהיישום שלי "נעלם" ולא ענה לבקשת השרת (שאין לו כבר למי להעביר אותה).</li> </ul> <p>בקיצור&hellip; זה היה מאוד מאכזב. אני הייתי מוכן לקבל את זה מ־Apache שידוע כשרת שלא נועד לטפל בהרבה קשרים פתוחים, אבל Lighty? <a href="http://redmine.lighttpd.net/issues/2058">פתחתי על זה באג</a>.</p> <p>מזל שמימשתי שרת HTTP פנימי בעצמי.</p> <p> <a href="/newpress/blog/post/236">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/234 http://art-blog.no-ip.info/newpress/blog/post/234 <div style="direction:rtl"> <p>פרסמתי <a href="http://art-blog.no-ip.info/cppcms/blog/post/47">כאן</a> כתבה על טכנולוגיית <a href="http://en.wikipedia.org/wiki/Comet_(programming)">Comet</a> (או Server Push) הנתמכת בגרסה הבאה של CppCMS.</p> <p>הצגתי כדוגמה קלאסית: מימוש של יישום Chat, בצד הלקוח ובצד השרת, בכ־50 שורות קוד בכל אחד מהם, עם שימוש ב־XHR Long Polling.</p> <p> <a href="/newpress/blog/post/234">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/233 http://art-blog.no-ip.info/newpress/blog/post/233 <div style="direction:rtl"> <p>לאחרונה אני עובד בענף ה־refactoring של CppCMS ומבצע שינויים גדולים. אביא כאן סקירה קצרה של השינוי שכבר נמצאות בגרסה ניסיונית:</p> <ol> <li><p>אחד השינויים הגדולים והחשובים זה להיפתר מכל התלויות המיותרות או מגבילות. אחרי שכל השינויים יסתיימו, התלויות היחידות שיישארו הן גרסה עדכנית של Boost ו־Python לצורכי הפיתוח בלבד.</p> <p>חלק מהספריות הוסרו בגלל אי תאימות לדרישות החדשות:</p> <ul> <li>libfcgi ירד כי ה־API שלו לא מאפשר גישה א־סינכרונית, במקומו, מימשתי את הפרוטוקול בעצמי על בסיס Boost.Asio.</li> <li>ספריית CgiCC ירדה בגלל האיכות הירודה שלה וחוסר יכולת סבירה לתקשר עם המפתח של אותה הספרייה הבעייתית.</li> </ul> <p>כך שבגרסה הבאה, תהיה לי אפשרות להכין debים ו־rpmים בקלות&hellip;</p></li> <li><p>עד היום, פיתוח מול CppCMS דרש שימוש בשרת חיצוני, למרות שיש לי סקריפט הפעלה אוטומטית של lighttpd, ‏nginx ו־Apache, עכשיו מימשתי שרתי HTTP פנימי פשוט שמקל על הפיתוח ובנוסף, עתיד יקל על שיבוץ התשתית ביישומים שדורשים ממשק web ובמערכות משובצות מחשב.</p> <p>כך שכיום, CppCMS החדש תומך בשלושה ממשקים FastCGI,‏ SCGI ו־HTTP.‏</p></li> <li><p>התווספה תמיכה מסודרת בלוקליזציה עם שימוש ב־std::locale, כך שתצוגת התאריכים, מספרים, מחרוזות וכד' יתבצעו בהתאם למקובל באותה שפה.</p></li> <li><p>בגלל שימוש מקיף ב־Boost &ndash; ספריה בלתי תלויה בפלטפורמה, אני סוף־סוף אוכל להכריז על Windows כפלטפורמה שנתמכת באופן (חצי) רשמי.</p></li> </ol> <p>יש עוד הרבה עבודת אינטגרציה של רכיבים שיצאו באופן זמני, כמו ניהול sessions, שינויים ב־cache, שכתוב תמיכה בטפסים ועוד.</p> <p>אבל לאט־לאט ההשפעה של השינויים הארכיטקטוניים מתחילים להתבהר.</p> <p> <a href="/newpress/blog/post/233">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/229 http://art-blog.no-ip.info/newpress/blog/post/229 <div style="direction:rtl"> <p>כפי שפרסמתי ב<a href="http://art-blog.no-ip.info/cppcms/blog/post/44">עבר</a>, אני עובד על שינויים בפנימיים עמוקים ב־CppCMS שבין השאר יאפשרו:</p> <ul> <li>תמיכה באירועי צד השרת או Comet.</li> <li>תמיכה בבינאום ולורקליזציה.</li> <li>תמיכה ב־ABI לאחור.</li> <li>ניקיון יסודי של קוד תוך הקטנה משמעותית בשימוש בספריות צד ג'.</li> </ul> <p>בגלל שאני עושה שינויים כל־כך מהותיים, חשבתי, אולי להוסיף גם תמיכה בעוד פלטפורמה בנוסף לתמיכה ב־Linux,‏ FreeBSD,‏ Solaris ו־Cygwin&hellip; להוסיף תמיכה ב־Windows.</p> <p>זה באמת, לא אמור להיות עד כדי כך מסובך, יצא לי כבר פעם לבנות CppCMS עבור Mingw (כמובן נאלצתי לוותר על חלק גדול מהמודולים).</p> <p>אבל, בין לבנות משהו שרץ עד לפלטפורמת פיתוח אמתית יש תהום.</p> <p> <a href="/newpress/blog/post/229">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/212 http://art-blog.no-ip.info/newpress/blog/post/212 <div style="direction:rtl"> <p>כשבניתי CppCMS תמיד לקחתי בחשבון ששרת יחיד לא תמיד יוכל להבטיח ביצועים מספיק טובים של שירות web עמוס. לכן, תמיד בתכנון המערכת, לקחתי בחשבון את האפשרויות של scale up.</p> <p>בהחלט, הרבה יותר קל לתכנן מערכת שרצה על מחשב בודד עם זכרון משותף עם cache נגיש בצורה יעילה ועוד. אבל, במציאות זה לא יכול להיות. מערכות שמסוגלות לעמוד בעומסים גובהים הן בסופו של דבר חייבות להיות מוכנות לפעול בצורה מבוזרת.</p> <p>לאחרונה הצלחתי להשיג גישה זמנית לרשת מחשבים חזקים במיוחד: Intel עם 4 ליבות שרצים ב־2.4GHz ו־4GB של זכרון. כך יכולתי לבדוק את מנגנון ה־cache המבוזר בעובד מעל TCP/IP ולהבין כמה אני מפסיק כתוצאה מביזור:</p> <pre name="code" class="cpp" ># Local Distributed 1 5,500 5,500 2 11,500 9,500 3 15,200 13,500 </pre> <p>הטבלה מציגה את מספר הדפים בשניה שהמערכת wiki שבניתי מסוגלת לספק תחת הנחה של פגיעה 100% ב־cache (בגלל אילוצי הגישה לא יכולתי לשנות את הפרמטר). מספר השרתים הוא בין 1 ל־3 ומנגנוני ה־cache הם: cache המקומי הלא־מסונכון ו־cache המבוזר המסונכרן באופן מלא.</p> <p>אפשר לראות, מחשב בודד מסוגל לייצר כ5 וחצי אלפי עמודים בשניה והמספר הזה הולך וגדל בצורה קרובה ללינארית עם שימוש ב־cache מקומי (כצפוי). שימוש ב־cache המבוזר מעל TCP/IP מקטין את מהירות הכוללת של המערכת אך עדיין שיפור ביצועים נשאר קרוב ללינארי.</p> <p>יש לציין שהצלחתי למלא כמחצית מרוחב הפס של רשת 1GBit.</p> <p>כמובן הניסוי הוא די מלאכותי, אבל הוא נועד בעיקר לבדוק עד כמה מנגון ה־cache המבוזר הוא יעיל. אני לא מביא לכאן פרטים מדויקים של ניסוי מפני שהוא היה יותר ניסוי פנימי, אבל בסה"כ הוא נותן הבנה של סדרי הגודל של מה שהמערכת מסוגלת לספק.</p> <p> <a href="/newpress/blog/post/212">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/209 http://art-blog.no-ip.info/newpress/blog/post/209 <div style="direction:rtl"> <p>בעיות ביצועים של מערכות web יכולות להופיע לא רק עקב עומסים כבדים אלא גם בגלל <a href="http://stackoverflow.com/questions/480233">מערכות מוגבלות</a>. פה שפות מקומפלות כמו C/C++/Pascal‎ יכולות לתת מענה מצוין. אבל כרגיל חסרים כלים: Klone זה לא הרבה יותר ממשהו דמוי PHP ברק C.‏‏ Wt הוא בנוי כמו GUI.‏ Pascal? מישהו בכלל זוכר שפה כזו ;).</p> <p>לכן CppCMS יתמוך גם בצרכים של מערכות משובצות מחשב והן:</p> <ul> <li>צמצום תלויות למינימום.</li> <li>עבודה מהירה.</li> <li>גודל קובץ ריצה מינימלי.</li> </ul> <p>לכן, לקחתי CppCMS ועשיתי לו ניתוח &mdash; זרקתי את כל מנגנוני ה־cache, ביטלתי דחיסת zlib ובכל צמצמתי תלות ב־boost::iostreams, העפתי מודי עבודה מיותרים ב־embedded.</p> <p>בנוסף, אם המפתח רוצה לבנות גרסת cgi אז בכלל, העפתי את כל הקוד שמטפל ב־thread-pool וכמובן גם בפרוטוקולים כמו scgi/fcgi. ובכן, התכנה הצטמצמה לגודל של 500Kb בלבד. שזה כ־10%&ndash;20% מגודל משערך PHP אופייני.</p> <p>ובכך שוחררה גרסת CppCMS 0.0.4 שכוללת תמיכה במערכות משובצות מחשב.</p> <p> <a href="/newpress/blog/post/209">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/208 http://art-blog.no-ip.info/newpress/blog/post/208 <div style="direction:rtl"> <p>בימים אחרונים אני מנסה לתת ל־CppCMS עוד נישה פוטנציאלית והיא מערכות משובצות מחשב. בד"כ שפות כמו php ו־python <a href="http://stackoverflow.com/questions/480233">כבדות</a> עבור מערכות כאלה. פה בדיוק סביבת פיתוח נוחה יכולה לעזור.</p> <p>בנוסף, קיימים מספר פתרונות דומים בשוק והם Wt ו־Klone. אבל, Klone לא נותן כלים ש־CppCMS נותן ו־Wt בנוי בצורה שלטעמי שגויה &ndash; גישה של מפתח GUI ולא web.</p> <p>אז, עשיתי כמה שיפוצים ב־CppCMS כך שהוא יוכל לתמוך גם בסביבות משובצות מחשב, ביניהם: ביטול רכיבים מיותרים, למשל, אם בונים CGI טהור, אז אין מרכיב s/f-cgi, ניהול threads וכד'. הוצאה מערכת cache ודחיסה עבור יישומי כאלה כי בד"כ זיכרון הוא יקר ועוד.</p> <p>לאחר מספר אופטימיזציות, הצלחתי להגיע ליישום בגודל של כ־550K שזה כמעט חצי ממה ש־<a href="http://www.webtoolkit.eu/wt/wiki/index.php/Wt_embedded">Wt הצליחו להגיע</a>.</p> <p>מה נותר? לבדוק את היישום על פלטפורמת ARM אמתית. כיום, כל הבדיקות נעשו בעזרת qemu-arm. לכן, אני זקוק לעזרתכם.</p> <h3> מה מדרש?</h3> <p>כל מי שיש לו גישה ל־ARM עם לינוקס מותקן עליו, אנא עִזרו:</p> <ol> <li>הורידו את <a href="http://art-blog.no-ip.info/files/test_arm_embed.tar.gz">הקובץ הבא</a>.‏</li> <li>העבירו אותו לסביבת ARM שלכם ותפרסו.</li> <li><p>תנסו להריץ:</p> <pre name="code" class="cpp" >‎./hello.dynamic -c config.txt </pre> <p>זהו קובץ ריצה שמקומפל דינאמית רק עם ספריות בסיסיות כמו libstdc++‎. אם הוא לא מצליח בגלל העדר ספריות תנסו:</p> <pre name="code" class="cpp" >‎./hello.static -c config.txt </pre> בכל מקרה, אמור להתקבל פלט של Headers של cgi ותוכן HTML עצמו.</li> <li>אם יש אפשרות, אנא בדקו את זמן הריצה עם time.‏</li> <li>אם במקרה, יש לכם שרת web בסביבה שלכם אני אשמח אם תוכלו להריץ את ה־cgi שבספריה (רק שעדכנו את השם של קובץ ריצה לזה שהצליח (סטטי או דינאמי) בהתאם.</li> </ol> <p>אם הכל יעבוד ואם תהיה נכונות מצדכם, אני אשמח להכין סדרה של סקריפטים ובדיקות מול ARM כדי לוודא שכל המרכיבים הנדרשים עובדים כמו sessions, תבניות ועוד.</p> <p>תודה רבה, מראש!</p> <p> <a href="/newpress/blog/post/208">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/204 http://art-blog.no-ip.info/newpress/blog/post/204 <div style="direction:rtl"> <p>לאחרונה התחלתי לקבל תלונות רבות על זמינות נמוכה של אתר הזה, בפרט ה<a href="http://art-blog.no-ip.info/wikipp">תיעוד</a> הוא היה כמעט ולא זמין מחוץ לישראל (כאשר בארץ הוא טס).</p> <p>המצב מאוד מדאיג, כי כל מי שרוצה להתשמש בפרויקט מחוץ לארץ, עלול פשוט להישבר בגלל המתנה ארוכה לתיעוד, שלא לדבר על העובדה שזה "לא־ראוי" עבור מערכת שאמורה להבטיח ביצועים גובהים.</p> <p>לכן, עד שאסדר את הבעיות מול ספקית האינטרנט שלי (012), הכנתי תסריט קטן שיוצר עותק ה־wiki בעזרת wget ומעלה אותו לאתר Sourceforge בעזרת rsync. הסקריפט הזה ירוץ כל 6 שעות ויבטיח עדכניות סבירה של אתר המראה; ולמעשה יבטיח זמינות טובה של תיעוד מחוץ לארץ.</p> <p>לכן, אבקש, כל מי שרוצה לקשר לפרויקט הזה שיפנה ל־<a href="http://cppcms.sourceforge.net">cppcms.sourceforge.net‏</a> במקום הויקי הנוכחי ב־art-blog.no-ip.info.</p> <p> <a href="/newpress/blog/post/204">המשך...</a> </p> </div> http://art-blog.no-ip.info/newpress/blog/post/199 http://art-blog.no-ip.info/newpress/blog/post/199 <div style="direction:rtl"> <p>אחרי תקופה ארוכה של פיתוח מאומץ שוחררה גרסה 0.0.2 של CppCMS &ndash; תשתית פיתוח יישומי אינטרנט ב־C++‎.</p> <ul> <li><a href="http://sourceforge.net/project/showfiles.php?group_id=209965">הורדה</a></li> <li><a href="http://art-blog.no-ip.info/wikipp">תיעוד</a> &ndash; עדיין לא הושלם ב־100%.</li> <li><a href="http://art-blog.no-ip.info/wikipp/en/page/main#inst">הוראות התקנה</a></li> </ul> <p>הגרסה כוללת</p> <ul> <li>CppCMS תשתית הפיתוח.</li> <li>DbiXX &mdash; ספריה לעבודה מול בסיסי נתונים שונים.</li> <li>WikiPP מערכת ויקי מובססת CppCMS.‏</li> <li>Examples &mdash; דוגמאות שונות כחלק מתיעוד של CppCMS.</li> </ul> <h3> שינויים במדיניות</h3> <p>ישנם מספר שינויים חשובים במדיניות שחרור הגרסאות:</p> <ul> <li>גרסאות בטא ציבוריות יהיו זמינות רק דרך svn, ענף פיתוח ראשי trunk.</li> <li>קצב שחרור הגרסאות יגדל. אמנע משמירת השינויים ב־trunk בלבד. </li> <li>רוב הארכיטקטורה של CppCMS התייצבה, אם כי, API עדיין נתון לשינוי. עם זאת, ייצוב API ותאימות לאחרות הן מטרות חשובות של פיתוח עתידי.</li> </ul> <h3> השינויים העיקריים</h3> <ul> <li><strong>מערכת תבניות חדשה</strong> מבוססת על טיפוסים סטטיים. היא נשענת על קימפול התבניות לקוד המכונה וטעינתן כ־shared objects.</li> <li>מערכת תבניות הישנה, מבוססת על טיפוסים דינאמיים לא תיתמך יותר.</li> <li><p>השיפורים השונים במערכת התבניות כוללים בין השאר:</p> <ol> <li>ירושת תבניות בסגנון Django.‏</li> <li>הרחבת תבניות ע"י השתלת קוד C++‎ לתוכן.</li> <li>תבניות הן חלק מהתשתית ולא מהוות ספריה נפרדת.</li> </ol> </li> <li><p>פותחה מערכת חדשה ל<strong>יצירה ובדיקה של טפסים</strong>. היא משולבת עם מערכת התבניות.</p></li> <li>פיתחה <strong>מערכת ניהול sessions</strong> חדשה.</li> <li>שיפורים ב־API של מערכת caching לתמיכה יותר טובה ב־cache העובד ללא טריגרים.</li> <li>התיעוד של המערכת הועבר ל־<a href="http://art-blog.no-ip.info/wikipp/en/page/main">WikiPP‏</a> מערכת ויקי שפותחה על בסיס של CppCMS.</li> <li>נתמכות מערכות הפעלה חדשות: <strong>FreeBSD</strong> ו־<strong>OpenSolaris</strong>, בנוסף ל־Linux ו־Cygwin.</li> <li>מערכת <strong>ויקי WikiPP</strong> שוחררה תחת רישיון GPLv3.</li> </ul> <p> <a href="/newpress/blog/post/199">המשך...</a> </p> </div>