A foreword.

I have this pet project which is 10 WordPress sites on a 512MB VPS. Each of those sites has several thousand posts and few thousand tags/categories. It used to be no problem for WordPress to handle such sites, but with each new version WordPress is getting slower and slower. Last configuration was on a 512MB slice from Slicehost, which at the time (late 2008) seemed like the best solution.

Using APC.

To make it run as fast as possible I deployed APC, although any other opcode cache would do fine. The “project” is a set of 10 WordPress sites. Unfortunately this made it run slower than originally. Why ? Imagine having 2 sites,  abc.com and xyz.net, both running the  latest WordPress,  so almost everything inside them is the same — everything but their own unique themes and their own set of plugins. Now, when those run on the same machine APC will have to store the files for both of them, e.g. /var/www/abc.com/html/wp-login.php and /var/www/xyz.net/html/wp-login.php — and this is the same for every other file from the WordPress distribution. At first it is obvious that this is just waste of space since those are identical. At second look however you see the worse downside:  these identical files are going to take twice as much space.  This will cause the APC memory to deplete really fast and because of this decreasing the performance boost we are expecting to get from having a opcode cache. Now instead of having just 2 sites imagine having 10 sites: the cached copies inside APC were cleaned up before even being hit, because the space in the bytecode cache was not enough.

Using APC with symlinked WordPress.

The solution for the problem above was to symlink everything for each site except the configuration from wp-config.php — in this way APC will not have to deal with duplicate copies of the same files. The plugins and themes are also placed with one another. Here’s what a ls -la looks like:

lrwxrwxrwx 1 www-data root   27 Feb 18 16:36 crossdomain.xml -> /var/www/wp/crossdomain.xml
-rw-r--r-- 1 www-data 1000  246 Dec  4  2007 favicon.ico
lrwxrwxrwx 1 www-data root   21 Feb 18 16:36 index.php -> /var/www/wp/index.php
lrwxrwxrwx 1 www-data root   23 Feb 18 16:36 license.txt -> /var/www/wp/license.txt
lrwxrwxrwx 1 www-data root   23 Feb 18 16:36 readme.html -> /var/www/wp/readme.html
lrwxrwxrwx 1 www-data root   22 Feb 18 16:36 robots.txt -> /var/www/wp/robots.txt
lrwxrwxrwx 1 www-data root   27 Feb 18 16:36 wp-activate.php -> /var/www/wp/wp-activate.php
lrwxrwxrwx 1 www-data root   20 Feb 18 16:36 wp-admin -> /var/www/wp/wp-admin
lrwxrwxrwx 1 www-data root   22 Feb 18 16:36 wp-app.php -> /var/www/wp/wp-app.php
lrwxrwxrwx 1 www-data root   23 Feb 18 16:36 wp-atom.php -> /var/www/wp/wp-atom.php
lrwxrwxrwx 1 www-data root   30 Feb 18 16:36 wp-blog-header.php -> /var/www/wp/wp-blog-header.php
lrwxrwxrwx 1 www-data root   32 Feb 18 16:36 wp-comments-post.php -> /var/www/wp/wp-comments-post.php
lrwxrwxrwx 1 www-data root   31 Feb 18 16:36 wp-commentsrss2.php -> /var/www/wp/wp-commentsrss2.php
-rw-r--r-- 1 www-data 1000 1048 Feb 23 20:08 wp-config.php
lrwxrwxrwx 1 www-data root   22 Feb 18 16:36 wp-content -> /var/www/wp/wp-content
lrwxrwxrwx 1 www-data root   23 Feb 18 16:36 wp-cron.php -> /var/www/wp/wp-cron.php
...

How is that going to help? Very simple: there are no more duplicates and APC only works with one set of files. A little tweaking was required to make wp-super-cache plugin work, but for a while everything was OK.

The new setup.

Recently I moved the project from Slicehost to Linode:  it is a lot more affordable – 32bit setup for almost half the money (for 512MB). For the new setup I decided to ditch Apache and try something new – nginx + phpfpm. That was not enough and decided to ditch wp-super-cache and try w3-total-cache with all the different layers of performance boost that it offers. Linode makes very easy to deploy a LEMP setup, and with some help from a friend of mine I was ready to go.  Then I installed w3-total-cache and the problems started:

• you got to do your own rewrite rules for nginx
• the “page cache” was not using the domain name for the site, so the wrong cached pages popped up at the wrong places, e.g. abc.com/2008/10/ opened the page from xyz.net/2008/10/
• the performance was degraded, not improved

I spend the best of the last 2 days to try and find a way around this issue.  It seems that W3TC prepends the domain name only when the WordPress is a WPMU/Multisite installation. I do not wanted to dive into that, so after 30 mins ot thinking I decided to ditch W3TC and do a “page cache” (funky caching really) on my own. After several hours I was ready, and it works like a charm.  It pretty much works like wp-super-cache, but without all the settings and admin pages — I know how my projects behaves so I didn’t need all the stuff for purging cache on adding comments, changing statuses, writing new posts or whatever. I customized part of W3TC for cleaning up the static files on disk, but instead of relying on WordPress’ pseudo-cron I decided to use the VPS crontab instead: and it is really easy – you just have to call the script ;)

The script and how to set it up yourself ?

http://pastie.org/1633881 (download)

First you got to enable WP_CACHE in your wp-config.php file, because this is the requirement to make WordPress include our script. The script is called advanced-cache.php (WordPress named it like that) and it has to be placed inside your wp-content/ folder. You can find the rewrite rules for nginx inside the script as a comment (if you are wondering what HB stands for, that’s an abbreviation for the pet project).

So, fuck you W3TC ;)

PS. It turns out somebody else has that symlink solution figured out long time before myself, and it is actually documented on WordPress’ Codex:

This system is based on Allan Mertner’s original symbolic link hack.

http://codex.wordpress.org/Installing_Multiple_Blogs#Virtual_Multiblog

Последната година ми показа ясно, че скоро време за блога няма да имам. Не знам имали и смисъл, след като вече местата за коментиране и обмен на информация са Twitter и Facebooк, а и май съм на някаква интелектуална диета и май нямам какво да добавя за новите неща които се случват напоследък. Поне в тази форма не виждам този блог да има бъдеще. Ако по някакво щастливо стечение на обстоятелствата намеря време през идващата 2011 година ще потърся начин как да променя сайта и блога, като останат нещата, които може би са най-важни: информация как да ме откриете, и проектите над които работя. До тук са 755 поста и 1702 коментара, като имам и 99 драфта, които така и не съм довършил. Все още не съм намерил това, в което исках да направя от моя блог през времето през което имах да пиша: място на което да се обсъждат новините от българския ИКТ живот. Напоследък не е като да няма: няколко сливания, като се забелязва тенденцията към консолидация и окрупняване, нови проявления на “цифровия живот” като чуруликащия гняв, няколко конференции, издънки на билинг системи на мобилни оператори, академична реформа, Ранделов смени Киряков, Свежо се раздели с Нетинфо (и със Станислав, но може би не в този ред), БГ Сайт 2010, OpenFest 2010 и т.н. и т.н. За момента ще продължаваме да си ги подхвърляме в Twitter и във Facebook ;)

Калоян К.

Понеже ни съм пускал снимка за септември, ще взема една “назаем” от Facebook ;)

Бобето срещу ябълката

Калоян К.

Speaking of backups, detailed logging probably shares one more feature with them — the huge space that it occupies. For an application that works without hick-ups for several months the volume of the logs is several times bigger the rest of the application data. The volume of the detailed logging data gets even bigger when 3rd party apps, plug-ins or add-ons are used, since they not always comply with the E_ALL|E_STRICT policy, and some of them might produce tons and tons of repetitive warnings and notices. Depending on the media on which the detailed logging is stored, it might cause performance degradation in the application when its volume gets out of proportions.

That’s the problem I’ve been faced with recently. I want application to run as fast as possible, not burdened by the detailed logging, yet I want to be able to have all the data I need for when tracking bugs and issues. The solution I came up with is called “Quarantine Logging”.

In general, I want to keep all the data that is required for tracking and fixing issues. So, when are these “issues” tend to surface ? I am sure that you share the same observations as myself: issues happen when the application is deployed: when installed, or when updated. When it starts running you fix the issues that pop up, and the longer it runs, there is less chance for something to go south. Anyway, that’s not always — that’s just for most of the time: usually bugs show their ugly head when you least expect them ;) So, if we can expect problems with a certain probability for some period of time (e.g. after deployment), then let’s turn on the detailed logging only for that time. Hence, the “quarantine” ;)

The quarantine is the time after the application has been updated, or in other words the time after the supposed problems have been introduced. Until the application is under quarantine, it will use detailed logging to report everything that’s happening. Once the quarantine is over, we can reduce the logging to only the severe emergencies: errors and uncaught exceptions. It is a fair trade-off: you get all the detailed logs for N days (a week) while under quarantine, and then only the most ugly stuff ;)

To make this work after each deployment, install or update, you have to put the application under quarantine, where you choose what period will fit your needs — in mine it is (as suggested above) 7 days. That’s not all: while not being under quarantine, an error or an uncaught exception can happen. The severe-only logging will report it, but in addition to that it will put the application in a state of “self-quarantine” for M days (2 for example): during that time we expect the error/exception to happen again, so we are again doing the detailed logging while under quarantine.

So, that’s it for Quarantine Logging. I will not bother you with a concrete implementation, I am sure you can manage to do it yourself for your own error reporting. I myself just implemented this feature and will see how it behaves in the next few months.

Ами, ето какво е необходимо: представяме ви ето тази чернова от нашия проект, а вие трябва да я обърнете в HTML и CSS. Това е част от административния интерфейс на приложението, така че удобството за ползване и разширяване (като в добавяне на нови неща) са на по-предни позици от естетиката (въпреки че това не трябва служи за оправдание).  Какво ще се гледа и оценява:

• чист и подреден код, смисленно подравнен и лесно четим
• да работи под различни браузъри (без IE6 и подобни извращения): Firefox, IE7/IE8, Chrome/Safari… Ако работи и под Opera ще има бонус точки ;)
• начина на използване на HTML и CSS, бонус точки за CSS3 решения
• анализа на черновата: кое да е картинка, кое да е таблица, кое да е поле, и т.н. (жокер – да не вземе някой да ми направи табовете или бутоните на картинки)
• резултата НЕ трябва да е с фиксирана ширина

За да ви е по-лесно, иконките използвани за черновата са Silk на FamFamFam, може да си ги свалите и да ги ползвате вместо да се мъчите да ги режете от картинката.

Черновата.

Make-A-Strore Inc.

Изпращайте готовите неща на kaloyan@make-a-store.com или пуснете коментар къде може да се види резултата. Няколко човека ще разгледаме това което сте направили, така че бъдете търпеливи за  “оценяването на изпита”. След като сме готови ще ви пишем с резултатитe. Не се страхувайте да опитате: дори и да не се получи от първия път ще научите какви са нашите изисквания, какви познания и умения са необходими, къде да насочите вниманието си за да се изгладите професионално и т.н.

Обявата може да видите тук. Ако не се плашете от изискванията за стаж от повече от две години (някой спомня ли си какъв беше Интернета преди 2 години), за владеене на английски, Gimp, SVN и т.н. — ако се справите с “изпита” сигурен съм че ще намерим компромис ;)

Да коментирам или да не се хабя… Проверете и вашите блогове и сайтове за тази простащина.

Пак кратко включване за на бързо… старата година се изтъркаля и новата дойде, и след многото почивни дни пак дойде време за работа ;) Сега се опитвам да си спомня какво стана през декември, хем че не беше много отдавна, но нещо май нямаше нищо за писане: много работа и след това празници. Щях да пиша за лекцията “WordPress за маниаци”, обаче май бях тръгнал с голямата кошница, и остнах лееееко разочарован от това което се случи наистина: като например никой от бакалаврите четвърта година (последна година, които съставяваха по-голямата част от публиката) не знаеше какво е WordPress. Ако четете блога, знаете че по принцип имам “балансирано-негативно” отношение към Русенския Университет, но тук проблема е в самите студенти — не може университета да ви научи на всичко, щом ще сте компютърни инженери поне от обща култура трябва да сте чували за WordPress. Както и да е, това не може да се налива в главата на сила: който има желанието и мотивацията ще влезе в час, иначе да не се сърдят на никого че са изтървали влака ;)

Ние вкъщи растем много успешно, и може би се повтарям, но “малкия Борис” вече не е толкова малък ;)

Една идея ми се върти в главата, и сигурно поне за нея ще имам време през 2010 – да напиша три материала със съвети, препоръки и изисквания за уеб разработчиците (по принцип), с идеята да помогна на бъдещите си колеги. Да видим кога ще сколасам да пусна първата ;)

Какво друго… новият Philips телевизор вкъщи се оказа с embedded linux, и на листовките му има една купчина модули с отворен лиценз ;) Дейвид Тенант вече не е Доктора (десетия), и сега тепърва ще видим Мат Смит като единайстия какво ще прави. Абе, все глупости… хайде стига толкова ;)

Калоян К. Цветков

След любезна покана се съгласих да представя отново лекцията “WordPress за маниаци”, с която участвах миналата година в Open Fest Русе 2008. През последната година много хора ми потърсиха с въпроси за лекцията, за WordPress и проектите ми около него, както и за web development като цяло. Ами, ето един удобен случай да посетите лекцията (отново) и да зададете всички въпроси които имате към мен на живо.

Първият филм беше забавен, а и беше (според мен) една от малкото успешни комикс “екранизации” — ако въобще такова нещо е възможно. Както и да е, плакатът изглежда супер, и дано и филмът да не е много под нивото на първият. Сега очаквам и първия трейлър (нещо с нормално качество, а не пиратския запис от ComicsCon-а тази година).

Точно сме се върнали от разхозка, и на мен ми е почервенял носа от студа ;)

Калоян К. Цветков

Започвам с (вече не-толкова) малката радост вкъщи, малкият Боборис ;) Голями мъж ще станем сигурно, защото вече на три месеца е 7 килограма ;) Вече не минава номера да се слуша виолончело, и сега като сме криви се успокояваме с пънк и Yoshida Brothers ;)

Грамотата за Минчо Спасов

На границата на октомври и ноември се проведе петия юбилеен Open Fest Rousse 2009. С него и свързано и доброто дело за октомври, зад което не съм само аз, ами всички заети с организирането на фестивала. За какво иде реч: във Facebook-а на Богомил се сетих за идеята да дадем грамота на Минчо Спасов за работата му и всичките му усилия за защитата на цифровите ни права през последната една година. Всички помогнаха (с идея за текста, с написването, с оформлението, с допълнителни идеи, и т.н.) и така на откриването Минчо Спасов стана първият награден с почетна грамота от русенският Open Fest. Аз вече имам кандидат и за следващият, и стига само да наближи (след 6 или след 12 месеца) ще го обсъдим пак ;) Иначе за Open Fest-а моа да каже, че се получи супер — нищо че го гледах после задочно на записи ;) Успях са присъствам на първата лекция на Стилиян, и се получи страхотна дискусия — гостите в залата вече не се чустват като студенти на изпит, ами взеха по-дейно участие в тази лекция… а ефекта може и да е от темата на лекцията ;)

Богомил “Бого” Шопов благодари за връчената му награда на журито на БГ Сайт 2009

picasaweb.google.bg/bgsite.jury

Мина БГ Сайт 2009, като двете най-добри неща от него са наградите на Боян Юруков (за пореден път тази година), и наградата на журито на Бого, която е повече от заслужена.

Весела "издънка" в Re:TV (не се сещам откъде взех снимката: ако някой си я познае да се обаде да му сложа признание за авторството)

Няма вече Re:TV, и така докато се наканя да направя новата версия на “неофициалния архив“, или докато пусна автоматичния подкаст генератор за “Пристрастно” (друг интересен проект, за който скоро си говорихме със Свилен Милев), и телевизията е вече в историята. Тъпо е, защото сега пак ще потъна в дълбока неинформираност, защото нямам време да чета какво става по блоговете ;) Както и да е, хората зад Re:TV не са за оплакване и съжление, и съвсев скоро очаквам да се появат нови техни проекти. Аз ако се наканя може и да направя подкаста за Пристрастно, нищо че Радан, Илия и Комитата вече сами са се сетили да си качват предаването на mp3 ;) И нова версия на “архива” може да направя, само да ми се падне от баницата с късметите “Почивката” и “Свободното време” ;)

Тънка "люспа" ThinkPad X40

Калоян К. Цветков

Стана така, че и в края на тази година, както и на миналата, си купих стар IBM ;) Този път не е голяма щайга сървър, а ето тази дребна люспа лаптоп (на снимката е дебел заради UltraBase докинг станцията на която е закачен). не ми трябват тези нови и лигави нетбуци, ето това не-толкова старо чудо ще върши същата работа.

Когато съм се наспал, приличам повече на човек, нали ;)

facebook.com

На финала да не изпусна — има нов проект на момчетата зад Свежо, Fanopic. Аз няма да навлизам в детайли, може да прочетете няколко мнениея за него, като аз единствено мога да ви препоръчам наистина да му обърнете внимание — защото е може би един от малкото проекти насочени повече към потребителя (наред с Favit например) отколкото към трафик който да се конвертира в реклама (като всички “показни проекти” като а-ла-Фейсбук бозата на Бехар, Zip.bg на Инвестор.бг, Pipe.bg на Икономедия и т.н. и. т.н.)

Имаше още неща, но ще ги допиша като се сетя… ако се сетя ;)

Бебета чуват по-добре ниските звуци – ето го и ефекта: Борис заспа от виолончелото на Yo-Yo Ma ;)

twitpic.com

Освен веселбата вкъщи с бебето на работа има малко зор с предстоящо … corporate restructuring, както и един краен срок, който всеки ден изглежда все по-невъзможен. Не се оплаквам, напротив – хваля се колко е забавно около мен ;) Иначе с никакви проекти не съм се занимавал, защото няма време. За сметка на това пък вече една седмица се разправям с поддръжката на MediaTemple, като и това е особенно забавно … по един садистичен начин (сигурно още се виждат пораженията). Язък, голяма компания са, а големи лайнарщини правят, и почти съм убеден да се махам от там като ми изтече абонамента в края на октомври.

През септември има добро дело — станах спонсор на OpenFest 2009 Русе! Тази година мероприятието е юбилейно – за пети пореден път, и също така е два дена: на 30 октомври и 1 ноември. Лекциите са разнообразни, а лекторите са много добри. Още април в Търново си си бях наумил да помогна с някой лев на организаторите след като чух “бизнеса” как се дърпа като се опре до даване на пари, а пък те едни пари… милиони рабираш ли ;) Майната им на пишман бизнесмените… както и да е де, тази година аз помагам за рекламните материали.

Ами това е, да се надявам че няма да ми загори толково много тенджерата през ноември и ще успея да пиша по на време.

Горе-долу актуална снимка от края на септември… вече съм “чичко”, а не “батко”, нали ;)

facebook.com

Вече съм писал какво мисля за Първанов и “Джон Атанасов” миналата година, но тази година просто е върха на простотията. Най-прецакания и некадърен президент дава грамота за принос на човека, олицетворяваш всички най-лошо в българското висше образование: д-р Галина Иванова. Нека се радват мижитурките една на друга, докато озлобените пишман разбирачи като мен умуваме къде е приноса на ас. Галина Иванова… може би в усъвършенстването на използването на Copy + Paste ;) Наистина не спират да ме радва въпроса как така може да съм толкова негативно настроен към един човек… ами помислете колко ми е голямо разочарованието от Русенския Университет и всичките мижитурки и паразити, които са се навъдили там ;)