Bài Viết
Ý tưởng cơ bản của thuật toán Gradient Boosting là lần lượt thêm các decision trees nối tiếp nhau. Tree thêm vào sau sẽ cố gắng giải quyết những sai sót của tree trước đó. Câu hỏi đặt ra là bao nhiêu trees (weak learner hay estimators) là đủ? Trong bài nãy, hãy cùng nhau…
Bài Viết
Hi Vtitans, Đây có thể là một câu hỏi phỏng vấn hay đấy! Do giảm thiểu chi phí, nhiều ổ cứng trên server chỉ có size minimum. Cỡ 10GB là đủ cho Linux EC2 và Google VM chạy web app rồi, nhưng với điều kiện là đã có ý thức và biện pháp phòng tránh…
Bài Viết
Hi Vtitans, Ôi trời ơi, mỗi lần thử vọc cái gì mới trên con máy của mình là một lần chuẩn bị tâm lý phải fix issue gì đó trước khi chạy được một cái hello world! Đến mức thành quen, mình chả thèm nghĩ đến "set up chuẩn" nữa, gặp gì fix nấy. Lần…
Bài Viết
Thư viện XGBoost được thiết kế để tận dụng tối đa sức mạnh của phần cứng hệ thống, bao gồm tất cả CPU cores và bộ nhớ. Trong bài viết này, ta sẽ cùng nhau tìm hiểu cách thiết lập một server trên AWS để train XGBoost model, sao cho vừa nhanh, vừa rẻ! 😀…
Bài Viết
Hi Vtitans, Mình nhận bài tập lấy file từ SFTP on-premises và đưa lên AWS S3, cũng đang vừa tìm hiểu cách làm vừa blog. Trong bài này mình ghi lại các bước practice để hiểu sơ lược cách code python dùng paramiko. Cài đặt SFTP Mình dùng AMI Ubuntu server 20. Requirement bao gồm:…
Bài Viết
Mở đầu Trong bài này chúng ta đi tìm hiểu các tạo ra định nghĩa 1 đoạn regex, bắt đầu từ các điều cơ bản nhé. Nguyên tắc chung So sánh lần lượt các kí tự liền nhau từ trái sang phải. Ví dụ: DEPTRAI tức là tìm kiếm các cụm từ có chữ "D",…
Bài Viết
Regex cho hạng gà Mở đầu Mình định viết 1 loạt các bài về các công việc mình đang làm (đại khái liên quan tới log). Trước tiên là về Regex. Để: Sau này mình có quên thì xem lại Và cũng là cứu vớt những tâm hồn lầm lỡ trong lúc túng quẫn đã…
Bài Viết
Hi Vtitans, Hôm nay tình cờ thấy AWS đã trình làng CloudShell nên mình tranh thủ review em nó tí và blog kiếm tương tác. Chả có gì hot, nhưng khi đang thiếu chiếc máy thân thuộc của mình với tất cả công cụ sẵn sàng, thì CloudShell cũng có ích ha. Hoặc là, muốn…
Bài Viết
Thư viện XGBoost được thiết kế để làm việc h iệu quả với cơ chế xử lý song song trên nhiều core (multithreading) của phần cứng, cả trong quá trình train và dự đoán. Hãy cùng nhau tìm hiểu cơ chế đó thông qua bài viết này. 1. Chuẩn bị dataset Chúng ta sẽ sử…
Bài Viết
Hi Vtitans! Hôm nay mình xin giới thiệu một tool test dùng cho dự án CloudFormation. Chính chủ AWS Bạn biết đấy, cho phép một tool làm đủ thứ trên môi trường khách hàng thì phải đánh giá tính tin cậy. Nếu không phải là của AWS thì cũng phải do AWS bảo chứng. Thật…
Bài Viết
Overfitting vẫn luôn là một vấn đề làm đau đầu những kỹ sư AI. Trong bài viết này chúng ta sẽ cùng tìm hiểu cách thức monitor (giám sát) performance (hiệu năng) của XGBoost model trong suốt quá trình train. Từ đó cấu hình early stopping để quyết định khi nào thì nên dừng lại…
Bài Viết
Quay lại với chủ để XGBoost, hôm nay chúng ta sẽ tìm hiểu cách thức lự chọn features cho XGBoost model. Feature selection hay lựa chọn features là một bước tương đối quan trọng trước khi train XGBoost model. Lựa chọn đúng các features sẽ giúp model khái quát hóa vấn đề tốt hơn (low…