BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 1/ 17 Kết thúc mođun GS2 bạn có khả năng: Nắm vững cấu trúc, yêu cầu của một kế hoạch giám sát, đánh giá trong quản lý dự án ODA. Xây dựng được các kế hoạch giám sát, đánh giá cụ thể trong quản lý dự án ODA Người học đã [i] tham dự mođun GS1 và [ii] đã từng tham gia vào các hoạt động quản lý dự án ODA Trao đổi tích cực giữa giáo viên và người tham gia đào tạo. Giáo viên chủ động đưa ra các câu hỏi cơ bản để quá trình trả lời, trao đổi sẽ là quá trình tự tổng hợp kiến thức của người học. Thực hành xây dựng kế hoạch giám sát, đánh giá cụ thể [khung lôgíc, kế hoạch giám sát, đánh giá định kỳ Người học tự thực hiện phần Kiểm tra – Đánh giá sau khi kết thúc mođun. Tài liệu mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Tài liệu tóm tắt nội dung đã trao đổi Một số mẫu kế hoạch giám sát, đánh giá dự án ODA cụ thể 1. Giáo viên trình bày những nội dung cơ bản nhất. 2. Người học trao đổi trong nhóm và thảo luận giữa các nhóm với nhau. 3. Trình bày những thống nhất và kết luận 4. Tự đánh giá kết quả học tập. Mođun GS2: LẬP KẾ HOẠCH GIÁM SÁT, ĐÁNH GIÁ TRONG QUẢN LÝ DỰ ÁN ODA BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 2/ 17 Những nội dung cơ bản của mođun này Nội dung mà bạn cần nắm được sau khi kết thúc mođun này: Trang số: 1. Cấu trúc của một kế hoạch giám sát và yêu cầu nội dung của các phần trong kế hoạch giám sát dự án ODA Trang 3 2. Cấu trúc của một kế hoạch đánh giá và yêu cầu nội dung của các phần trong kế hoạch đánh giá dự án ODA Trang 7 3. Phương pháp xây dựng các nội dung trong kế hoạch giám sát, đánh giá dự án ODA Trang 8 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 3/ 17 1. Cấu trúc của một kế hoạch giám sát dự án ODA và nội dung cụ thể • Giám sát cần phải dựa trên một kế hoạch giám sát đã được chuẩn bị trước. • Kế hoạch giám sát dự án ODA thường được xây dựng trên cơ sở của ba tài liệu chính, đó là Văn kiện thiết kế hoặc thẩm định dự án – đưa ra mục tiêu và mục đích của việc đầu tư, các đầu ra và kết quả dự kiến, đóng góp của các đầu ra và kết quả vào các mục tiêu chiến lược quốc gia; Kế hoạch thực hiện dự án, tài liệu thực hiện hay cẩm nang hướng dẫn hoạt động [đôi khi được gọi là sổ tay các quy trình hay kế hoạch hàng năm]; và Khung giám sát – xác định rõ mục đích và phạm vi giám sát, cái gì sẽ được đo lường, ai chịu trách nhiệm làm việc này, việc đo lường và báo cáo sẽ được thực hiện với tần suất như thế nào [đôi khi được gọi là kế hoạch hay cẩm nang giám sát]. Bất kể kế hoạch giám sát chi tiết được thực hiện ở đâu thì các hướng dẫn thực hiện dự án và các hướng dẫn về giám sát phải được kết nối và phối hợp với nhau, không được mâu thuẫn hoặc nhầm lẫn giữa hai tài liệu này. Các công cụ để tóm lược các kế hoạch và nêu ra trách nhiệm và vai trò mong đợi đối với tất cả các cơ quan tham gia được trình bày trong các bảng tóm tắt kèm theo cẩm nang này. Các hoạt động giám sát nên được lồng ghép vào kế hoạch công tác hàng tuần và hàng tháng để gắn công tác thực hiện với công tác giám sát. • Kế hoạch giám sát thực chất là chi tiết hoá 5 vấn đề, đó là [i] giám sát cái gì; [ii] giám sát khi nào; [iii] giám sát như thế nào; [iv] ai giám sát; và [vi] kinh phí giám sát. Cách chi tiết hoá 5 vấn đề này như sau: Giám sát cái gì: $ Xem cụ thể ở phần Cách xác định mục tiêu giám sát, đánh giá trong phần III: Phương pháp thực hiện các nội dung của kế hoạch giám sát, đánh giá. Những yếu tố quan trọng cần phải xem xét khi quyết định giám sát cái gì bao gồm: o Đối tượng chính tiếp nhận thông tin o Câu hỏi thực hiện o Chỉ số của sự thay đổi o Thông tin hoạt động o Những thay đổi ngoài dự kiến BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 4/ 17 o Các vấn đề chung o Đánh giá nhanh các kết quả hiệu quả Giám sát khi nào: Khi đã xác định được mục tiêu giám sát, xác định thời gian giám sát cho các mục tiêu giám sát đó nhưng việc xác định cần phù hợp với khung thời gian chung của dự án. Giám sát như thế nào: Cần xác định một bảng 4 cột và thảo luận với nhóm giám sát để hình thành phương pháp giám sát. Vấn đề cần giám sát Chỉ báo thế hiện của vấn đề như thế nào Đo lường chỉ số đó như thế nào Báo cáo kết quả như thế nào Ví dụ - Thực hiện các biện pháp khôi phục thu nhập cho người bị ảnh hưởng - Thu nhập hộ gia đình tương đương với trước khi bị ảnh hưởng - Thu nhập này ổn định- Dùng bảng hỏi hoặc phỏng vấn sâu để khảo sát mức thu nhập hiện nay của hộ rồi so sánh với số liệu nền. - Tìm hiểu nguồn thu nhập xem nguồn đó có ổn định - Mục tiêu có đạt được hay không. - Có biện pháp điều chỉnh nếu mục tiêu không đạt được Ai giám sát: Trong kế hoạch giám sát cần thể hiện tên và vị trí của người được phân công giám sát. Việc thể hiện như vậy có hai hiệu quả, đó là [i] gắn người được phân công với các hoạt động cụ thể để tiến hành và chịu trách nhiệm; và [ii] người tiến hành giám sát biết được mình phải làm gì, làm như thế nào và khi nào. Kinh phí giám sát: Có kinh phí cho hoạt động giám sát hay không. Nếu có thì cần ước tính kinh phí giám sát, tốt nhất là ước tính theo các hoạt động giám sát và hậu cần như phương tiện. • Cấu trúc của một kế hoạch giám sát có thể được xây dựng với các nội dung như sau: BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 5/ 17 Bảng 1: Cấu trúc của một kế hoạch giám sát Mục Nội dung Mục đích và phạm vi • Tổng quan về dự án, mục tiêu, mục đích, kết quả và cơ sở, lý do thiết kế hệ thống giám sát. • Hệ thống giám sát sẽ trợ giúp cho hoạt động quản lý và đáp ứng các yêu cầu báo cáo và nhu cầu thông tin của các đối tượng liên quan như thế nào? • Tổng kết tất cả các kinh nghiệm giám sát được thực hiện với các cơ quan tham gia chính. • Thảo luận về phạm vi tham gia, cân bằng giữa phương pháp định tính và phương pháp định lượng, các yêu cầu về nguồn lực và trọng tâm dự kiến của hệ thống giám sát. Phương pháp tiếp cận Tổng quan về cách thức các cơ quan tham gia sẽ tham gia, phương pháp học hỏi nào sẽ được sử dụng, nhìn chung phương pháp thu thập thông tin nào sẽ được sử dụng, ví dụ, mức độ sử dụng phương pháp tham gia, các hệ thống thông tin địa lý, các hệ thống thông tin máy tính hoặc các điều tra nghiên cứu cơ sở. Khung lôgic đã được xem xét lại, công với các chỉ số Xác định một cách chính xác tất cả các câu hỏi thực hiện, các chỉ số và nhu cầu thông tin ở tất cả các cấp của khung lôgic • Đánh giá nhu cầu thông tin và lợi ích của tất cả các cơ quan tham gia chính. • Đánh giá các chỉ số đối với các yếu tốt bên ngoài và các giả đinh, ví dụ như: khí hậu, giá cả, sự bùng phát của các nhóm gây hại và bệnh tật, điều kiện kinh tế và môi trường chính sách. • Đánh giá nhu cầu thông tin và các chỉ số về sự phù hợp và sử dụng thuần tuý và các chỉ số về tính khả thi về kỹ thuật và nguồn lực. • Lựa chọn các câu hỏi thực hiện và các chỉ số thực hiện. Hệ thống thông tin quản lý và Công tác báo cáo • Mục đích của Hệ thống thông tin quản lý • Tổ chức thu thập và tổng hợp thông tin Đối với mỗi sản phẩm thông tin mong đợi - đặt ra các câu hỏi: ai, cái gì, khi nào và ở đâu Kế hoạch cung cấp thông tin - đặt các câu hỏi: ai, cái gì, khi nào, cho ai, vì mục đích gì Mạng máy tiínhvà các hệ thông lưu trữ thủ công được dự kiến hoạt động như thế nào, với ai và cho dữ liệu nào Phác thaảonhu cầu lưu trữ dữ liệu • Đầu ra báo cáo mong đợi, ví dụ: Các kênh truyền thông và phản hồi không chính thức Các luồng báo cáo và thời hạn Phác thảo kế hoạch làm việc hàng năm và khuôn khổ ngân sách, bao gồm các kế hoạch và ngân sách hoạt động, đầu ra, ngân quỹ, kế hoạch đào tạo, kế hoạch mua sắm và kế hoạch cho các dịch vụ hợp đồng Các báo cáo tiến độ hàng năm của dự án nói chung và sự xem xét từng hợp phần, từng địa phương Các báo cáo tài chính hàng năm Các nhiệm vụ giám sát định kỳ Kế hoạch làm việc và thời gian biểu cho các hoạt động giám sát Xác định chính xác phương pháp được sử dụng cho các nhóm đối tượng liên quan khác nhau với hai mục đích chính • Giám sát các nguồn lực, hoạt động và quản lý để thực hiện có hiệu quả: Nguồn lực đầu vào phương tiện vận chuyển, trợ cấp, đăng ký tài sản, đăng ký trợ giúp kỹ thuật/ dịch vụ Hoạt động đào tạo [hội thảo, đi tập huấn,…], xây dựng [cơ sở hạ tầng kỹ thuật hoặc xã hội], kế hoạch tổ chức, thí điểm và thao diễn, giới hạn tín dụng… Các hoạt động giám sát khác BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 6/ 17 • Giám sát kết quả và tác động để hướng dẫn chiến lược thực hiện, ví dụ: Điều tra dự kiến nghiên cứu cơ sở/ hộ gia đình, thành phần, nhân viên Phối hợp đánh giá hàng năm và lập kế hoạch hội thảo Các đánh giá hàng năm khác và đánh giá các đối tượng thụ hưởng, xem xét và lập kế hoạch bộ phận Xem xét giữa kỳ và báo cáo hoàn thành Tính khả thi của các phương pháp về mặt kỹ thuật và nguồn lực Lập kế hoạch công tác giám sát và đánh giá phối hợp với kế hoạch của các sự kiện quan trọng và thời điểm báo cáo, ra quyết định Lịch trình cho các sự kiện quan trọng Xây dựng các điều kiện và năng lực Tổ chức hoạt động giám sát Các liên kết về mặt tổ chức cần thiết và các liên kết giữa các đối tượng liên quan để giám sát Tồn tại hay không một đơn vị giám sát cụ thể và đơn vị đó có quan hệ như thế nào với cơ cấu quản lý và hệ thống quyền lực Nhu cầu nhân lực Số lượng, năng lực và trách nhiệm của các đối tượng liên quan trong việc giám sát, bao gồm các cán bộ của BQLDA và các đối tượng liên quan chính Cơ chế khuyến khích cho các đối tượng liên quan Nhu cầu đào tạo của cán bộ và các đối tượng liên quan Nhu cầu nguồn lực Trang thiết bị và phương tiện chuyên chở Hỗ trợ kỹ thuật Ngân sách giám sát Tóm tắt việc phân bổ ngân sách chi tiết Phụ lục • Khung logic ban đầu và khung logic đã được sửa đổi • Danh sách các chỉ số đề xuất trong khung giám sát • Phác thảo các cách thu thập dữ liệu, kế hoạch cho các hoạt động hàng năm và nửa năm,… • Phác thảo các mẫu chuẩn bị cho: các báo cáo quý, nửa năm, hàng năm; một bản tóm tắt các thành tựu chính đạt được, các báo cáo thực trạng đầu vào và các nguồn lực, các nghiên cứu đánh giá đầu ra và kết quả - tóm tắt các phát hiện và các khuyến nghị. • Các câu hỏi điều tra cơ sở nếu sử dụng • Mô tả nhân viên và chi tiết các khoản trợ cấp • ToR cho Hỗ trợ kỹ thuật • Khung giám sát và kế hoạch làm việc • Ngân sách chi tiết cho các nguồn lực giám sát Bảng 1 trình bày các nội dung của một kế hoạch giám sát thực tiễn tốt nhất. Mức độ chi tiết cần thiết phụ thuộc vào loại hình, quy mô và mức độ phức tạp của một dự án đầu tư cụ thể. Các nhà quản lý phải quyết định mức độ chi tiết như thế nào là phù hợp với dự án đầu tư cụ thể mà họ chịu trách nhiệm. GHI NHỚ Kế hoạch giám sát cần phải được chuẩn bị rất sớm, ngay từ khi bắt đầu thực hiện dự án. Nếu không sẽ rất khó xác định được các nội dung quan trọng của kế hoạch giám sát như khung lôgíc và kinh phí thực hiện. BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 7/ 17 2. Cấu trúc của một kế hoạch đánh giá dự án ODA và nội dung cụ thể • Cũng như hoạt động giám sát, hoạt động đánh giá cũng cần phải dựa trên một kế hoạch đánh giá đã được chuẩn bị trước. • Kế hoạch đánh giá thực chất là chi tiết hoá 5 vấn đề, đó là [i] mục tiêu, nội dung đánh giá - chúng ta muốn biết điều gì?; [ii] phương pháp đánh giá – chúng ta biết điều đó như thế nào; [iii] tổ chức đánh giá – làm thế nào để có được các dữ liệu cần thiết; [iv] kinh phí đánh giá; và [v] kế hoạch sử dụng thông tin đánh giá. ] Xem cụ thể ở phần Cách xác định mục tiêu giám sát, đánh giá trong phần III: Phương pháp thực hiện các nội dung của kế hoạch giám sát, đánh giá. [i] Mục tiêu, nội dung đánh giá ] Xem modun GS 4: Phương pháp thu thập và xử lý thông tin giám sát, đánh giá. [ii] Phương pháp đánh giá ] Kinh phí đánh giá có hay không, nếu có, cần xác định theo các hoạt động đánh giá và các chi phí khác như phương tiện, trang thiết bị hoạt động đánh giá. [iii] Tổ chức đánh giá ] Xem cụ thể ở phần Cách xác định mục tiêu giám sát, đánh giá, trong phần III: Phương pháp thực hiện các nội dung của kế hoạch giám sát, đánh giá. [iv] Kinh phí đánh giá ] Cần xác định trong kế hoạch đánh giá các thông tin cần thu thập và dùng vào mục đích gì. [v] Kế hoạch sử dụng thông tin đánh giá BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 8/ 17 • Mấu chốt của một kế hoạch đánh giá phải chỉ ra được nhóm đánh giá sẽ đo lường cái gì và đo lường như thế nào. Thông thường kế hoạch đánh giá bao gồm mục đích và đối tượng tiếp nhận đánh giá, các câu hỏi đánh giá, các chỉ số đánh giá được sử dụng để đo lường các kết quả, các phương pháp thu thập dữ liệu, kế hoạch hoạt động và các nguồn lực để thực hiện nhiệm vụ. • Kế hoạch đánh giá phải xác định rõ cái gì sẽ được đánh giá, ví dụ như một dự án, một tổ chức, một ngành hay một chương trình. Như có thể thấy ở trên, kế hoạch đánh giá sẽ bao gồm các thông tin như bối cảnh, mục tiêu, các hoạt động cụ thể, các chi phí, các tác động và ảnh hưởng mong đợi. • Cấu trúc của một kế hoạch đánh giá có thể được chuẩn bị như sau: Bảng 2: Cấu trúc của một kế hoạch giám sát Yêu cầu Nội dung cụ thể Mục tiêu, nội dung đánh giá Đánh giá cái gì- hay chúng ta cần biết điều gì. Hãy dựa vào Thiết kế dự án - phần Mục tiêu của dự án; hay Kế hoạch đánh giá dự án- phần mục tiêu đánh giá; hay dựa vào điều khoản tham chiếu [TOR] để xác định rõ mục tiêu, nội dung đánh giá là gì Phương pháp đánh giá Trình bày các phương pháp dự kiến sử dụng để thu thập thông tin nhằm làm rõ mục tiêu và nội dung cần đánh giá. Tổ chức đánh giá Ai sẽ làm gì và vai trò như thế nào bao gồm cả vai trò của các đối tác, các bên liên đới và nhóm đánh giá Kinh phí đánh giá Kinh phí được dự kiến cụ thể cho từng hoạt động đánh giá Kế hoạch sử dụng thông tin đánh giá - Cấu trúc của báo cáo đánh giá - Dự kiến mục đích sử dụng thông tin - Kế hoạch sử dụng và chia sẻ thông tin GHI NHỚ Kế hoạch giám sát cần phải được chuẩn bị rất sớm và tham khảo kế hoạch giám sát để có thể xác định được chính xác nội dung giám sát. BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 9/ 17 3. Phương pháp thực hiện các nội dung cụ thể trong kế hoạch giám sát và đánh giá dự án ODA ] Trong các nội dung của kế hoạch giám sát và kế hoạch đánh giá, thì mục tiêu giám sát, đánh giá; chương trình giám sát, đánh giá; khung lôgíc; và khung giám sát, đánh giá là quan trọng nhất. Phương pháp thực hiện các nội dung cụ thể này như sau: 3.1. Xác định mục tiêu giám sát, đánh giá • Xác định mục tiêu giám sát trong kế hoạch giám sát dự án ODA chủ yếu dựa vào thiết kế dự án ODA, trong đó quan trọng nhất là kế hoạch hoạt động và yêu cầu đầu ra của dự án. Bản chất của mục tiêu trong kế hoạch giám sát là đảm bảo các hoạt động được thực hiện đúng kế hoạch và đầu ra của dự án được đảm bảo đúng như thiết kế dự án. Chính vì thế, mục tiêu giám sát dự án ODA thường được xác định như sau: Các hoạt động của dự án ODA: tiến độ thực hiện, thủ tục thực hiện, thời gian thực hiện, người thực hiện, kết quả thực hiện. Đầu ra [out-puts] của dự án ODA: số lượng và chất lượng của các đầu ra của dự án ODA so với thiết kế dự án và với kế hoạch thực hiện. Bảng 3: Ví dụ về mục tiêu trong kế hoạch giám sát dự án ODA Tài chính - kế toán Giám sát thủ tục chi trả, thực hiện các nguyên tắc tài chính-kế toán Môi trường-xã hội Giám sát việc thực hiện các biện pháp giảm thiểu tác động môi trường, tái định cư Quản lý nhân sự Việc thực hiện các hoạt động theo kế hoạch của nhân viên, kết quả thực hiện hoạt động Mua sắm Kế hoạch mua sắm, thủ tục mua sắm, kết quả mua sắm. Chuẩn bị kế hoạch Tiến độ thực hiện kế hoạch, kết quả đạt được theo kế hoạch • Xác định mục tiêu đánh giá trong kế hoạch đánh giá khác với giám sát vì bản chất của đánh giá là xem xét hiệu quả, sự phù hợp, tác động và tính bền vững của hiệu quả dự án. Xác định rõ được mục tiêu đánh giá mới có thể thiết kế được đánh giá và vận dụng các phương pháp thu thập thông tin phù hợp. Có hai bước xác định mục tiêu đánh giá, đó là: BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 10/ 17 Xác định đối tượng cần thông tin từ đánh giá ]Xác định được ai là người cần thông tin đánh giá sẽ giúp cho việc xác định mục tiêu đánh giá phù hợp hơn. Xác định nội dung cần đánh giá Bảng 4: Ví dụ về mục tiêu trong kế hoạch đánh giá dự án ODA Tài chính - kế toán Hiệu quả của quản lý tài chính, trình độ năng lực được nâng cao của nhân lực làm tài chính-kế toán Môi trường-xã hội Đánh giá tác động môi trường, đánh giá hiệu quả kinh tế-xã hội của dự án, đánh giá việc thực hiện hoạt động tái định cư Quản lý nhân sự Mức độ phù hợp của nhân viên với công việc, trình độ năng lực được nâng cao của nhân lực Mua sắm Hiệu quả của công việc mua sắm Chuẩn bị kế hoạch Sự hợp lý của kế hoạch ]Đánh giá tác động, hiệu quả hay sự phù hợp, mức độ bền vững hay đánh giá tất cả các khía cạnh hoạt động này sẽ làm cho mục tiêu đánh giá chính xác hơn. BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 11/ 17 3.2. Xây dựng khung giám sát, đánh giá ] Sau khi đã xác định được mục tiêu giám sát, đánh giá thì bước quan trọng tiếp theo là phải sắp xếp được các mục tiêu, nội dung cần giám sát, đánh giá đó tương ứng với các phương pháp cụ thể mà dự kiến sử dụng để thu thập thông tin làm rõ mục tiêu, nội dung cần giám sát, đánh giá. Việc sắp xếp này sẽ tạo ra một khung giám sát, đánh giá. Khung giám sát, đánh giá là công cụ định hướng cho toàn bộ quá trình giám sát, đánh giá mà thực hiện sau này. Dưới đây là ví dụ về Nội dung cần thiết của một Khung giám sát và một Khung giám sát hoàn chỉnh đã điền đầy đủ nội dung. Bảng 5: Khung giám sát Khung logic Chỉ số Đo lường cái gì? Đo lường như thế nào?Ai đo lường? Tần suất đo lường? Báo cáo kết quả như thế nào? Mục đích • • • Kết quả • • • Đầu ra • • • Hoạt động • • • Đầu vào • • • BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 12/ 17 Báo cáo kết quả như thế nào? • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC • Báo cáo tiến độ hàng quý cho CPC, DPI, WB, PSC Tần suất đo lường? • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý • Hàng quý Ai đo lường? • Công ty nước thành phố • Công ty điện thành phố • Giám sát tư vấn • Công ty giám sát xây dựng • Ngân hàng nhà ở Mekong • Công ty giám sát xây dựng • Công ty nước thành phố • Nhóm theo dõi của Ban quản lý dự án • Công ty điện thành phố • Nhóm theo dõi của Ban quản lý dự án • Tư vấn giám sát xây dựng • Tư vấn giám sát xây dựng • Tư vấn giám sát xây dựng • Ngân hàng nhà ở Mekong • Ngân hàng nhà ở Mekong • Nhóm theo dõi của Ban quản lý dự án • Nhóm theo dõi của Ban quản lý dự án Đo lường như thế nào? • Các biên bản của công ty nước • Các biên bản của công ty điện • Các giám sát tư vấn • Các báo cáo giám sát xây dựng hàng quý • Các báo cáo khoản vay của Ngân hàng nhà ở Mekong • Các báo cáo giám sát xây dựng hàng quý • Các biên bản của công ty nước • Nhóm theo dõi của Ban quản lý dự án • Công ty điện thành phố • Nhóm theo dõi của Ban quản lý dự án • Tư vấn giám sát xây dựng • Tư vấn giám sát xây dựng • Tư vấn giám sát xây dựng • Ngân hàng nhà ở Mekong • Ngân hàng nhà ở Mekong • Các biên bản và các kế hoạch giải ngân của Ban quản lý dự án • Các biên bản và các kế hoạch tư vấn của Ban quản lý dự án Đo lường cái gì? • Số đường nước mới của quận [thực tế so với kế hoạch] • Số đường điện mới của quận • Số khu vực có dịch vụ • Số km đường hẻm và đường cống của quận [thực tế so với kế hoạch] • Các khoản đã thanh toán, các khoản thanh toán đến hạn • Số ngôi nhà được cải tạo bằng các khoản vay • Số đăng ký lắp đặt • Số đồng hồ nước [thực tế so với kế hoạch • Số đăng ký lắp đặt • Số đường điện [thực tế so với kế hoạch] • Diện tích giải toả [thực tế so với kế hoạch] • Số km đường, đườn hẻm và đường cống [thực tế so với kế hoạch] • Số nhà được hoàn thành [thực tế so với kế hoạch] • Số khoản vay được thực hiện và giải ngân • Số khoản vay rủi ro/ số khoản vay được thực hiện • Giải ngân thực tế/ giải ngân theo kế hoạch • Tư vấn thực tế / tư vấn kế hoạch Chỉ số • Số đường nước mới • Số đường điện mới • Số khu vực có dịch vụ • Số km đường hẻm và đường cống • % hoàn trả các khoản vay cải tạo nhà • Số ngôi nhà được cải tạo bằng các khoản vay cải tạo nhà • Số đăng ký lắp đặt ống nước • % Cung cấp nước được hoàn thành [thực tế so với kế hoạch] • Số đăng ký lắp đặt điện • % cung cấp điện hoàn thành [thực tế so với kế hoạch] • % đất quy hoạch dã được cấp và khảo sát [thực tế so với kế hoạch] • % đường, đườn hẻm và đường cống được hoàn thành [thực tế so với kế hoạch] • % nhà, căn hộ được hoàn thành [thực tế so với kế hoạch] • Tỷ lệ giải ngân • Tư vấn [Thực tế so với kế hoạch] Bảng 6: Ví dụ khung giám sát hoàn chỉnh Khung logic Đầu ra Hoạt động Đầu vào BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 13/ 17 3.3. Xây dựng khung lôgíc trong kế hoạch giám sát, đánh giá ] Khung lôgíc là công cụ để thao tác, diễn giải “các vấn đề” thành các chỉ báo cụ thể, có thể đo, đếm được, đồng thời xác định rõ “các vấn đề” đó đạt được như thế nào cũng như các giả định để thực hiện được các vấn đề đó. Khung lôgíc cũng làm rõ mối quan hệ giữa mục tiêu của dự án với các hoạt động thiết kế dự án. Một khung lôgíc cụ thể có thể như sau: Bảng 7: Khung logic Diễn giải tóm tắt Các chỉ báo có thể đo đếm được Cách xác định Các giả định chính Mục đích Kết quả Đầu ra Hoạt động Đầu vào BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 14/ 17 Bảng 8: Ví dụ khung logic của một dự án Tóm lược Chỉ số kiểm chứng Phương tiện kiểm chứng Giả định Mục tiêu • T ăng thu nhập của sinh viên tốt nghiệp • Lao động có tay nghề thu hút đầu tư trực tiếp nước ngoài • Xu hướng thu nhập của sinh viên tốt nghiệp • Xu hướng đầu tư trực tiếp nước ngoài trong các ngành tuyển dụng sinh viên tốt nghiệp • Điều tra sinh viên tốt nghiệp hàng năm • S ố liệu thống kê của Chính phủ • S ố liệu thống kê của Chính phủ Mục đích • Giảm nghèo • Lao động có tay nghề đóng góp vào tăng trưởng kinh tế • Xu hướng thu nhập của sinh viên tốt nghiệp • Thay đổi GDP hàng năm • Điều tra sinh viên tốt nghiệp hàng năm • S ố liệu thống kê của Chính phủ • Đóng góp của ngành vào tăng trưởng • Các kỹ năng của sinh viên tốt nghiệp được thừa nhận trên thị trường Kết quả • Thái độ thay đổi • Cách tiếp cận giảng dạy mới • Các kỹ năng giải dạy được nâng cao • Thêm việc làm mới cho sinh viên tốt nghiệp • Xu hướng thái độ của giáo viên • Xu hướng tỷ lệ sinh viên tốt nghiệp có việc làm • Xu hướng kỹ năng của giáo viên • S ự hài lòng của người tuyển dụng với sinh viên tốt nghiệp • Điều tra giáo viên hàng năm • Điều tra sinh viên tốt nghiệp hàng năm • Đánh giá kỹ năng giáo viên hàng năm • Điều tra chủ lao động hàng năm • Đóng góp của ngành vào tăng trưởng • N ăng lực phù hợp với chủ lao động và chủ đầu tư nước ngoài • Các kỹ năng của sinh viên tốt nghiệp được thừa nhận trên thị trường Đầu ra • Giáo viên được đào tạo • Hoạt động giảng dạy của giáo vieê • Các lớp học • Sinh viên tốt nghiệp có năng lực • S ố giáo viên đáp ứng tiêu chuẩn về năng lực • S ố giờ giảng dạy • S ố lớp học • S ố sinh viên tốt nghiệp đáp ứng tiêu chuẩn về năng lực • Điều tra giáo viên hàng năm • H ồ sơ lưu trữ của các trường tham gia • H ồ sơ lưu trữ của các trường tham gia • K ết quả thi • B ộ GD&ĐT khuyến khích giáo vieê thay đổi thái độ • Trang thiết bị lớp học hỗ trợ giáo viên giảng dạy • Sinh viên có động cơ học tập Hoạt động • Đào tạo giáo vieê • Phân phát tài liệu • T ư vấn • Kiếm tra năng lực • S ố lượng hoạt động đào tạo cho giáo viên • S ố lượng và địa điểm phân phát tài liệu • S ố lượng các bài kiểm tra năng lực được xây dựng • Báo cáo tiến độ dự án • Báo cáo tiến độ dự án • H ệ thống thông tin quản lý dự án • Đào tạo hiệu quả • Tài liệu được chuyển kịp thời • N ăng lực chuyên môn phù hợp với nhu cầu của chủ lao động Đầu vào • Tài chính • Nhân lực • Tài liệu, thiết bị giảng dạy • Các tiêu chuẩn về năng lực • Giải ngân quý • Tham gia của nhân viên trong quý • S ố lượng tài liệu giảng dạy được chuẩn bị để phân phát • S ố lượng các tiêu chuẩn về năng lực được chuẩn bị • H ệ thống thông tin quản lý dự án • H ệ thống thông tin quản lý dự án • Báo cáo tiến độ dự án • Báo cáo tiến độ dự án • D ự án tiếp tục • Ngân sách Chính phủ được giải ngân đúng tiến độ • Giáo viên có thể tham gia • BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 15/ 17 Thực hành Tên: “Xây dựng nội dung chương trình giám sát, đánh giá và khung lôgíc dự án” Mục tiêu: Giúp học viên thực hành kỹ năng xây dựng chương trình giám sát, đánh giá và khung logíc dự án Thời gian : 60 phút. Thực hiện sau khi kết thúc mođun GS2 Mô tả : • Chia lớp thành 3 nhóm học viên • Giáo viên cung cấp một tóm tắt nội dung dự án ODA cho ba nhóm. • Mỗi nhóm tiến hành thảo luận và hoàn thành một nhiệm vụ: nhóm 1 xây dưng nội dung chương trình giám sát, nhóm 2 xây dựng nội dung chương trình đánh giá; và nhóm 3 xây dựng khung lôgíc dự án • Viết kết quả thảo luận vào giấy A0 • Trưởng nhóm trình bày kết quả • Cả lớp bình luận và hoàn thiện • Giáo viên cung cấp [1]chương trình giám sát, đánh giá; và [2] khung lôgíc cuả dự án đó để học viên tham khảo Chuẩn bị: Giấy A0, giá treo giấy A0, bút viết BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 16/ 17 TÀI LIỆU THAM KHẢO TT Tên tài liệu Nguồn Mô tả - Tóm tắt 1 A guide for project monitoring and evaluation – managing for impact in rural development. International Fund for Agricultural Development. Rome, Italy [see www.ifad.org/evaluation/]- IFAD [2002] Hướng dẫn cơ bản về phương pháp thực hiện giám sát, đánh giá - vận dụng vào giám sát, đánh giá các dự án phát triển nông thôn. 2 Australia Monitoring and Evaluation Strengthening Project - Phase II Vietnam Monitoring and Evaluation Manual - Evaluation Module MPI. [2006] Tài liệu trình bày bao quát toàn bộ các vấn đề cơ bản của giám sát, đánh giá như định nghĩa, phương pháp, cách sử dụng, ví dụ và các trường hơp điển hình, các vấn đề khi vận dụng cụ thể vào giám sát, đánh giá ODA ở Việt nam. 3 Handbook on M&E for Results United Nations Development Program, New York, USA [see www.undp.org/eo/rbm/index.htm] - UNDP [2002] Hướng dẫn chi tiết về phương pháp thiết kế giám sát, đánh giá dự án. 4 Looking back, moving forward – SIDA Evaluation Manual . Swedish International Development Agency. Stockholm, Sweden [see www.sida.se/Sida/jsp/polopoly.jsp?d=1265&a=25624] - SIDA [2004] Hướng dẫn về giám sát, đánh giá bao gồm định nghĩa, tiếp cận, phương pháp có những phân tích về sự thay đổi, hoàn thiện trong tiếp cận, phương pháp thông qua các dự án cụ thể của SIDA 5 Monitoring and evaluation based on the project cycle management method Foundation for Advanced Studies on International Development. Tokyo, Japan [see www.fasid.or.jp] - FASID [2000] Định nghĩa, phương pháp, lợi ích, vận dụng giám sát và đánh giá chu kỳ dự án. 6 Monitoring and Evaluation on a shoestring – a manual Foundation for Advanced Studies on International Development. Tokyo, Japan [see www.fasid.or.jp] - FASID [2003] Tài liệu hướng dẫn cô đọng về các bước và yêu cầu của các bước giám sát, đánh giá 7 Vietnam Australia Monitoring and Evaluation Strengthening Project - Phase II Institutional Strengthening/Adult Learning Adviser Mission Report - MPI. [2006] Tài liệu bao quát các vấn đề liên quan tới giám sát, đánh giá các dự án ODA BỘ KẾ HOẠCH VÀ ĐẦU TƯ Phần I: Các kỹ năng quản lý dự án ODA Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA [CCBP] Giáo trình Đào tạo Quản lý Dự án ODA Nhóm: Giám sát, Đánh giá trong quản lý ODA Mođun GS2: Lập kế hoạch giám sát, đánh giá trong quản lý dự án ODA Trang số 17/ 17 Sau khi kết thúc mođun GS2, mỗi thành viên sẽ tự thực hiện phần kiểm tra-đánh giá những kiến thức đã trao đổi. Học viên tự thực hiện các hoạt động sau ra giấy A4: 1. Nội dung của một kế hoạch giám sát bao gồm mấy mục, hãy khoanh tròn vào số phù hợp: 1 5 2 6 3 7 4 8 2. Kế hoạch giám sát thực chất là chi tiết hoá 5 vấn đề, đó là [i] giám sát [ii] giám sát [iii] giám sát [iv] giám sát; và [vi] giám sát Anh/ chị hãy điền vào các thông tin còn trống! 3. Hoạt động sau đây nhằm kiểm tra mức độ hiểu biết về khung lôgíc. Anh/ Chị hãy điền nội dung vào các ô-trống Diễn giải tóm tắt Các chỉ báo có thể đo đếm được Cách xác định Các giả định chính Mục tiêu Nâng cao thu nhập từ hoạt động phi nông nghiệp ? ? ? Mục đích Nâng cao đời sống người dân ? ? ?